我正在查看几个不同的使用PEFT在不同模型上的例子。LoraConfig对象包含一个target_modules数组。在一些例子中,目标模块是["query_key_value"],有时是["q", "v"],有时是其他东西。
我不太明白目标模块的值来自哪里。在模型页面的哪个位置可以找到LoRA适配模块的信息?
一个例子(针对Falcon 7B模型):
peft_config = LoraConfig(
lora_alpha=lora_alpha,
lora_dropout=lora_dropout,
r=lora_r,
bias="none",
task_type="CAUSAL_LM",
target_modules=[
"query_key_value",
"dense",
"dense_h_to_4h",
"dense_4h_to_h",
]
另一个例子(适用于Opt-6.7B型号):
config = LoraConfig(
r=16,
lora_alpha=32,
target_modules=["q_proj", "v_proj"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
又一个(适用于Flan-T5-xxl型号):
lora_config = LoraConfig(
r=16,
lora_alpha=32,
target_modules=["q", "v"],
lora_dropout=0.05,
bias="none",
task_type=TaskType.SEQ_2_SEQ_LM
)