bkai-foundation-models

/

vietnamese-llama2-7b-40GB

like 37

Follow

BKAI-HUST Foundation Models Lab 45

Nếu em load model như sau:

• model = AutoModelForCausalLM.from_pretrained("bkai-foundation-models/vietnamese-llama2-7b-40GB")
  Thì weights của model đã được merge với adapter weights chưa ạ?

Nếu chưa thì làm sao để load adapter weights lên vậy ạ? Em đã thử dùng 2 cách sau để load adapter config nhưng đều gặp lỗi Can't find 'adapter_config.json' at 'bkai-foundation-models/vietnamese-llama2-7b-40GB' / Can't find 'adapter_config.json' at 'bkai-foundation-models/vietnamese-llama2-7b-40GB/pt_lora_model'

• loraconfig = LoraConfig.from_pretrained("bkai-foundation-models/vietnamese-llama2-7b-40GB")
• loraconfig = LoraConfig.from_pretrained("bkai-foundation-models/vietnamese-llama2-7b-40GB/pt_lora_model")

Chào bạn,

Bọn mình đã merge lora weights nên nếu bạn dùng model = AutoModelForCausalLM.from_pretrained("bkai-foundation-models/vietnamese-llama2-7b-40GB") thì đã load weights sau khi merge rồi nhé.

Em cảm ơn anh ạ