ping98k

/

typhoon-7b-rag-instruct-th

like 2

ตัวนี้ finetune ด้วย https://github.com/OpenAccess-AI-Collective/axolotl ครับ
มันจะใช้ config.yml เป็นตัว set ค่าต่างๆ ไม่ต้องเขียน code เอง
อันนี้ example จาก axolotl

ส่วน ของ config ที่ใช้ finetune ตัวนี้ จะอยู่ใน readme ตรงที่เขียนว่า See axolotl config

dataset ใช้ ping98k/dolly-th แต่ว่ามีการ mix กันใหม่ แล้วใส่ พวก START OF DOCUMENT NEXT DOCUMENT ลงไปเพิ่มครับ

dataset mix แล้วเป็นตัวนี้ ping98k/dolly-rag-instruct-th

ขอบคุณมากครับ ผมมือใหม่ขัดขับมากๆ ครับ

ผมทดลองทำแล้ว บนเครื่องของตัวเองและ RTX 4090 ที่มี VRAM อยู่ 24GB

ปรากฎว่า VRAM เต็ม เลยไม่ทราบว่า สำหรับ ping98k/dolly-rag-instruct-th ได้ Qunatize หรือ QLoRA ด้วยหรือเปล่าครับ และทางคุณ ping98K ทำบน GPU อะไร ที่มี VRAM เท่าไหร่ครับ

ตัวนี้เป็น full finetune ใช้ A100 80GB ครับ

ถ้าจะใช้ vram 24GB ต้องเป็น QLoRA 4bit ครับ ลองดูได้จาก ping98k/typhoon-thai-food-lora ตัวนี้จะใช้ RTX 3090 24GB แล้วก็ base model เป็น typhoon เหมือนกันคับ

config หลักๆจะเป็น 3 ตัวนี้ครับ

sequence_len: 4096
load_in_4bit: true
micro_batch_size: 2