Sử dụng với localGPT
Mình dùng model này với: https://github.com/PromtEngineer/localGPT nhưng khi đưa vào câu hỏi, không có câu trả lời đưa ra
Mô hình này chủ yếu dùng để hoàn tất câu (completion) á bạn. Ví dụ, mình gửi nội dung Dân số nước Mỹ là, output trả về hơn 300 triệu người.
@leminhtanvatc vậy nên dùng model nào để chạy giống như ChatGpt b nhỉ? b có thể chỉ mình ko?
@dinhan1192 Nếu muốn như ChatGPT thì bạn phải dùng các loại mô hình instruct (IT) hoặc chat. Các mô hình base như thế này chỉ học dữ liệu chữ thô (không theo format, không phân loại) nên nó không phân biệt được dữ liệu tin nhắn nào của người, và cái nào của chính nó. Ví dụ:
- Dữ liệu học kiểu base: https://huggingface.co/datasets/wikimedia/wikipedia
- Dữ liệu học kiểu instruct: https://huggingface.co/datasets/kalomaze/Opus_Instruct_25k
Bạn để ý sẽ thấy dữ liệu học instruct theo format json, có khóa "from" để xác định đối tượng (human, gpt,...). Không phải dataset instruct nào cũng theo format này.
Mình đang dùng gemma-2-9b-it của Google, vì nó multilingual (đa ngôn ngữ, tiếng Việt khá ổn) và đôi lúc nó cũng biết phản biện nữa. Bạn tải thử bản GGUF ở đây nhé.