Llama3.1-8B-QA_CoT-WIKI-Instruct-r64

This model is a fine-tuned version of meta-llama/Llama-3.1-8B on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.9065

Model description

This model is a fine-tuned version of Llama-3.1-8B optimized for Question-Answering (QA) tasks on VIETNAMESE Wikipedia content using Instruction Tuning and Chain-of-Thought (CoT) reasoning. The model was trained using the LoRA (Low-Rank Adaptation) method with rank 64 to efficiently adapt the base model while maintaining its core capabilities.

How to use

With vLLM

pip install -U vllm
pip install -U datasets

from vllm import LLM, SamplingParams
from vllm.lora.request import LoRARequest
from huggingface_hub import snapshot_download
from huggingface_hub.hf_api import HfFolder
HfFolder.save_token('your hf token here')

model_id = 'meta-llama/Llama-3.1-8B'
lora_id = 'strongpear/Llama3.1-8B-QA_CoT-WIKI-Instruct-r64'

model = LLM(
    model=model_id,
    enable_lora=True,
    max_lora_rank=64,
    gpu_memory_utilization=0.8,
)
sampling_params = SamplingParams(
    temperature=0.5, 
    top_p=0.95,
    max_tokens=1024, 
    min_tokens=2, 
    stop=['<|end_of_text|>'],
    skip_special_tokens=False
)
lora_adapter = snapshot_download(repo_id=lora_id)

Then provide your golden context and question to receive the answer

context = 'your context here'
question = 'your question here'

query = f'''Bạn là một chuyên gia kiến thức tổng hợp với khả năng suy luận logic. Nhiệm vụ của bạn là đọc kỹ ngữ cảnh, phân tích thông tin từ các lĩnh vực đa dạng, và trả lời câu hỏi một cách chính xác và khách quan. Hãy:
- Phân tích và sử dụng thông tin phù hợp từ các ngữ cảnh để trả lời câu hỏi
- Trình bày quá trình suy luận theo các bước rõ ràng
- Liên kết các thông tin trong ngữ cảnh một cách hợp lý
- Giải thích cách bạn đi đến câu trả lời cuối cùng
- Trích dẫn nguồn cụ thể khi cần thiết
- Thừa nhận khi không đủ thông tin hoặc không thể suy luận
- Đảm bảo câu trả lời cuối cùng ngắn gọn và đầy đủ

Hãy tuân theo format:
1. Phân tích thông tin trong ngữ cảnh
2. Suy luận từng bước để đi đến câu trả lời
3. Đưa ra câu trả lời cuối cùng rõ ràng

Ngữ cảnh: {context}
Câu hỏi: {question}
'''

response = model.generate(
    query,
    sampling_params,
    lora_request=LoRARequest("adapter", 1, lora_adapter)
)

print(response[0].outputs[0].text)

Training details

Sample dataset

context	question	CoT	answer
Robert Hartwell và Robert P. Hymes đã chỉ trích mô hình giả thuyết trên, cho là nó quá chú trọng đến vai trò của gia đình hạt nhân, chỉ xem xét tới ba đời tổ tiên đằng nội của thí sinh mà bỏ qua thực tế nhân khẩu học thời nhà Tống rằng có một tỷ lệ đáng kể nam giới trong mỗi thế hệ không có con trai nối dõi, cũng như bỏ qua luôn vai trò của đại gia đình. Nhiều người cảm thấy như mình bị tước đoạt quyền lợi bởi họ cho là hệ thống quan liêu ủng hộ tầng lớp chủ đất, những người có khả năng chi trả cho dịch vụ giáo dục vượt trội. Một trong những nhà phê bình văn học nổi tiếng nhất bàn về vấn đề này là nhà thơ Tô Đông Pha. Tuy nhiên, Tô Đông Pha cũng chỉ là sản phẩm của thời đại mà ông đang sống, vì với sự chuyển giao từ thời nhà Đường sang thời nhà Tống, danh tính, thói quen hay thái độ của một sĩ đại phu đã trở nên ít quý tộc hơn và cũng quan liêu hơn. Vào đầu triều đại, chức vụ cao trong chính quyền do hai nhóm tinh hoa nắm giữ một cách không cân xứng: một nhóm công thần có ràng buộc với hoàng đế khai quốc và một nhóm thế gia, sử dụng địa vị thị tộc truyền đời, các mối quan hệ gia đình và liên minh hôn nhân để đảm bảo được bổ nhiệm. Cuối thế kỷ 11, nhóm công thần mất chỗ đứng. Trong khi đó, đảng phái chính trị và chủ nghĩa bè phái trong triều đình đã làm suy yếu chiến lược liên minh hôn nhân của nhóm thế gia, để rồi nhóm này không còn phân biệt được trong xã hội và bị thay thế bởi vô số gia tộc thân sĩ.\nDo tốc độ gia tăng dân số chóng mặt và bộ máy hành chính thì chấp nhận số lượng quan chức hạn chế (khoảng 2 vạn người trong thời nhà Tống), tầng lớp thân sĩ đông đảo hơn sẽ đảm nhận công việc cơ sở ở cấp địa phương. Không bao gồm sĩ đại phu tại chức, thân sĩ là các thí sinh đỗ đạt nhưng chưa được bổ nhiệm, gia sư địa phương và quan chức về hưu. Chính những người đàn ông có học thức này đã giám sát công việc địa phương và tài trợ cơ sở vật chất cần thiết cho cộng đồng; bất kỳ huyện lệnh nào được bổ nhiệm đều phải dựa vào sự hợp tác của một số ít hoặc nhiều thân sĩ trong khu vực.	Tầng lớp thân sĩ trong thời nhà Tống có vai trò gì trong xã hội?	###begin_context###Do tốc độ gia tăng dân số chóng mặt và bộ máy hành chính thì chấp nhận số lượng quan chức hạn chế (khoảng 2 vạn người trong thời nhà Tống), tầng lớp thân sĩ đông đảo hơn sẽ đảm nhận công việc cơ sở ở cấp địa phương. Không bao gồm sĩ đại phu tại chức, thân sĩ là các thí sinh đỗ đạt nhưng chưa được bổ nhiệm, gia sư địa phương và quan chức về hưu. Chính những người đàn ông có học thức này đã giám sát công việc địa phương và tài trợ cơ sở vật chất cần thiết cho cộng đồng; bất kỳ huyện lệnh nào được bổ nhiệm đều phải dựa vào sự hợp tác của một số ít hoặc nhiều thân sĩ trong khu vực.###end_context### chỉ ra rằng tầng lớp thân sĩ đã đảm nhận nhiều công việc quan trọng ở cấp địa phương và giám sát các hoạt động cộng đồng.	Tầng lớp thân sĩ trong thời nhà Tống đảm nhận vai trò giám sát công việc địa phương, tài trợ cho cơ sở vật chất và hỗ trợ huyện lệnh trong việc quản lý cộng đồng, mặc dù họ không phải là sĩ đại phu tại chức.

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 3.6e-05
• train_batch_size: 4
• eval_batch_size: 4
• seed: 42
• optimizer: Use OptimizerNames.PAGED_ADAMW_8BIT with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• lr_scheduler_warmup_steps: 100
• num_epochs: 1
• mixed_precision_training: Native AMP

Framework versions

• PEFT 0.12.0
• Transformers 4.47.0
• Pytorch 2.5.1+cu124
• Datasets 3.0.0
• Tokenizers 0.21.0