---
license: llama3.2
datasets:
- KorQuAD/squad_kor_v1
language:
- ko
base_model:
- meta-llama/Llama-3.1-8B-Instruct
---

# Llama-3.2-1B-Instruct-korQuAD-v1

이 모델은 Llama-3.2-1B-Instruct를 기반으로 한국어 질의응답 태스크에 대해 파인튜닝된 모델입니다.

## 모델 설명

- 기본 모델: Llama-3.2-1B-Instruct
- 학습 데이터셋: KorQuAD v1.0
- 학습 방법: LoRA (Low-Rank Adaptation)
- 주요 태스크: 한국어 질의응답

## 사용 방법

다음과 같이 모델을 로드하고 사용할 수 있습니다:
```
#모델, 토크나이저 로드
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_path = "NakJun/Llama-3.2-1B-Instruct-ko-QuAD"
model = AutoModelForCausalLM.from_pretrained(
model_path,
torch_dtype=torch.bfloat16,
device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained(model_path)

#입력 형식 설정
prompt = f"""
### Question:
{question}
### Context:
{context}
### Answer:
"""

#토큰화 및 추론
input_ids = tokenizer.encode(prompt, return_tensors="pt").to(model.device)
output = model.generate(
input_ids,
max_new_tokens=100,
temperature=0.1,
repetition_penalty=1.3,
do_sample=True,
eos_token_id=tokenizer.eos_token_id
)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
answer = generated_text.split("Answer:")[-1].strip().split('\n')[0].strip()
print("생성된 답변:", answer)

```

## 학습 세부 정보
- 에폭: 5
- 배치 크기: 1
- 학습률: 2e-4
- 옵티마이저: AdamW (32-bit)
- LoRA 설정:
  - r: 16
  - lora_alpha: 16
  - 대상 모듈: ["q_proj", "v_proj", "k_proj", "o_proj", "gate_proj", "down_proj", "up_proj"]
  - lora_dropout: 0.01

## 연락처
- njsung1217@gmail.com
- https://github.com/nakjun