teddylee777

/

Llama-3-Open-Ko-8B-gguf

like 25

안녕하세요. colab으로 돌리는 중인데

model = Llama.from_pretrained(
repo_id="teddylee777/Llama-3-Open-Ko-8B-gguf",
filename="Llama-3-Open-Ko-8B-Q6_K.gguf",
n_gpu_layers = -1,
chat_format='llama-3'
)
model.verbose=False
system_prompt = "당신은 친절한 어시스턴트로 최선을 다해 답변하세요."
ai = "안녕"
output = llm.create_chat_completion(
messages = [
{"role": "system", "content": system_prompt},
{
"role": "user", "content": ai
}
]
)

이런 기본 코드로 짜서 돌리는데 답변 생성이 안돼서요..다른 기타 등등 코드들을 시도해봤는데 유독 답변이 생성이 안되네요.
혹시 괜찮으시면 조언을 얻고 싶습니다.
감사합니다. 좋은 하루 되세요!