vocab 및 tokenizer 관련 질문이 있습니다!

#8
by scj0709 - opened

Llama 의 tokenizer를 따라서 사용하신다고 들었는데,
Llama와 bllossom 모델의 tokenizer 모두에 한글이 들어있지 않은 것으로 알고 있습니다!
근데 어떻게 한국어 출력이 나올 수 있는지 혹시 알려주실 수 있나요??
감사합니다!

Sign up or log in to comment