---
language:
- ko
- en
library_name: transformers
license: cc-by-nc-sa-4.0
pipeline_tag: text-generation
tags:
- pytorch
---
## Model Description
S-B 고객사 프로젝트 시 생성한 RAG 데이터셋을 활용하여 Supervised Fine-Tuning(a.k.a SFT) 학습한 모델입니다. 학습 데이터셋은 보안에 의해 공개하지 않습니다.
## About the Model
- **Name:** TwinDoc/RedWhale-tv-10.8B-sft-s
- **Finetuned from model:** [TwinDoc/RedWhale-tv-10.8B-v1.0](https://huggingface.co/TwinDoc/RedWhale-tv-10.8B-v1.0)
- **Train Datasets:** private
- **Developed by:** 애자일소다 (AGILESODA)
- **Model type:** llama
- **Language(s) (NLP):** 한국어
- **License:** cc-by-nc-sa-4.0
- **train setting**
- Lora r, alpha : 4, 16
- Dtype : bf16
- Epoch : 7
- Learning rate : 1e-4
- Global batch : 4
- Context length : 4096
- ## inference setting
- BOS id : 1
- EOS id : 2
- Top-p : 0.95
- Temperature : 0.01
## prompt template
```
Human: ##원문##과 ##질문##이 주어지면, ##원문##에 있는 정보를 바탕으로 고품질의 ##답변##을 만들어주세요. ##원문##에서 ##질문##에 대한 명확한 답을 찾을 수 없을 경우 "답변을 찾을 수 없습니다."로 ##답변##을 작성해야하며 ##원문##에 없는 내용은 ##답변##에 포함하지 않아야 합니다.
##원문##
{CONTEXT}
##질문##
{QUESTION}
Assistant: {ANSWER}
```
## License
The content of this project, created by AGILESODA, is licensed under the [Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0)](https://creativecommons.org/licenses/by-nc-sa/4.0/).
## Citation
```
@misc{vo2024redwhaleadaptedkoreanllm,
title={RedWhale: An Adapted Korean LLM Through Efficient Continual Pretraining},
author={Anh-Dung Vo and Minseong Jung and Wonbeen Lee and Daewoo Choi},
year={2024},
eprint={2408.11294},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2408.11294},
}
```
**Built with:**
