README.md

---
language: ko
tags:
- summarization
- bigbird
- bart
inference: false

---
- This model is a [monologg/kobigbird-bert-base](https://huggingface.co/monologg/kobigbird-bert-base), [ainize/kobart-news](https://huggingface.co/ainize/kobart-news) finetuned on the [daekeun-ml/naver-news-summarization-ko](https://huggingface.co/datasets/daekeun-ml/naver-news-summarization-ko)

<<20220917  Commit>>

개인 스터디용으로 긴 문장(뉴스 등)의 요약 모델 특화된 모델을 만들기 위해 BERT기반의 KoBigBird 모델을 Encoder Decoder로 변환한 모델입니다.
기존의 monologg님의 KoBigBird는 BERT기반으로 뛰어난 성능을 자랑하지만 생성 요약 부분에 있어서는 Decoder가 없기 때문에 추가적으로 Decoder를 추가했습니다.

만들었던 초기 모델은 KoBigBird의 Encoder를 Decoder로 활용하여 만드었습니다만, 자잘한 오류로 인하여 monologg님의 KoBigBird-bert-base의 Encoder 부분과 ainize님의 KoBART-news의 Decoder를 이어서 만들었습니다. config 수정 등 hyper-parameter 
finetuned 데이터셋으로 daekeun-ml님이 제공해주신 naver-news-summarization-ko 데이터셋을 활용했습니다.

이후 AI허브에서 제공하는 요약 데이터셋으로 추가 학습 진행 예정입니다.

성능도 많이 안좋고 이상하지만, 자연어 처리에 대해서 관심도 있고 제대로 활용하고 싶어 스스로 만들어보고 있습니다.
지속적으로 발전시켜 좋은 성능의 모델을 구현하겠습니다.
감사합니다.

<pre><code>
# Python Code
from transformers import AutoTokenizer
from transformers import AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("noahkim/KoBigBird-KoBart-News-Summarization")
model = AutoModelForSeq2SeqLM.from_pretrained("noahkim/KoBigBird-KoBart-News-Summarization")
</pre></code>



@software{jangwon_park_2021_5654154,
  author       = {Jangwon Park and Donggyu Kim},
  title        = {KoBigBird: Pretrained BigBird Model for Korean},
  month        = nov,
  year         = 2021,
  publisher    = {Zenodo},
  version      = {1.0.0},
  doi          = {10.5281/zenodo.5654154},
  url          = {https://doi.org/10.5281/zenodo.5654154}
}