README.md

---
base_model:
- beomi/Llama-3-Open-Ko-8B
- meta-llama/Meta-Llama-3-8B-Instruct
- meta-llama/Meta-Llama-3-8B
library_name: transformers
tags:
- mergekit
- merge
license: other
license_name: llama3
language:
- ko
---
# Llama-3-Ko-8B-dare-ties

This is the series of 'Base + Language + Instruct', chat vector and various methods in mergekit.
Thanks again! @beomi

| Model | Merge Method | Score(but what?) |
|---|---|---|
| [beomi/Llama-3-Open-Ko-8B-Instruct-preview](https://huggingface.co/beomi/Llama-3-Open-Ko-8B-Instruct-preview) | chat vector | - |
| [kuotient/Llama-3-Ko-8B-ties](https://huggingface.co/kuotient/Llama-3-Ko-8B-ties) | Ties | - |
| [kuotient/Llama-3-Ko-8B-dare-ties](https://huggingface.co/kuotient/Llama-3-Ko-8B-dare-ties) | Dare-ties | - |
| [kuotient/Llama-3-Ko-8B-TA](https://huggingface.co/kuotient/Llama-3-Ko-8B-TA) | Task Arithmetic(maybe...? not sure about this) | - |
| WIP | Model stock(I don't read this paper yet but still) | - |

The original paper author claims density should be around 0.2~0.3, but in reality high number gets some better result. You should try other params for better result than this!

```python
messages = [
    {"role": "system", "content": "친절한 챗봇으로서 상대방의 요청에 최대한 자세하고 친절하게 답하자. 모든 대답은 한국어(Korean)으로 대답해줘."},
    {"role": "user", "content": "피보나치 수열이 뭐야? 그리고 피보나치 수열에 대해 파이썬 코드를 짜줘볼래?"},
]
---
피보나치 수열은 수학에서 가장 유명한 수열 중 하나입니다. 피보나치 수열은 다음과 같은 규칙으로 생성됩니다.

1. 첫 번째 수는 0, 두 번째 수는 1
2. 이후의 수는 이전 두 수의 합으로 계산

예를 들어, 피보나치 수열의 첫 10개 수는 다음과 같습니다.

0, 1, 1, 2, 3, 5, 8, 13, 21, 34, 55,...

이 수열은 매우 빠르게 커지기 때문에, 피보나치 수열을 계산하는 데는 일반적으로 지수 함수를 사용합니다.

파이썬 코드를 작성하면 다음과 같습니다.

`(포맷이 깨져서..🤗)``
def fibonacci(n):
    if n <= 1:
        return n
    else:
        return fibonacci(n-1) + fibonacci(n-2)

for i in range(10):
    print(fibonacci(i))
`🤗``

이 코드는 피보나치 수열의 첫 10개 수를 계산합니다. 결과는 다음과 같습니다.

0
1
1
2
3
5
8
13
21
```

```python
messages = [
    {"role": "system", "content": "친절한 챗봇으로서 상대방의 요청에 최대한 자세하고 친절하게 답하자. 모든 대답은 한국어(Korean)으로 대답해줘."},
    {"role": "user", "content": "한국의 제헌 헌법에 대해서 자세히 설명해주세요."},
]
---
한국의 제헌 헌법은 1948년 7월 17일 제헌국회에서 의결하여 1948년 7월 27일 공포된 대한민국 헌법의 초안입니다. 제헌 헌법은 대한민국의 헌법적 기본질서를 규정하는 문서로, 대한민국의 국호, 영토, 국민, 국가의 형태, 정부의 조직, 국민의 권리와 의무, 법률의 제정 등에 대해 규정하고 있습니다. 제헌 헌법은 1948년 7월 17일 제헌국회에서 의결되어 1948년 7월 27일 공포된 이후 1952년 12월 5일부터 1962년 12월 5일까지 적용되었습니다.

제헌 헌법의 주요 내용은 다음과 같습니다.

1. 국호: 대한민국
2. 영토: 대한민국의 영토는 38도선 이북과 이남으로 나누어져 있으며, 38도선 이북의 영토는 대한민국의 영토로 인정하고 있습니다.
3. 국민: 대한민국의 국민은 모든 사람으로, 국적을 가진 사람과 국적을 가진 사람의 후손으로 구성됩니다.
4. 국가의 형태: 대한민국은 민주공화국으로, 대통령이 국가의 수반으로서 통치합니다.
5. 정부의 조직: 대통령, 국무총리, 국무위원 등으로 구성되는 정부를 두고 있습니다.
6. 국민의 권리와 의무: 대한민국의 국민은 평등한 권리를 가지며, 국적, 인권, 재산권, 표현의 자유 등 기본적 권리를 보장받습니다.
7. 법률의 제정: 대한민국의 법률은 국회에서 제정하고, 대통령이 공포합니다.

이와 같은 제헌 헌법은 대한민국의 헌법적 기본질서를 규정하는 문서로, 대한민국의 국호, 영토, 국민, 국가의 형태, 정부의 조직, 국민의 권리와 의무, 법률의 제정 등에 대해 규정하고 있습니다.
```
Repetitive results, but I **really really** like this output tho
```python
messages = [
    {"role": "system", "content": "친절한 챗봇으로서 상대방의 요청에 최대한 자세하고 친절하게 답하자. 모든 대답은 한국어(Korean)으로 대답해줘."},
    {"role": "user", "content": "세종대왕의 집현전 맥북 던짐 사건에 대해서 알고 있어?"},
]
---
네, 세종대왕이 집현전에서 맥북을 던졌다는 이야기는 사실이 아닙니다. 이 이야기는 세종대왕이 훈민정음 창제 당시의 일화로, 당시의 학자들이 훈민정음의 창제에 반대하는 의견을 내세워 세종대왕에게 항의를 하자, 세종대왕이 그들을 질책하면서 훈민정음 창제를 강조한 일화로 전해집니다. 하지만 이 일화는 실제로 일어난 일은 아니며, 훈민정음 창제에 반대하는 학자들은 실제로 없었으며, 세종대왕도 훈민정음 창제를 강조한 적은 없습니다. 이 이야기는 후대에 만들어진 것으로 추정됩니다. 

세종대왕은 훈민정음 창제에 대해 매우 열의를 내보였고, 훈민정음이 창제되기 전에는 한글을 사용하지 않았습니다. 훈민정음이 창제된 후에는 훈민정음에 기반한 한글을 사용했습니다. 훈민정음은 1443년부터 1446년까지 4년 동안에 걸쳐 창제되었습니다. 이 시기에 세종대왕은 훈민정음의 창제에 매우 관심을 가지고 있었으며, 훈민정음의 창제를 위해 학자들을 불러 모아 훈민정음의 창제에 참여하도록 했습니다. 훈민정음이 창제된 후에는 훈민정음에 기반한 한글을 사용하고, 한글을 사용하는 것을 장려했습니다. 

세종대왕은 훈민정음의 창제를 통해 한글을 사용하게 되면, 모든 사람들이 쉽게 읽고 쓰는 글을 사용할 수 있게 되고, 이는 나라의 발전을 위해 매우 중요한 일이라고 생각했습니다. 또한, 훈민정음의 창제를 통해 한글을 사용하게 되면, 나라의 통일을 위해 매우 중요한 일이라고 생각했습니다. 이에 따라 세종대왕은 훈민정음의 창제에 많은 노력을 기울였습니다. 

세종대왕이 훈민정음의 창제에 관심을 가졌다는 것은 역사적으로 확인할 수 있습니다. 하지만 세종대왕
```

```python
messages = [
    {"role": "system", "content": "친절한 챗봇으로서 상대방의 요청에 최대한 자세하고 친절하게 답하자. 모든 대답은 한국어(Korean)으로 대답해줘."},
    {"role": "user", "content": "나는 오늘 사과 5개를 갖고있어. 그리고 어제 나는 사과 2개를 먹었지. 내가 지금 가진 사과는 몇 개지?"},
]
---
네, 오늘 사과 5개 가지고 있고 어제 2개 먹었으니, 지금 가지고 있는 사과는 5개에서 2개를 뺀 3개입니다! 🍎👍

(이 경우에는 5개에서 2개를 뺀 결과인 3개가 정답입니다.)
```

# Llama-3-Ko-8B-dare-ties

This is a merge of pre-trained language models created using [mergekit](https://github.com/cg123/mergekit).

## Merge Details
### Merge Method

This model was merged using the [DARE](https://arxiv.org/abs/2311.03099) [TIES](https://arxiv.org/abs/2306.01708) merge method using [meta-llama/Meta-Llama-3-8B](https://huggingface.co/meta-llama/Meta-Llama-3-8B) as a base.

### Models Merged

The following models were included in the merge:
* [beomi/Llama-3-Open-Ko-8B](https://huggingface.co/beomi/Llama-3-Open-Ko-8B)
* [meta-llama/Meta-Llama-3-8B-Instruct](https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct)

### Configuration

The following YAML configuration was used to produce this model:

```yaml
models:
  - model: meta-llama/Meta-Llama-3-8B
    # no parameters necessary for base model
  - model: meta-llama/Meta-Llama-3-8B-Instruct
    parameters:
      density: 0.53
      weight: 0.5
  - model: beomi/Llama-3-Open-Ko-8B
    parameters:
      density: 0.53
      weight: 0.5
merge_method: dare_ties
base_model: meta-llama/Meta-Llama-3-8B
dtype: bfloat16
```