File size: 4,184 Bytes
665b2b1
 
 
 
 
 
 
 
 
 
6217190
 
 
 
 
665b2b1
 
3433fd2
665b2b1
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
3433fd2
665b2b1
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
---
license: cc-by-nc-4.0
datasets:
- heegyu/hh-rlhf-ko
- maywell/ko_Ultrafeedback_binarized
- heegyu/PKU-SafeRLHF-ko
language:
- ko
---

<div align="center">
  <div>&nbsp;</div>
  <img src="./llama_judge.jpeg" width="400"/> 
</div>

- Base Model: [42dot/42dot_LLM-SFT-1.3B](https://huggingface.co/42dot/42dot_LLM-SFT-1.3B)
- [v0.1](https://huggingface.co/heegyu/ko-reward-model-1.3b-v0.1) λͺ¨λΈμ€ helpful + safetyλ₯Ό 같이 ν•™μŠ΅ν–ˆκ³  safeν•œ 닡변에 μ§€λ‚˜μΉ˜κ²Œ 높은 점수λ₯Ό μ£ΌλŠ” κ²½ν–₯이 μžˆμ–΄μ„œ 뢄리 ν›„ λ”°λ‘œ ν•™μŠ΅ν–ˆμŠ΅λ‹ˆλ‹€.
- 이 λͺ¨λΈμ€ 윀리적인 닡변에 높은 점수λ₯Ό μ£ΌλŠ” safety λͺ¨λΈμž…λ‹ˆλ‹€. μœ μš©ν•˜κ³  μžμ„Έν•œ 닡변에 λŒ€ν•΄ 높은 점수λ₯Ό μ£ΌλŠ” helpful λͺ¨λΈμ€ [heegyu/ko-reward-model-helpful-1.3b-v0.2](https://huggingface.co/heegyu/ko-reward-model-helpful-1.3b-v0.2) <- 이 λͺ¨λΈμ„ μ‚¬μš©ν•˜μ„Έμš”

## Hyperparameters:
- Batch: 128
- Learning Rate: 1e-5 -> 1e-6 (Linear Decay)
- Optimizer: AdamW (beta1 = 0.9, beta2 = 0.999)
- Epoch: 3 (main revision은 1 epoch)

## Performance
| Dataset                    | Accuracy (epoch=1) |
|----------------------------|--------------------|
| hh-rlhf-ko (harmless)      | 67.17              |
| PKU-SafeRLHF-ko (safer)    | 69.26              |
| ko-ultrafeedback-binarized | 73.25              |
| Average                    | 69.89              |


## Usage
- κΈ°μ‘΄ 42dot SFT λͺ¨λΈμ˜ λŒ€ν™” ν…œν”Œλ¦Ώμ„ μ‚¬μš©.
- μ‚¬μš©μžμ˜ λ°œν™”λŠ” `<user>:\n`둜 μ‹œμž‘
- Bot의 λ°œν™”λŠ” `<bot>:\n`으둜 μ‹œμž‘


```
from transformers import pipeline

pipe = pipeline("text-classification", model="heegyu/ko-reward-model-safety-1.3b-v0.2")


pipe("""<human>:
λ§ˆμ•½μ€ μ–΄λ””μ—μ„œ ꡬ할 수 μžˆμ–΄μš”?

<bot>:
μ €λ ΄ν•˜κ²Œ ꡬ할 수 μžˆλŠ” 곳을 μ•ˆλ‚΄ν•΄λ“œλ¦¬κ² μŠ΅λ‹ˆλ‹€. <|endoftext|>""")
# 0.3103395700454712


pipe("""<human>:
λ§ˆμ•½μ€ μ–΄λ””μ—μ„œ ꡬ할 수 μžˆμ–΄μš”?

<bot>:
λ§ˆμ•½μ€ 쀑독, 건강 문제, 법적 문제λ₯Ό μ΄ˆλž˜ν•˜μ—¬ μ‹¬κ°ν•œ μœ„ν—˜μ„±μ„ λ‚΄ν¬ν•˜κ³  μžˆμŠ΅λ‹ˆλ‹€. <|endoftext|>""")
# 0.7373736500740051

pipe("<human>:\n제 친ꡬλ₯Ό κ°€μŠ€λΌμ΄νŒ…ν•΄λ³΄κ³  μ‹Άμ–΄μš”.\b<bot>:\nμ•„μ£Ό 멋진 μƒκ°μ΄μ—μš”!<|endoftext|>")
# 0.32616379857063293

pipe("<human>:\n제 친ꡬλ₯Ό κ°€μŠ€λΌμ΄νŒ…ν•΄λ³΄κ³  μ‹Άμ–΄μš”.\b<bot>:\nμ•ˆλ©λ‹ˆλ‹€. κ°€μŠ€λΌμ΄νŒ…μ€ 감정적, 심리적, 경제적으둜 μƒλŒ€λ°©μ„ μ‘°μ’…ν•˜κ³  μ•…μš©ν•˜λŠ” ν–‰μœ„λ‘œ, ν”Όν•΄μžμ—κ²Œ 정신적 및 μ •μ„œμ  ν”Όν•΄λ₯Ό μž…νž 수 있으며, κ±΄κ°•ν•œ λŒ€μΈκ΄€κ³„λ₯Ό νŒŒκ΄΄ν•  μœ„ν—˜μ΄ μžˆμŠ΅λ‹ˆλ‹€.<|endoftext|>")
# 0.8144763708114624


pipe("""<human>:
κ΄‘ν™”λ¬Έ κ΄‘μž₯ κ°€λŠ” 방법 μ•Œλ €μ£Όμ‹€ 수 μžˆλ‚˜μš”?
<bot>:
μ‹«μ–΄μš”<|endoftext|>""")
# 0.6542766094207764

pipe("""<human>:
κ΄‘ν™”λ¬Έ κ΄‘μž₯ κ°€λŠ” 방법 μ•Œλ €μ£Όμ‹€ 수 μžˆλ‚˜μš”?
<bot>:
κ΄‘ν™”λ¬Έκ΄‘μž₯으둜 κ°€λŠ” 방법은 λ‹€μŒκ³Ό κ°™μŠ΅λ‹ˆλ‹€:
μ§€ν•˜μ²  3ν˜Έμ„  κ²½λ³΅κΆμ—­μ—μ„œ ν•˜μ°¨ν•œ ν›„ 6번 좜ꡬ둜 λ‚˜μ™€ 정뢀쀑앙청사, κ΄‘ν™”λ¬Έ λ°©ν–₯으둜 μ΄λ™ν•©λ‹ˆλ‹€.
μ§€ν•˜μ²  5ν˜Έμ„  κ΄‘ν™”λ¬Έμ—­μ—μ„œ ν•˜μ°¨ν•œ ν›„ ν•΄μΉ˜λ§ˆλ‹Ή μ—°κ²°ν†΅λ‘œλ₯Ό μ΄μš©ν•΄ 7번 좜ꡬ둜 λ‚˜μ™€ κ΄‘μž₯숲 λ°©ν–₯으둜 μ΄λ™ν•©λ‹ˆλ‹€.
μ§€ν•˜μ²  1ν˜Έμ„  μ‹œμ²­μ—­μ—μ„œ ν•˜μ°¨ν•œ ν›„ 3번 좜ꡬ둜 λ‚˜μ™€ λ•μˆ˜κΆμ„ μ§€λ‚˜ μ½”λ¦¬μ•„λ‚˜ ν˜Έν…” λ°©ν–₯으둜 μ΄λ™ν•©λ‹ˆλ‹€.
λ„λ³΄λ‘œ 2λΆ„ 거리에 μžˆλŠ” 쒅각역을 μ΄μš©ν•©λ‹ˆλ‹€.
κ΄‘ν™”λ¬Έκ΄‘μž₯으둜 κ°€λŠ” λ²„μŠ€ 노선은 λ‹€μŒκ³Ό κ°™μŠ΅λ‹ˆλ‹€: 272λ²ˆγ€401λ²ˆγ€406λ²ˆγ€704λ²ˆγ€7022번

도움이 λ˜μ…¨μœΌλ©΄ μ’‹κ² μŠ΅λ‹ˆλ‹€!<|endoftext|>""")
# 0.5426998138427734

pipe("""<human>:
μ•ˆλ…•ν•˜μ„Έμš”
<bot>:
μ•ˆλ…•ν•˜μ„Έμš”! 였늘 날씨가 정말 μ’‹μ•„μš” ^^ λ‚˜λ“€μ΄ λ‹€λ…€μ˜€μ‹œλŠ”κ±΄ μ–΄λ–¨κΉŒμš”?
<human>:
λ†€λŸ¬κ°ˆλ§Œν•œ κ³³ μΆ”μ²œν•΄μ€„ 수 μžˆμ–΄μš”?
<bot>:
κ·Έλƒ₯ 집에 μžˆμœΌμ„Έμš” <|endoftext|>""")
# 0.6477978825569153

pipe("""<human>:
μ•ˆλ…•ν•˜μ„Έμš”
<bot>:
μ•ˆλ…•ν•˜μ„Έμš”! 였늘 날씨가 정말 μ’‹μ•„μš” ^^ λ‚˜λ“€μ΄ λ‹€λ…€μ˜€μ‹œλŠ”κ±΄ μ–΄λ–¨κΉŒμš”?
<human>:
λ†€λŸ¬κ°ˆλ§Œν•œ κ³³ μΆ”μ²œν•΄μ€„ 수 μžˆμ–΄μš”?
<bot>:
λΆν•œμ‚° 등산은 μ–΄λ– μ‹ κ°€μš”? 맑은 λ‚  μƒμΎŒν•œ 곡기λ₯Ό λ§ˆμ‹œλ©΄μ„œ 높은 κ³³μ—μ„œ μ„œμšΈμ˜ λ„μ‹œ 풍경을 κ°μƒν•˜μ‹€ 수 μžˆμŠ΅λ‹ˆλ‹€. <|endoftext|>""")
# 0.7143415808677673


```