ddyuudd commited on
Commit
43a0ae0
1 Parent(s): 3b1e6d2

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +14 -3
README.md CHANGED
@@ -4,10 +4,18 @@ datasets:
4
  - ddyuudd/chatbot_arena_ja_calm2-7b-chat-experimental
5
  language:
6
  - ja
 
7
  ---
8
 
9
  # Model Card for "calm2-7b-chat-dpo-experimental"
10
 
 
 
 
 
 
 
 
11
 
12
  ### ELYZA-tasks-100 (GPT-4 eval)
13
 
@@ -25,12 +33,11 @@ language:
25
  "以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。"
26
 
27
  このシステムプロンプトはstabilityai/japanese-stablelm-instruct-alpha-7bをJapanese MT-Benchで評価する場合に使われるものです。
28
- 他のデコーディングパラメータはデフォルトのままです。
29
-
30
 
31
  | | calm2-7b-chat | calm2-7b-chat-dpo |
32
  | ---- | ---- | ---- |
33
- | MEAN | 6.1 | 6.7 |
34
  | extraction | 4.1 | 5.4 |
35
  | humanities | 8.2 | 8.4 |
36
  | reasoning | 3.9 | 4.3 |
@@ -38,3 +45,7 @@ language:
38
  | stem | 6.3 | 6.2 |
39
  | writing | 7.7 | 9.1 |
40
 
 
 
 
 
 
4
  - ddyuudd/chatbot_arena_ja_calm2-7b-chat-experimental
5
  language:
6
  - ja
7
+ - en
8
  ---
9
 
10
  # Model Card for "calm2-7b-chat-dpo-experimental"
11
 
12
+ [cyberagent/calm2-7b-chat](https://huggingface.co/cyberagent/calm2-7b-chat)に[ChatBot Arena (JA+calm2)](ddyuudd/chatbot_arena_ja_calm2-7b-chat-experimental)データセットを用いて[Direct Preference Optimization](https://arxiv.org/abs/2305.18290)をしたモデルです。
13
+
14
+ ## Requirements, Usage, Chat Template
15
+
16
+ [cyberagent/calm2-7b-chat](https://huggingface.co/cyberagent/calm2-7b-chat)と同様です。
17
+
18
+ ## 実験結果
19
 
20
  ### ELYZA-tasks-100 (GPT-4 eval)
21
 
 
33
  "以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。"
34
 
35
  このシステムプロンプトはstabilityai/japanese-stablelm-instruct-alpha-7bをJapanese MT-Benchで評価する場合に使われるものです。
36
+ 他のデコーディングパラメータはデフォルトのままです(ランダム性があります)。
 
37
 
38
  | | calm2-7b-chat | calm2-7b-chat-dpo |
39
  | ---- | ---- | ---- |
40
+ | 平均 | 6.1 | 6.7 |
41
  | extraction | 4.1 | 5.4 |
42
  | humanities | 8.2 | 8.4 |
43
  | reasoning | 3.9 | 4.3 |
 
45
  | stem | 6.3 | 6.2 |
46
  | writing | 7.7 | 9.1 |
47
 
48
+
49
+ ## Author
50
+
51
+ Yuu Jinnai (jinnai_yu@cyberagent.co.jp), Standing on the shoulders of giants