nishimura999 commited on
Commit
448be84
·
verified ·
1 Parent(s): 2d8ddf9

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +14 -1
README.md CHANGED
@@ -108,5 +108,18 @@ for data in tqdm(datasets):
108
  results.append({"task_id": data["task_id"], "input": input, "output": output})
109
  ```
110
 
 
 
 
 
 
 
 
 
 
111
 
112
-
 
 
 
 
 
108
  results.append({"task_id": data["task_id"], "input": input, "output": output})
109
  ```
110
 
111
+ # output
112
+ ```python
113
+ import re
114
+ model_name = re.sub(".*/", "", model_name)
115
+ with open(f"./{model_name}-outputs.jsonl", 'w', encoding='utf-8') as f:
116
+ for result in results:
117
+ json.dump(result, f, ensure_ascii=False) # ensure_ascii=False for handling non-ASCII characters
118
+ f.write('\n')
119
+ ```
120
 
121
+ # ref
122
+ ### 本モデルは下記のデータを使ってファインチューニングしております。ここでデータ提供者に感謝申し上げます。
123
+ (https://liat-aip.sakura.ne.jp/wp/llmのための日本語インストラクションデータ作成/llmのための日本語インストラクションデータ-公開/)
124
+ 関根聡, 安藤まや, 後藤美知子, 鈴木久美, 河原大輔, 井之上直也, 乾健太郎.
125
+ ichikara-instruction: LLMのための日本語インストラクションデータの構築. 言語処理学会第30回年次大会(2024)