nishimura999
commited on
Update README.md
Browse files
README.md
CHANGED
@@ -108,5 +108,18 @@ for data in tqdm(datasets):
|
|
108 |
results.append({"task_id": data["task_id"], "input": input, "output": output})
|
109 |
```
|
110 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
111 |
|
112 |
-
|
|
|
|
|
|
|
|
|
|
108 |
results.append({"task_id": data["task_id"], "input": input, "output": output})
|
109 |
```
|
110 |
|
111 |
+
# output
|
112 |
+
```python
|
113 |
+
import re
|
114 |
+
model_name = re.sub(".*/", "", model_name)
|
115 |
+
with open(f"./{model_name}-outputs.jsonl", 'w', encoding='utf-8') as f:
|
116 |
+
for result in results:
|
117 |
+
json.dump(result, f, ensure_ascii=False) # ensure_ascii=False for handling non-ASCII characters
|
118 |
+
f.write('\n')
|
119 |
+
```
|
120 |
|
121 |
+
# ref
|
122 |
+
### 本モデルは下記のデータを使ってファインチューニングしております。ここでデータ提供者に感謝申し上げます。
|
123 |
+
(https://liat-aip.sakura.ne.jp/wp/llmのための日本語インストラクションデータ作成/llmのための日本語インストラクションデータ-公開/)
|
124 |
+
関根聡, 安藤まや, 後藤美知子, 鈴木久美, 河原大輔, 井之上直也, 乾健太郎.
|
125 |
+
ichikara-instruction: LLMのための日本語インストラクションデータの構築. 言語処理学会第30回年次大会(2024)
|