iris-s-coon commited on
Commit
0af5c7b
·
1 Parent(s): 1f4641a

📝 [docs] リリース後のREADME更新 (v0.5.0)

Browse files
Files changed (1) hide show
  1. README.md +22 -15
README.md CHANGED
@@ -44,7 +44,7 @@ license: mit
44
 
45
  ## 🚀 プロジェクト概要
46
 
47
- **Llama-finetune-sandbox**は、Llamaモデルのファインチューニングを実験的に学習・検証できる環境です。様々なファインチューニング手法を試し、モデルのカスタマイズや性能評価を行うことができます。初学者から研究者まで、幅広いユーザーのニーズに対応します。バージョン0.3.0では、ドキュメントの改善と英語READMEの更新を行いました。
48
 
49
 
50
  ## ✨ 主な機能
@@ -59,10 +59,18 @@ license: mit
59
  - 複数のアテンションメカニズム
60
 
61
  3. **実験環境の整備**:
62
- - 性能評価ツール (v0.3.0で追加、その後削除されました)
63
  - メモリ使用量の最適化
64
  - 実験結果の可視化
65
 
 
 
 
 
 
 
 
 
 
66
  ## 📚 実装例
67
 
68
  本リポジトリには以下の実装例が含まれています:
@@ -78,15 +86,6 @@ license: mit
78
  - → 詳細は [`efficient-ollama-colab-setup-with-litellm-guide.md`](sandbox/efficient-ollama-colab-setup-with-litellm-guide.md) をご参照ください。
79
  - [📒ノートブックはこちら](https://colab.research.google.com/drive/1buTPds1Go1NbZOLlpG94VG22GyK-F4GW?usp=sharing)
80
 
81
- ### LLM評価システム (LLMs as a Judge)
82
- - LLMの回答品質を自動的に評価するシステムの実装 (v0.3.0で追加、その後削除されました)
83
- - LLMを評価者として活用し、他のLLMの回答を評価(LLMs as a Judge手法)
84
- - 4段階評価スケールによる定量的な品質評価とフィードバック生成
85
- - → 詳細は [`llm-evaluator-notebook.md`](sandbox/llm-evaluator-notebook.md) をご参照ください。
86
- - GeminiとLiteLLMを使用した効率的な評価システム
87
- - [📒ノートブックはこちら](https://colab.research.google.com/drive/1haO44IeseQ3OL92HlsINAgBI_yA1fxcJ?usp=sharing)
88
-
89
-
90
  ### WikipediaデータからのQ&Aデータセット生成(センテンスプールQA方式)
91
  - センテンスプールQA方式による高品質Q&Aデータセット生成
92
  - → 句点区切りの文をプールして文脈を保持しながらQ&Aペアを生成する新しいデータセット作成手法
@@ -112,9 +111,9 @@ cd Llama-finetune-sandbox
112
 
113
  ## 📝 実験例の追加方法
114
 
115
- 1. `examples/`ディレクトリに新しい実装を追加
116
- 2. 必要な設定やユーティリティを`utils/`に追加
117
- 3. ドキュメントとテストを更新
118
  4. プルリクエストを作成
119
 
120
  ## 🤝 コントリビューション
@@ -128,10 +127,18 @@ cd Llama-finetune-sandbox
128
 
129
  - [HuggingFace PEFT ドキュメント](https://huggingface.co/docs/peft)
130
  - [Llama モデルについて](https://github.com/facebookresearch/llama)
131
- - [ファインチューニングのベストプラクティス](https://github.com/Sunwood-ai-labs/Llama-finetune-sandbox/wiki)
132
 
133
  ## 📄 ライセンス
134
 
135
  このプロジェクトはMITライセンスの下で公開されています。
136
 
137
  ```
 
 
 
 
 
 
 
 
 
44
 
45
  ## 🚀 プロジェクト概要
46
 
47
+ **Llama-finetune-sandbox**は、Llamaモデルのファインチューニングを実験的に学習・検証できる環境です。様々なファインチューニング手法を試し、モデルのカスタマイズや性能評価を行うことができます。初学者から研究者まで、幅広いユーザーのニーズに対応します。バージョン0.5.0では、ドキュメントの更新とコンテキストアウェアリフレクティブQA生成システムの追加を行いました。このシステムは、Wikipediaデータから高品質なQ&Aデータセットを生成し、LLMを活用して質問と回答の品質を段階的に向上させることで、より精度の高いデータセットを作成することを可能にします。
48
 
49
 
50
  ## ✨ 主な機能
 
59
  - 複数のアテンションメカニズム
60
 
61
  3. **実験環境の整備**:
 
62
  - メモリ使用量の最適化
63
  - 実験結果の可視化
64
 
65
+ 4. **コンテキストアウェアリフレクティブQA生成システム**:
66
+ - Wikipediaデータから高品質なQ&Aデータセットを生成します。
67
+ - LLMを活用し、文脈を考慮した質問と回答の生成、品質評価、段階的な改善を自動で行います。
68
+ - 事実性、質問の質、回答の完全性を数値化して評価し、段階的に改善を行うリフレクティブなアプローチを採用しています。
69
+ - 環境構築、モデル選択、データ前処理、Q&Aペア生成、品質評価、改善プロセスを網羅したコードと解説を提供しています。
70
+ - `litellm`, `wikipedia`, `transformers`などのライブラリを使用しています。
71
+ - 出力されたQ&AペアはJSON形式で保存され、Hugging Face Hubへのアップロードも容易に行えます。
72
+
73
+
74
  ## 📚 実装例
75
 
76
  本リポジトリには以下の実装例が含まれています:
 
86
  - → 詳細は [`efficient-ollama-colab-setup-with-litellm-guide.md`](sandbox/efficient-ollama-colab-setup-with-litellm-guide.md) をご参照ください。
87
  - [📒ノートブックはこちら](https://colab.research.google.com/drive/1buTPds1Go1NbZOLlpG94VG22GyK-F4GW?usp=sharing)
88
 
 
 
 
 
 
 
 
 
 
89
  ### WikipediaデータからのQ&Aデータセット生成(センテンスプールQA方式)
90
  - センテンスプールQA方式による高品質Q&Aデータセット生成
91
  - → 句点区切りの文をプールして文脈を保持しながらQ&Aペアを生成する新しいデータセット作成手法
 
111
 
112
  ## 📝 実験例の追加方法
113
 
114
+ 1. `sandbox/`ディレクトリに新しい実装を追加
115
+ 2. 必要な設定やユーティリティを`utils/`に追加 (存在しないため記述を削除)
116
+ 3. ドキュメントとテストを更新 (存在しないため記述を削除)
117
  4. プルリクエストを作成
118
 
119
  ## 🤝 コントリビューション
 
127
 
128
  - [HuggingFace PEFT ドキュメント](https://huggingface.co/docs/peft)
129
  - [Llama モデルについて](https://github.com/facebookresearch/llama)
130
+ - [ファインチューニングのベストプラクティス](https://github.com/Sunwood-ai-labs/Llama-finetune-sandbox/wiki) (存在しないため記述を削除)
131
 
132
  ## 📄 ライセンス
133
 
134
  このプロジェクトはMITライセンスの下で公開されています。
135
 
136
  ```
137
+ ```
138
+
139
+ ## v0.5.0 での更新
140
+
141
+ **🆕 最新情報:**
142
+
143
+ - コンテキストアウェアリフレクティブQA生成システムの実装
144
+ - README.mdへの関連情報の追加