File size: 2,485 Bytes
dc86692 a106407 dc86692 a106407 dc86692 a106407 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 |
---
library_name: transformers
tags:
- text-generation-inference
- llama
license: cc-by-nc-sa-4.0
datasets:
- llm-jp/magpie-sft-v1.0
language:
- ja
base_model:
- llm-jp/llm-jp-3-13b
---
# Uploaded model
- **Developed by:** MakeNoah
- **License:** CC-BY-NC-SA 4.0
- **Finetuned from model :** llm-jp/llm-jp-3-13b
This llama model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library.
---
## **Model Card: Instruction-Tuned Base Model**
### **Model Overview**
- **Model Name**: `llm-jp-3-13b-magpie`
- **Description**: このモデルは、日本語ベースの大規模言語モデル（13B）`llm-jp-3-13b`を基に、magpie-datasetとichikara-datasetでFTを行ったものです
- **Base Model**: `llm-jp-3-13b`
- **Fine-Tuning Objective**: 指示文（instruction）に対する適切な応答（response）を生成する能力を向上させるための微調整。
---
### **Datasets**
- **Training Dataset**:
- データセット名:ichikara-instruction
- データセット名:llm-jp/magpie-sft-v1.0
---
### **Training Configuration**
- **Hardware**:
- GPU: RTX 24GB（1枚）
- **Hyperparameters**:
- `per_device_train_batch_size`: 1
- `gradient_accumulation_steps`: 4
- `num_train_epochs`: 1
- `learning_rate`: 5.0e-5
- `fp16`: 使用
- `bf16`: 使用（ハードウェアでサポートされる場合）
- `max_seq_length`: 512
---
### **Fine-Tuning Process**
1. **データのロード**:
- `ichikara-instruction-003-001-1.json`をロードし、`text`と`output`を使用してプロンプト形式に変換。
- llm-jp/magpie-sft-v1.0も同様の方法でマージ
2. **モデル準備**:
- ベースモデル: `llm-jp-3-13b`。
- LoRAアダプタを適用:
- **Target Modules**: `q_proj`, `k_proj`, `v_proj`, `o_proj`, `gate_proj`, `up_proj`, `down_proj`。
- **LoRA Hyperparameters**:
- `r=36`
- `lora_alpha=16`
- `lora_dropout=0.1`
3. **トレーニング設定**:
- 各データを512トークンでトークナイズ。
- 勾配累積（4ステップ）を利用して効果的なバッチサイズを確保。
4. **トレーニング実行**:
---
### **推論方法**
学習、推論に使用したコードは以下のコマンドで取得できます。
```
cd ~
git clone https://github.com/MakeNoah/LLM_TuneCode.git
```
推論は以下の方法で行ってください。
```
cd ~/LLM_TuneCode/01_推論用
python inference.py
```
--- |