---
library_name: transformers
tags:
- text-generation-inference
- llama
license: cc-by-nc-sa-4.0
datasets:
- llm-jp/magpie-sft-v1.0
language:
- ja
base_model:
- llm-jp/llm-jp-3-13b
---

# Uploaded  model
- **Developed by:** MakeNoah
- **License:** CC-BY-NC-SA 4.0
- **Finetuned from model :** llm-jp/llm-jp-3-13b
This llama model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library.
---
## **Model Card: Instruction-Tuned Base Model**
### **Model Overview**
- **Model Name**: `llm-jp-3-13b-magpie`
- **Description**: このモデルは、日本語ベースの大規模言語モデル（13B）`llm-jp-3-13b`を基に、magpie-datasetとichikara-datasetでFTを行ったものです
- **Base Model**: `llm-jp-3-13b`
- **Fine-Tuning Objective**: 指示文（instruction）に対する適切な応答（response）を生成する能力を向上させるための微調整。
---
### **Datasets**
- **Training Dataset**:
  - データセット名:ichikara-instruction
  - データセット名:llm-jp/magpie-sft-v1.0


---
### **Training Configuration**
- **Hardware**:
  - GPU: RTX 24GB（1枚）
- **Hyperparameters**:
  - `per_device_train_batch_size`: 1
  - `gradient_accumulation_steps`: 4
  - `num_train_epochs`: 1
  - `learning_rate`: 5.0e-5
  - `fp16`: 使用
  - `bf16`: 使用（ハードウェアでサポートされる場合）
  - `max_seq_length`: 512
---
### **Fine-Tuning Process**
1. **データのロード**:
   - `ichikara-instruction-003-001-1.json`をロードし、`text`と`output`を使用してプロンプト形式に変換。
   - llm-jp/magpie-sft-v1.0も同様の方法でマージ
2. **モデル準備**:
   - ベースモデル: `llm-jp-3-13b`。
   - LoRAアダプタを適用:
     - **Target Modules**: `q_proj`, `k_proj`, `v_proj`, `o_proj`, `gate_proj`, `up_proj`, `down_proj`。
     - **LoRA Hyperparameters**:
       - `r=36`
       - `lora_alpha=16`
       - `lora_dropout=0.1`
3. **トレーニング設定**:
   - 各データを512トークンでトークナイズ。
   - 勾配累積（4ステップ）を利用して効果的なバッチサイズを確保。
4. **トレーニング実行**:
---
### **推論方法**
学習、推論に使用したコードは以下のコマンドで取得できます。
```
cd ~
git clone https://github.com/MakeNoah/LLM_TuneCode.git
```
推論は以下の方法で行ってください。
```
cd ~/LLM_TuneCode/01_推論用
python inference.py
```

---