README.md

---
library_name: transformers
tags:
- unsloth
- japanese
- llm-jp
- lora
datasets:
- GENIAC-Team-Ozaki/Hachi-Alpaca_newans
- llm-jp/magpie-sft-v1.0
language:
- ja
base_model:
- llm-jp/llm-jp-3-13b
license: apache-2.0
---

# llm-jp-3-13b-SFT-LoRA モデルカード

llm-jp-3-13bをベースに、QLoRAとUnslothを用いてファインチューニングを行った日本語言語モデルです。

## モデルの詳細

### モデルの説明

- **開発者:** shakebenn
- **共有者:** shakebenn
- **モデルタイプ:** 言語モデル（デコーダーのみ）
- **言語:** 日本語
- **ライセンス:** ベースモデルに準拠
- **ベースモデル:** llm-jp/llm-jp-3-13b

### モデルソース

- **リポジトリ:** https://huggingface.co/llm-jp/llm-jp-3-13b

## 推論コードの使用方法
1. ファイルのダウンロード、準備
  - [Kota-Ohno/LLM_saisyukadai](https://github.com/Kota-Ohno/LLM_saisyukadai)から「Model_Inference_v5.ipynb」と「tokenizer.model」、「elyza-tasks-100-TV_0.jsonl」をダウンロードします。
  - 「tokenizer.model」に関しては、[llm-jp/llm-jp-tokenizer](https://github.com/llm-jp/llm-jp-tokenizer)から「llm-jp-tokenizer-100k.ver3.0b1.model」をダウンロードして、「tokenizer.model」という名前でリネームしても構いません。
  - google colabで「Model_Inference_v5.ipynb」を開き、ランタイムをL4に設定します。

2. 必要なライブラリのインストール
  - terminalを開き、以下のコードを順番に実行します。
    ```bash
    apt-get install git-lfs
    git lfs install
    ```
    ```bash
    git clone https://github.com/ggerganov/llama.cpp
    ```
    ```bash
    pip install -r ./llama.cpp/requirements.txt
    ```

3. モデルのダウンロード
    ```bash
    git clone https://huggingface.co/llm-jp/llm-jp-3-13b
    ```
  - 「tokenizer.model」ファイルを「llm-jp-3-13b」ディレクトリに配置します

4. モデルの変換
  - 以下のコードを順番に実行します。
    ```bash
    python ./llama.cpp/convert_hf_to_gguf.py --outfile llm-jp-3-13b.gguf llm-jp-3-13b
    ```
    ```bash
    cd llama.cpp
    mkdir build
    cd build
    cmake ..
    cmake --build .
    cd ../
    cd ../
    ```
    ```bash
    ./llama.cpp/build/bin/llama-quantize ./llm-jp-3-13b.gguf ./llm-jp-3-13b-q8_0.gguf q8_0
    ```
    ```bash
    git clone https://huggingface.co/shakebenn/llm-jp-3-13b-SFT-LoRA
    python ./llama.cpp/convert_lora_to_gguf.py --base llm-jp-3-13b --outfile ./llm-jp-3-13b-SFT-LoRA.gguf llm-jp-3-13b-SFT-LoRA
    ```

4. 推論の実行
  - 「elyza-tasks-100-TV_0.jsonl」を推論コードと同階層にコピーする
  - 推論コード(Model_Inference_v5.ipynb)のすべてのセルを実行する

### 直接利用

このモデルは以下のような用途に適しています：
- 質問応答
- テキスト生成
- 文章要約
- その他の自然言語処理タスク

### 対象外の使用

以下の用途での使用は推奨されません：
- 商用利用
- 重要な意思決定
- 医療・法律アドバイス
- 有害なコンテンツの生成

## バイアス、リスク、制限事項

- 学習データに起因するバイアスが存在する可能性があります
- 事実と異なる情報を生成する可能性があります
- 有害なコンテンツを生成する可能性があります

### 推奨事項

- 出力内容の検証を必ず行ってください
- センシティブな用途での使用は避けてください
- 生成された内容の責任は使用者が負うものとします

## モデルの使用開始方法

## 学習の詳細

### 学習データ

以下のデータセットを使用:
- GENIAC-Team-Ozaki/Hachi-Alpaca_newans
- llm-jp/magpie-sft-v1.0

### 学習手順

#### 前処理
- 指示文と回答のペアにフォーマット
- コンテキスト長を512トークンに制限

#### 学習ハイパーパラメータ

- **学習手法:** QLoRA with Unsloth
- **量子化:** 4-bit
- **LoRA設定:**
  - rank (r): 32
  - alpha: 32
  - dropout: 0.05
  - target_modules: ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"]
- **トレーニング設定:**
  - バッチサイズ: 2
  - 勾配累積: 4
  - エポック数: 1
  - 学習率: 2e-4
  - シーケンス長: 512