---
library_name: transformers
license: other
base_model:
- llm-jp/llm-jp-3-13b
---
library_name: transformers
license: cc-by-sa
base_model:
- llm-jp/llm-jp-3-13b
---

# Model Card for llm-jp-3-13b-finetune-sonodave-001
LoRAアダプターによる日本語チャットボット用のモデルです。ベースモデルである `llm-jp/llm-jp-3-13b` を、`ichikara-instruction` データセットを用いてSFT（指示調整）しました。

## Model Details

### Model Description
このモデルは、松尾・岩澤研究室の大規模言語モデル講座（[詳細はこちら](https://weblab.t.u-tokyo.ac.jp/lecture/course-list/large-language-model/)）における演習で、個人（開発者: [sonodd](https://huggingface.co/sonodd)）がLoRAのアダプターを使って作成した日本語特化のチャットボット用モデルです。主に日本語でのインストラクション応答・対話生成を目的としています。

- **Model Name / Model ID:** [llm-jp-3-13b-finetune-sonodave-001](https://huggingface.co/sonodd/llm-jp-3-13b-finetune-sonodave-001)
- **Developed by:** 個人（sonodd）
- **Funded by [optional]:** 松尾・岩澤研究室の講座演習（大規模言語モデル講座）
- **Shared by [optional]:** sonodd
- **Model type:** Decoder-only Transformer (LoRAアダプター使用)
- **Language(s) (NLP):** 日本語
- **License:** CC-BY-SA  
  - ※ 演習での利用を想定しており、上記演習での参考以外への利用を禁止しています。
- **Finetuned from model:** [`llm-jp/llm-jp-3-13b`](https://huggingface.co/llm-jp/llm-jp-3-13b)

### Model Sources [optional]
- **Repository:** [llm-jp/llm-jp-3-13b-finetune-sonodave-001](https://huggingface.co/llm-jp/llm-jp-3-13b-finetune-sonodave-001)
- **Paper [optional]:** なし
- **Demo [optional]:** なし

## Uses

### Direct Use
日本語チャットボット、対話型アプリケーションへの組み込みを想定しています。単純な質問応答や創作文章生成など、多目的に利用可能です。

### Downstream Use [optional]
さらなるLoRA微調整や、他の日本語タスク（要約やQAなど）への転用は可能ですが、本モデルはチャットボット向けに最適化されている点をご留意ください。

### Out-of-Scope Use
- 公序良俗に反する、あるいは不適切・有害な内容の生成を意図する利用
- 大規模サービス等への商用利用（講座演習の参考利用範囲を超える利用は禁止されています）

## Bias, Risks, and Limitations
- ChatGPT系統のLLMと同様、誤情報やバイアスを含む応答を生成する可能性があります。
- 生成された文章の内容を利用する場合は、専門家による検証やファクトチェックが必須です。

### Recommendations
- 利用者は、モデルが誤った情報や不適切な表現を生成し得る点を理解した上で使用してください。
- 社会的にセンシティブなテーマに関しては特に慎重に取り扱ってください。

## How to Get Started with the Model

以下のPythonコード例では、Hugging Face TransformersとPEFTライブラリを使ってLoRAアダプターを読み込んで推論します。

```python
# ライブラリのimport, なければpipで取得
from transformers import (
    AutoModelForCausalLM,
    AutoTokenizer,
    BitsAndBytesConfig,
)
from peft import PeftModel
import torch
from tqdm import tqdm
import json

# Hugging Faceにログイン
import os
from huggingface_hub import login

# Hugging Faceで取得したTokenをこちらに貼る。
HF_TOKEN = "Hugging Face Token"

login(HF_TOKEN)

# model_idの値はomnicampusの環境におけるモデルのパスを表しており、それ以外の環境で実行する場合は変更の必要があります。
# base_model_id = "models/models--llm-jp--llm-jp-3-13b/snapshots/cd3823f4c1fcbb0ad2e2af46036ab1b0ca13192a"
# omnicampus以外の環境をご利用の方は以下をご利用ください。

base_model_id = "llm-jp/llm-jp-3-13b"
adapter_id = "sonodd/llm-jp-3-13b-finetune-sonodave-001" # こちらにアップロードしたHugging FaceのIDを指定してください。

# QLoRA config 量子化設定
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,  # 4-bit量子化を有効化
    bnb_4bit_compute_dtype=torch.float16,  # 計算精度をFP16に設定
    bnb_4bit_use_double_quant=True,  # ダブル量子化を有効化, メモリのさらなる節約、計算速度が最優先の場合は外す
    bnb_4bit_quant_type="nf4"  # nf4量子化タイプを使用
)

# ベースモデルのロード
base_model = AutoModelForCausalLM.from_pretrained(
    base_model_id,
    quantization_config=bnb_config,  # 量子化設定
    device_map="auto", # 自動でGPUとCPUに割り当て
    use_auth_token=HF_TOKEN  # Hugging Faceトークン
)

# トークナイザーのロード
tokenizer = AutoTokenizer.from_pretrained(
    base_model_id,
    trust_remote_code=True,
    use_auth_token=HF_TOKEN
)

print("モデルが正常にロードされました")


# LoRAアダプタを適用
model = PeftModel.from_pretrained(
    base_model,  # ベースモデル
    adapter_id,  # LoRAアダプタの ID
    use_auth_token=HF_TOKEN
)

print("LoRAアダプタが適用されました")

# 確認用出力
print("--> モデルとLoRAアダプタのロードが完了しました")


# データセットの読み込み（{{data_set_name}}に置いてあるファイルを指定）
datasets = []
with open("./{{data_set_name}}", "r") as f:
    item = ""
    for line in f:
      line = line.strip()
      item += line
      if item.endswith("}"):
        datasets.append(json.loads(item))
        item = ""

# 再帰的なプロンプト
from tqdm import tqdm
import torch
from typing import List, Dict, Any
import json
import re

def evaluate_with_improvements(
    model,
    tokenizer,
    datasets: List[Dict[str, Any]],
    improvement_steps: int = 3
) -> List[Dict[str, Any]]:
    """データセットを評価し、回答を段階的に改善"""
    results = []

    for data in tqdm(datasets):
        input_text = data["input"]

        # 初期回答の生成
        initial_prompt = f"""### 指示
{input_text}
### 回答
"""
        tokenized_input = tokenizer.encode(
            initial_prompt,
            add_special_tokens=False,
            return_tensors="pt"
        ).to(model.device)

        attention_mask = torch.ones_like(tokenized_input)

        with torch.no_grad():
            outputs = model.generate(
                tokenized_input,
                attention_mask=attention_mask,
                max_new_tokens=100,
                do_sample=False,
                repetition_penalty=1.2,
                pad_token_id=tokenizer.eos_token_id
            )[0]

        output = tokenizer.decode(
            outputs[tokenized_input.size(1):],
            skip_special_tokens=True
        )

        result = {
            "task_id": data["task_id"],
            "output": output,
            "input": data.get("input"),  # optional
            "eval_aspect": data.get("eval_aspect")  # optional
        }

        results.append(result)

    return results
     

def save_results_jsonl(results: List[Dict[str, Any]], adapter_id: str):
    """結果をJSONL形式で保存"""
    jsonl_id = re.sub(".*/", "", adapter_id)
    output_path = f"./{jsonl_id}-outputs.jsonl"

    with open(output_path, 'w', encoding='utf-8') as f:
        for result in results:
            # 必須フィールドのみを含む辞書を作成
            output_dict = {
                "task_id": result["task_id"],
                "output": result["output"]
            }

            # オプションフィールドを追加（存在する場合のみ）
            if "input" in result:
                output_dict["input"] = result["input"]
            if "eval_aspect" in result:
                output_dict["eval_aspect"] = result["eval_aspect"]

            json.dump(output_dict, f, ensure_ascii=False)
            f.write('\n')

    print(f"Results saved to: {output_path}")


# モデル評価
results = evaluate_with_improvements(model, tokenizer, datasets)
# 結果の保存
save_results_jsonl(results, adapter_id)

```