Edit model card

image/jpeg

概要

当モデルはMistral系のArrowPro-7B-KUJIRAをもとにdatabricks-dolly-15k-Nyan-jaを用いて語尾を「にゃん!」にするファインチューニングを実施したモデルとなります。

How to use

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("DataPilot/ArrowPro-7B-Nyan")
model = AutoModelForCausalLM.from_pretrained(
  "DataPilot/ArrowPro-7B-Nyan",
  torch_dtype="auto",
)
model.eval()

if torch.cuda.is_available():
    model = model.to("cuda")

def build_prompt(user_query):
    sys_msg = "あなたは日本語を話す優秀なアシスタントです。回答には必ず日本語で答えてください。"
    template = """[INST] <<SYS>>
{}
<</SYS>>

{}[/INST]"""
    return template.format(sys_msg,user_query)

# Infer with prompt without any additional input
user_inputs = {
    "user_query": "まどマギで一番かわいいキャラはだれ?",
}
prompt = build_prompt(**user_inputs)

input_ids = tokenizer.encode(
    prompt, 
    add_special_tokens=True, 
    return_tensors="pt"
)

tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=500,
    temperature=1,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0][input_ids.shape[1]:], skip_special_tokens=True).strip()
print(out)

謝辞

このモデルを作成するために計算資源を貸してくれたwitness氏Meta Data Labに感謝を申し上げます

お願い

このモデルを利用する際は他人に迷惑をかけないように最大限留意してください。

Downloads last month
6
Safetensors
Model size
7.24B params
Tensor type
BF16
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for DataPilot/ArrowPro-7B-Nyan

Quantizations
1 model