taoki/Fugaku-LLM-13B-instruct-qlora-jmultiwoz-amenokaku-alpaca_jp_python

Uploaded model

• Developed by: taoki
• License: Fugaku-LLM Terms of Use
• Finetuned from model : Fugaku-LLM/Fugaku-LLM-13B-instruct

Usage

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained(
  "taoki/Fugaku-LLM-13B-instruct-qlora-jmultiwoz-amenokaku-alpaca_jp_python"
)
model = AutoModelForCausalLM.from_pretrained(
  "taoki/Fugaku-LLM-13B-instruct-qlora-jmultiwoz-amenokaku-alpaca_jp_python"
)

if torch.cuda.is_available():
    model = model.to("cuda")

prompt="""以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。

### 指示:
OpenCVを用いて定点カメラから画像を保存するコードを示してください。
### 応答:
"""
input_ids = tokenizer.encode(prompt,
                             add_special_tokens=False,
                             return_tensors="pt")
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    do_sample=True,
    temperature=0.1,
    top_p=1.0,
    repetition_penalty=1.0,
    top_k=0
)
out = tokenizer.decode(tokens[0], skip_special_tokens=False)
print(out)

Output

以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。

### 指示:
OpenCVを用いて定点カメラから画像を保存するコードを示してください。
### 応答:
```python
import cv2

# 画像を読み込む
img = cv2.imread('image.jpg')

# 画像を保存する
cv2.imwrite('output.jpg', img)
```<EOD|LLM-jp>