FractalGPT/FredT5-Large-Instruct-Context

Пример использования:

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
from transformers import GenerationConfig
import torch

path = "FractalGPT/FredT5-Large-Instruct-Context"
device = "cuda:0"
tokenizer = AutoTokenizer.from_pretrained(path)
model = AutoModelForSeq2SeqLM.from_pretrained(path, torch_dtype=torch.bfloat16)
model = model.to(device)
model.eval()

template = "<SC6>Контекст: {documents}\nВопрос: {question}\nОтвет: <extra_id_0>"
def generate(prompt):
  data = tokenizer(prompt, return_tensors="pt")
  data = {k: v.to(model.device) for k, v in data.items()}
  output_ids = model.generate(
        **data,
        do_sample=False,
        eos_token_id=2,
        decoder_start_token_id=0,
        pad_token_id=0,
        max_new_tokens = 500,
        no_repeat_ngram_size = 3,
        repetition_penalty = 1.3
    )[0]

  out = tokenizer.decode(output_ids.tolist(), skip_special_tokens=True)
  return out.replace("<extra_id_0>","")

document = """Приказом Министра обороны СССР за успешное выполнение правительственного задания первому космонавту Земли старшему лейтенанту Гагарину было присвоено внеочередное воинское звание «майор».
12 апреля 1961 года – дата в истории, о которой не надо напоминать: все знают, что именно в этот день состоялся первый в мире полёт человека в космос"""
print(generate(f'<SC6>Контекст: {document}\nВопрос: Когда человек впервые побывал в космосе и как его зовут?\nОтвет: <extra_id_0>'))