ViT5 Translation

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

model_name = "maihuyhoat/Translate"
tokenizer = AutoTokenizer.from_pretrained(model_name)  
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
model.cuda()
inputs = [
    "en: Too expensive.",
    "en:  Can you give me a discount?",
    "en: Do you want to sell?",
    "en: I want to buy.",
    "en: One size larger.",
    "en: One size smaller.",
    "en: What do you do?",
    "vi: Quá đắt.",
    "vi: Bạn có thể giảm giá?",
    "vi: Bạn có muốn bán không?",
    "vi: Tôi muốn mua.",
    "vi: Một kích thước lớn hơn.",
    "vi: Một size nhỏ hơn.",
    "vi: Bạn làm nghề gì?"
]

outputs = model.generate(tokenizer(inputs, return_tensors="pt", padding=True).input_ids.to('cuda'), max_length=50)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))

# Expected outputs:
# ['vi: Quá đắt.',
#  'vi: Bạn có thể giảm giá không?',
#  'vi: Bạn có muốn bán không?',
#  'vi: Tôi muốn mua.',
#  'vi: Một kích thước lớn hơn.',
#  'vi: Một size nhỏ hơn.',
#  'vi: Bạn làm nghề gì?',
#  'en: Too expensive.',
#  'en: Can you reduce the price?',
#  'en: Do you want to sell?',
#  'en: I want to buy.',
#  'en: One size larger.',
#  'en: One size smaller.',
#  'en: What do you do?']


# Expected outputs:
# ['en: KHTN-CN ThuDo Academy offers courses in machine learning and artificial intelligence with the goal of enhancing Vietnam's competitiveness on the international stage.',
#  'en: Technologies such as deep learning and natural language processing are being widely applied in various fields such as healthcare, finance, and education.',
#  'vi: Trí tuệ nhân tạo đang thay đổi thế giới bằng cách cho phép máy móc học từ dữ liệu và thực hiện các nhiệm vụ thường yêu cầu trí tuệ con người.',
#  'vi: Sự hợp tác giữa ngành công nghiệp và học viện là rất quan trọng đối với sự tiến bộ của công nghệ AI và các ứng dụng của nó.']