inference: false
language:
- ja
- en
webbigdata/ALMA-7B-Ja-V2-GPTQ-Ja-En
ALMA-7B-Ja-V2-GPTQ-Ja-Enは日本語から英語、英語から日本語への機械翻訳を行うモデルです。
ALMA-7B-Ja-V2-GPTQ-Ja-En is a machine translation model that uses ALMA's learning method to translate Japanese to English.
多少の性能を犠牲にして元のモデルをのサイズを小さくし、実行速度を早くし、使いやすくした版です。
This is a version of the original model that is smaller in size, faster to run, and easier to use, at the cost of some performance.
サンプルコード
Googleアカウントをお持ちの方は以下のColabを使用して動かす事が出来ます。
テキストファイル全体を一気に翻訳したい方は、以下のColabをお試しください。
If you want to translate the entire file at once, try Colab below.
ALMA_7B_Ja_V2_GPTQ_Ja_En_batch_translation_sample
以下のようなエラーが発生した場合は
if you enconter error below.
RuntimeError: probability tensor contains either `inf`, `nan` or element < 0
It's mean your memory is not enough. decrease your num_beams or token size.
これはメモリ不足を意味します。num_beamsかtoken sizeを減らしてください。
その他の版 Other Version
- None quantized model ALMA-7B-Ja-V2.
本作業について about this work
- 本作業はwebbigdataによって行われました
- This work was done by : webbigdata.
ALMA (Advanced Language Model-based trAnslator) is an LLM-based translation model, which adopts a new translation model paradigm: it begins with fine-tuning on monolingual data and is further optimized using high-quality parallel data. This two-step fine-tuning process ensures strong translation performance. Please find more details in their paper.
@misc{xu2023paradigm,
title={A Paradigm Shift in Machine Translation: Boosting Translation Performance of Large Language Models},
author={Haoran Xu and Young Jin Kim and Amr Sharaf and Hany Hassan Awadalla},
year={2023},
eprint={2309.11674},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
量子化設定 gptq 4bit/128G Quantization settings gptq 4bit/128G