README.md

metadata

license: mit
datasets:
  - neody/imatrix_dataset
language:
  - ja
  - en
base_model:
  - sbintuitions/sarashina2.2-3b-instruct-v0.1

概要

vllm/sglangで効率よく使用することができます。

AWQ作成のデータセットには、neody/imatrix_datasetを使用しました。