RioShiina/LightChatAssistant-TypeB-2x7B-exl2

4.0bpw
6.0bpw
8.0bpw

これは、Sdff-LtbaさんのLightChatAssistant-TypeB-2x7Bモデルをexl2量子化したものです。
Q4 cacheモードによる、32kのContextSize対応、8.0bpw量子化でVRAM16GBでフルロード可能です。