taide

/

Llama3-TAIDE-LX-8B-Chat-Alpha1

like 85

您好

README 中有 H100 GPU Hours和token量，您可以估計出訓練所需的運算資源

您好
這裡補充一下推論的硬體需求，最主要的硬體需求會是 VRAM 的部份
以半精度的 8B 模型來說，模型參數本身會須要 16GB 的 VRAM，在推論過程中還會產生一些額外開銷，如 KV Cache 等
因此我建議的硬體規格會是有 20GB 以上 VRAM 的 GPU，以市面上的消費級顯示卡來說 90 等級的顯示卡才會有 20GB 以上的 VRAM，如 3090(Ti)/4090 有 24 GB 的 VRAM
而最低規格可能就難以界定了，因為你能使用各種時間換取空間的方式去節省 VRAM 的使用量，甚至不需要 GPU 也能夠運行

了解~ 感謝您的詳細說明!
另外想請問，是否有考慮推出延長 context 的版本? 8K 實在很不好運用
另外也請考慮加入 function calling ( tools ) 的功能
因為我是做 AI 整合應用的，很希望有機會運用國產的模型做發揮
謝謝!

您可以使用 Dynamic NTK RoPE Scaling 來延展模型的 Context Size，此種方式在不對模型做額外訓練的情況下可以得到不錯的效果

您好，

會轉達您的需求，謝謝您的建議。

Best regards.