taide

/

TAIDE-LX-7B-Chat

like 138

Follow

TAIDE 192

如果有需要使用 GGUF，這裡有。
https://huggingface.co/ZoneTwelve/TAIDE-LX-7B-Chat-GGUF
https://huggingface.co/ZoneTwelve/TAIDE-LX-7B-GGUF

Hi,
Here is the 4-bit GGUF version available at the following link:
https://huggingface.co/taide/TAIDE-LX-7B-Chat-4bit
Best regards.

如果有需要使用 GGUF，這裡有。
https://huggingface.co/ZoneTwelve/TAIDE-LX-7B-Chat-GGUF
https://huggingface.co/ZoneTwelve/TAIDE-LX-7B-GGUF

這裡面GGUF好多 要下載哪個啊?
要用Ollama 本地執行的話該怎麼做呢?
謝謝

@NCGWRjason 您好，有關於Modefile的詳細說明與使用教學，請參考 Ollama 官方文件中的 Modefile。
此外，這裡可以找到一個 Modefile 的範例，供您參考學習。

@NCGWRjason 您好，這個可以參考這裡的 Modefile 教學
亦或者參考 Modefile

感謝，Modefile 這個文件又是什麼?
要把GGUF轉成Ollama 的本地model不曉得是在哪個CMD下執行，或是要先裝什麼套件

目前有人分享使用4 bit的步驟
https://blog.miniasp.com/post/2024/04/17/Run-TAIDE-LX-7B-Chat-4bit-model-in-Ollama

@NCGWRjason 您好， Modefile 是 Ollama 設計的設定檔案，故想透過 Ollama 使用 TAIDE 的話，可能需要另外撰寫設定。
您所提供的教學也是一種 Modefile 的使用方法。

@NCGWRjason 您好， Modefile 是 Ollama 設計的設定檔案，故想透過 Ollama 使用 TAIDE 的話，可能需要另外撰寫設定。
您所提供的教學也是一種 Modefile 的使用方法。

謝謝 那請問有直接乎較model的方式嗎? 不過目前看別人的分享是用Ollama 反而速度快一點
我看到的TAIDE-LX-7B-Chat-4bit used in Ollama
似乎都需要GGUF檔，然後再透過Ollama 建立專有的 Modelfile 才能執行
另外創建的model name也什麼特殊規則嗎? 範例給的是 taide-lx-7b-chat-4bit:latest
ollama create taide-lx-7b-chat-4bit:latest -f Modelfile
ollama run taide-lx-7b-chat-4bit:latest

1. 比較簡單的方式：Windows 版客製化 Kuwa 系統
   https://kuwaai.org/zh-Hant/blog/kuwa-os-v0.2.0-taide?fbclid=IwZXh0bgNhZW0CMTAAAR0nM4QEKKDoSBkP8Pmka85S5-QZPqPUS_IvqKRae9w3TyNSHSoktiH92hU_aem_AdO08ayWwK2iyCqYuFqzayohh_su08lBh9B9o8bXW3st2HmXGoFZFAjjAQ86cSvpDf3rfscdVwHCUkjYG1XeNiAG

2. 參考 https://github.com/ollama/ollama 的說明，以 Linux 系統為例
   (a) install ollama
   指令: curl -fsSL https://ollama.com/install.sh | sh
   (b) start ollama
   指令: ollama serve
   (c) download the TAIDE model from https://huggingface.co/taide/TAIDE-LX-7B-Chat-4bit
   (d) create the Modelfile with the following line in the file. (remember to replace [your_path] to an existing path containing the TAIDE model)
   檔案內容: FROM [you_path]/taide-7b-a.2-q4_k_m.gguf
   (e) Create the model in Ollama
   指令: ollama create taide-4bits -f Modelfile
   (f) Run taide model
   指令: ollama run taide-4bits

如果有需要使用 GGUF，這裡有。
https://huggingface.co/ZoneTwelve/TAIDE-LX-7B-Chat-GGUF
https://huggingface.co/ZoneTwelve/TAIDE-LX-7B-GGUF

您好 我用gpt4all 就可以下載源自您的 TAIDE GGUF
但是有這兩個 都是3.69 GB大小 請問是下載哪個好呢? 謝謝
TAIDE-LX-7B-GGUF
TAIDE-LX-7B-Chat-GGUF

TAIDE-LX-7B-Chat-GGUF

您好，想請問這個gguf原始模型是下面這個taide嗎?
https://huggingface.co/ZoneTwelve/DevHub_TAIDE
taide/Llama3-TAIDE-LX-8B-Chat-Alpha1

請問還有那些taide的相關gguf 模型嗎?

這個作者釋出的gguf檔是屬於taide官方或是相關團隊的嗎?
https://huggingface.co/QuantFactory
https://huggingface.co/QuantFactory/TAIDE-LX-7B-GGUF

謝謝