cosimoiaia
commited on
Commit
•
220fc30
1
Parent(s):
a039b19
Update README.md
Browse files
README.md
CHANGED
@@ -11,4 +11,19 @@ tags:
|
|
11 |
---
|
12 |
## Description
|
13 |
|
14 |
-
This repo contains GGUF format model files for [Loquace-7B-Mistral](https://huggingface.co/cosimoiaia/Loquace-7B-Mistral)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
11 |
---
|
12 |
## Description
|
13 |
|
14 |
+
This repo contains GGUF format model files for [Loquace-7B-Mistral](https://huggingface.co/cosimoiaia/Loquace-7B-Mistral)
|
15 |
+
|
16 |
+
### Versione GGUF per di Loquace l'utilizzo su CPU (Senza GPU!!!):
|
17 |
+
La versione GGUF 8bit di Loquace è una versione ridotta per essere utilizzata su computer o portatili anche senza l'utilizzo di una GPU.
|
18 |
+
|
19 |
+
Qui c'è una lista incompleta di clienti e librerie che sono conosciute per supportare GGUF (Grazie a [TheBloke](https://huggingface.co/TheBloke) per questa lista e per il suo fantastico lavoro):
|
20 |
+
|
21 |
+
* [llama.cpp](https://github.com/ggerganov/llama.cpp). Il progetto primario per il formato GGUF. Fornisce un'interfaccia a riga di comando e una versione server.
|
22 |
+
* [text- generation-webui](https://github.com/oobabooga/text- generation-webui), L'interfaccia web più usata, con molte funzionalità ed estensioni. Supporta anche GPU locali.
|
23 |
+
* [KoboldCpp](https://github.com/LostRuins/koboldcpp), un'interfaccia utente Web completa, con accelerazione GPU su tutte le piattaforme e architetture GPU. Particolarmente adatto per raccontare storie.
|
24 |
+
* [LM Studio](https://lmstudio.ai/), una GUI locale potente e facile da usare per Windows e macOS (Silicon), con accelerazione GPU.
|
25 |
+
* [Interfaccia utente Web di LoLLMS](https://github.com/ParisNeo/lollms-webui), una fantastica interfaccia utente Web con molte funzionalità interessanti e uniche, inclusa una libreria di modelli completa per una facile selezione del modello.
|
26 |
+
* [Faraday.dev](https://faraday.dev/), una GUI di chat basata sui caratteri attraente e facile da usare per Windows e macOS (sia Silicon che Intel), con accelerazione GPU.
|
27 |
+
* [ctransformers](https://github.com/marella/ctransformers), una libreria Python con accelerazione GPU, supporto LangChain e server AI compatibile con OpenAI.
|
28 |
+
* [llama-cpp-python](https://github.com/abetlen/llama-cpp-python), una libreria Python con accelerazione GPU, supporto LangChain e server API compatibile con OpenAI.
|
29 |
+
* [candle](https://github.com/huggingface/candle), un framework Rust ML incentrato sulle prestazioni, incluso il supporto GPU e sulla facilità d'uso.
|