File size: 1,440 Bytes
81e14ee 70151c7 81e14ee 70151c7 81e14ee 70151c7 81e14ee 70151c7 81e14ee 70151c7 81e14ee 70151c7 81e14ee 70151c7 81e14ee 70151c7 81e14ee 70151c7 81e14ee 70151c7 81e14ee 70151c7 81e14ee 70151c7 81e14ee 70151c7 81e14ee 70151c7 81e14ee 70151c7 81e14ee 70151c7 81e14ee 70151c7 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 |
---
language:
- es
- en
tags:
- gguf
- llama.cpp
- phi-3
- phi-3-mini
- 128k
- phi-3-mini-128k
---
# Phi-3-mini-128k-instruct
## Requisitos
Para usar este modelo, necesitas tener instalado llama.cpp en tu equipo. Puedes obtener llama.cpp desde el siguiente repositorio:
- [Repositorio de llama.cpp](https://github.com/ggerganov/llama.cpp)
Para instalar llama.cpp, sigue estos pasos:
```bash
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make
```
## Uso del modelo
La plantilla del modelo es la siguiente:
```plaintext
<|user|>\n{prompt} <|end|>\n<|assistant|>
```
Puedes utilizar el modelo en llama.cpp con el siguiente comando:
```bash
./main -m ggml-model-Q8_0.gguf -p "<|user|>\n¿Cómo te llamas? <|end|>\n<|assistant|>" --log-disable
```
LM Studio config-presets
Filename:openchat.preset.json
```json
{
"name": "OpenChat",
"inference_params": {
"input_prefix": "<|user|>\n",
"input_suffix": "<|end|>\n<|assistant|>",
"antiprompt": [
"<|user|>\n",
"<|end|>\n<|assistant|>"
],
"pre_prompt": "<|system|>\nYou are a helpful AI assistant.<|end|>",
"pre_prompt_prefix": "",
"pre_prompt_suffix": ""
},
"load_params": {
"rope_freq_scale": 0,
"rope_freq_base": 0
}
}
```
## Referencias
- [Repositorio original](https://huggingface.co/microsoft/Phi-3-mini-4k-instruct)
- [Repositorio de llama.cpp](https://github.com/ggerganov/llama.cpp) |