Update README.md
Browse files
README.md
CHANGED
@@ -32,38 +32,41 @@ Quantized GGUF version : coming soon
|
|
32 |
### Usage
|
33 |
|
34 |
```python
|
35 |
-
|
36 |
-
|
37 |
-
|
38 |
-
|
39 |
-
|
40 |
-
|
41 |
-
|
42 |
-
|
43 |
-
|
44 |
-
|
45 |
-
|
46 |
-
|
47 |
-
|
48 |
-
|
49 |
-
|
50 |
-
|
51 |
-
|
52 |
-
|
53 |
-
|
54 |
-
|
55 |
-
|
56 |
-
|
57 |
-
|
58 |
-
|
59 |
-
|
60 |
-
|
61 |
-
|
62 |
-
|
63 |
-
|
64 |
-
|
65 |
-
|
66 |
-
|
|
|
|
|
|
|
67 |
```
|
68 |
|
69 |
### Limitations
|
|
|
32 |
### Usage
|
33 |
|
34 |
```python
|
35 |
+
import torch
|
36 |
+
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
|
37 |
+
|
38 |
+
torch.random.manual_seed(0)
|
39 |
+
|
40 |
+
model = AutoModelForCausalLM.from_pretrained(
|
41 |
+
"microsoft/Phi-3-mini-4k-instruct",
|
42 |
+
device_map="cuda",
|
43 |
+
torch_dtype="auto",
|
44 |
+
trust_remote_code=True,
|
45 |
+
)
|
46 |
+
tokenizer = AutoTokenizer.from_pretrained("jpacifico/French-Alpaca-Phi-3-mini-128k-instruct-v1.0")
|
47 |
+
|
48 |
+
messages = [
|
49 |
+
{"role": "system", "content": "Vous êtes un assistant numérique serviable. Veuillez fournir des informations sûres, éthiques et précises à l'utilisateur."},
|
50 |
+
{"role": "user", "content": "Pouvez-vous fournir des façons de manger des combinaisons de bananes et de fruits du dragon ?"},
|
51 |
+
{"role": "assistant", "content": "Bien sûr ! Voici quelques façons de manger des bananes et des fruits du dragon ensemble : 1. Smoothie à la banane et au fruit du dragon : mixez des bananes et des fruits du dragon avec un peu de lait et de miel. 2. Salade de banane et de fruit du dragon : mélangez des bananes tranchées et des fruits du dragon avec un peu de jus de citron et de miel."},
|
52 |
+
{"role": "user", "content": "Et pour résoudre une équation 2x + 3 = 7 ?"},
|
53 |
+
]
|
54 |
+
|
55 |
+
pipe = pipeline(
|
56 |
+
"text-generation",
|
57 |
+
model=model,
|
58 |
+
tokenizer=tokenizer,
|
59 |
+
)
|
60 |
+
|
61 |
+
generation_args = {
|
62 |
+
"max_new_tokens": 500,
|
63 |
+
"return_full_text": False,
|
64 |
+
"temperature": 0.0,
|
65 |
+
"do_sample": False,
|
66 |
+
}
|
67 |
+
|
68 |
+
output = pipe(messages, **generation_args)
|
69 |
+
print(output[0]['generated_text'])
|
70 |
```
|
71 |
|
72 |
### Limitations
|