Spaces:
Running
on
Zero
Running
on
Zero
File size: 6,853 Bytes
8824f88 2a04fd6 8824f88 f305ee8 8824f88 2213339 8824f88 fe2f876 568a9e0 fe2f876 8824f88 f305ee8 8824f88 b866915 c37af82 8824f88 43ed356 8824f88 31bf44d 0737a9d 34353a1 0737a9d 8824f88 b866915 8824f88 c5ac75a 87fdd2e c5ac75a fac8170 8824f88 ecbb198 185ad40 fe36abc a34b903 8824f88 a34b903 8824f88 b866915 8824f88 b866915 8824f88 5fa70db d0af199 4fd1382 5fa70db 4fd1382 aa9ae26 08e2fa8 8824f88 730ef92 61a4a00 6c7e825 7d9dc21 4fd1382 f92b5ca fe36abc 8824f88 61a4a00 7d9dc21 cbc651f 61a4a00 b902422 cbc651f e65d9e7 cbc651f 61a4a00 8824f88 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 |
#!/usr/bin/env python
import os
from threading import Thread
from typing import Iterator
import torch
import gradio as gr
import spaces
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
MAX_MAX_NEW_TOKENS = 2048
DEFAULT_MAX_NEW_TOKENS = 1024
MAX_INPUT_TOKEN_LENGTH = int(os.getenv("MAX_INPUT_TOKEN_LENGTH", "8192"))
model_id = "BramVanroy/GEITje-7B-ultra"
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto")
model = model.to("cuda" if torch.cuda.is_available() else "cpu")
tokenizer = AutoTokenizer.from_pretrained(model_id)
tokenizer.pad_token_id = tokenizer.eos_token_id
@spaces.GPU
def generate(
message: str,
chat_history: list[tuple[str, str]],
max_new_tokens: int = 1024,
temperature: float = 1,
top_p: float = 1.,
top_k: int = 50,
repetition_penalty: float = 1.,
do_sample: bool = False,
) -> Iterator[str]:
conversation = [{"role": "system", "content": "Je bent 'GEITje Ultra', of 'Ultra' in het kort, een behulpzame en enthousiaste AI-assistent. Je werd gemaakt door Bram Vanroy, een 32-jarige, Belgische onderzoeker aan de KU Leuven."}]
for user, assistant in chat_history:
conversation.extend([{"role": "user", "content": user}, {"role": "assistant", "content": assistant}])
conversation.append({"role": "user", "content": message})
input_ids = tokenizer.apply_chat_template(conversation, add_generation_prompt=True, return_tensors="pt")
if input_ids.shape[1] > MAX_INPUT_TOKEN_LENGTH:
input_ids = input_ids[:, -MAX_INPUT_TOKEN_LENGTH:]
gr.Warning(f"Trimmed input from conversation as it was longer than {MAX_INPUT_TOKEN_LENGTH} tokens.")
input_ids = input_ids.to(model.device)
streamer = TextIteratorStreamer(tokenizer, timeout=10.0, skip_prompt=True, skip_special_tokens=True)
generate_kwargs = dict(
{"input_ids": input_ids},
streamer=streamer,
max_new_tokens=max_new_tokens,
do_sample=do_sample,
top_p=top_p,
top_k=top_k,
temperature=temperature,
num_beams=1,
repetition_penalty=repetition_penalty,
)
t = Thread(target=model.generate, kwargs=generate_kwargs)
t.start()
outputs = []
for text in streamer:
outputs.append(text)
yield "".join(outputs)
chat_interface = gr.ChatInterface(
fn=generate,
chatbot=gr.Chatbot(height=450,
label="GEITje-7B-ultra",
show_share_button=True,
avatar_images=(None, 'geitje-ultra-avatar.png')),
additional_inputs=[
gr.Slider(
label="Max new tokens",
minimum=1,
maximum=MAX_MAX_NEW_TOKENS,
step=1,
value=DEFAULT_MAX_NEW_TOKENS,
),
gr.Slider(
label="Temperature",
minimum=0.05,
maximum=2,
step=0.05,
value=1.0,
),
gr.Slider(
label="Top-p (nucleus sampling)",
minimum=0.05,
maximum=1.0,
step=0.05,
value=1.0,
),
gr.Slider(
label="Top-k",
minimum=1,
maximum=1000,
step=1,
value=50,
),
gr.Slider(
label="Repetition penalty",
minimum=1.0,
maximum=2.0,
step=0.05,
value=1.,
),
gr.Checkbox(
label="Do sample",
value=False,
)
],
examples=[
["""Vraagje: welk woord hoort er niet in dit rijtje thuis: "auto, vliegtuig, geit, bus"?"""],
["Schrijf een nieuwsbericht voor De Speld over de inzet van een kudde geiten door het Nederlands Forensisch Instituut"],
["Wat zijn drie leuke dingen om te doen als ik een weekendje naar Belgisch Limburg ga?"],
["Met wie trad clown Bassie op?"],
["Kan je naar de maan fietsen? Antwoord kort met enkel 'ja' of 'nee'."],
["Wat is groter, een olifant of het Atomium? Redeneer stap voor stap."],
["Ik wil in Python een nieuwe abstracte klasse aanmaken die `Dier` heet en die een abstracte methode `geluid_maken` heeft. Maak daarnaast ook een subklasse `Geit` aan, met een passende invulling van `geluid_maken` voor dit mekkerende dier."],
["Wat is het belang van open-source taalmodellen?"],
],
title="🐐 GEITje ultra 🤖",
description="""\
<div style="float: left; margin-right: 1em; margin-bottom: 0.48em; max-width: 96px;">
<img src="https://huggingface.co/spaces/BramVanroy/GEITje-7B-ultra/resolve/main/geitje-ultra-avatar.png" style="display: inline-block; width: auto; height: auto;border-radius:50%">
<div style="clear: both"></div>
</div>
<a href="https://huggingface.co/BramVanroy/GEITje-7B-ultra">GEITje 7B ultra</a> is een geavanceerde versie van GEITje, verder getraind op uitgebreide chat datasets en ook op een preferentiedataset om beter te aligneren met het gedrag van een gewenste chatbot, in dit geval gpt-4-turbo. Om tot dit model te komen werden nieuwe, grote datasets aangelegd, die ook openbaar beschikbaar zijn. Voor meer informatie over dit model en de datasets, [zie deze Hugging Face post](https://huggingface.co/posts/BramVanroy/679226771675158). Wat meer informatie over deze demo vind je onderaan deze pagina.
""",
submit_btn="Genereer",
stop_btn="Stop",
retry_btn="🔄 Opnieuw",
undo_btn="↩️ Ongedaan maken",
clear_btn="🗑️ Wissen",
)
with gr.Blocks(css="style.css") as demo:
chat_interface.render()
gr.Markdown("""\
## Opmerkingen
Hoewel dit model gealigneerd is met AI feedback (van gpt-4-turbo), kan en zal het nog steeds fouten maken, leugens verzinnen, redeneringsfouten maken, en misschien wel stoute dingen vertellen. Gebruik dit model dus op eigen risico en controleer de output zelf!
Als je problemen ondervindt, [rapporteer die dan gerust](https://huggingface.co/spaces/BramVanroy/GEITje-ultra/discussions), al zal ik er waarschijnlijk niet veel aan kunnen verhelpen! Toch is het goed om een verslag bij te houden van mogelijke vooroordelen of problemen die het model heeft, zodat daar in toekomstige ontwikkelingen rekening mee gehouden kan worden.
In deze demo wordt gebruik gemaakt van deze system message:
> Je bent 'GEITje Ultra', of 'Ultra' in het kort, een behulpzame en enthousiaste AI-assistent. Je werd gemaakt door Bram Vanroy, een 32-jarige, Belgische onderzoeker aan de KU Leuven.
<small>Deze demo is gebaseerd op de originele <a href="https://huggingface.co/spaces/Rijgersberg/GEITje-7B-chat">Geitje Chat</a> demo, die dan weer op deze [mistral demo](https://huggingface.co/spaces/hysts/mistral-7b) gebaseerd is.</small>
""")
if __name__ == "__main__":
demo.queue(max_size=20).launch()
|