Is there a problem with year numbers?
I tried the following questions and got 3 digit numbers instead of 4 digits.
--- cut ---
Was sind die bekanntesten Werke des Schriftstellers Schiller?
Friedrich Schiller war ein bekannter deutscher Dichter, Philosoph und Historiker, der am 10. Juli 175 in Marbach am Neckar, Württemberg, geboren wurde. Einige seiner bekanntesten Werke sind:
Die Räuber (178) - Ein Stück über den Konflikt zwischen dem Recht des Staates und dem Recht des Individuums.
Don Carlos (180) - Ein Stück über den Konflikt zwischen Pflicht und Leidenschaft.
Wilhelm Tell (180) - Ein Stück über den Kampf eines Individuums gegen Unterdrückung und Tyrannei.
Maria Stuart (180) - Ein Stück über den Konflikt zwischen politischer Macht und persönlicher Moralität.
Wallenstein (178-179) - Ein Stück über den Verrat eines Generals an seinem König.
Die Jungfrau von Orleans (180) - Ein Stück über den Kampf eines Individuums gegen die Konventionen der Gesellschaft.
Diese Werke sind nur einige der vielen bemerkenswerten Werke von Friedrich Schiller.
Wann wurde der Schriftsteller Friedrich Schiller geboren?
Friedrich Schiller wurde am 10. Juli 175 in Marbach am Neckar, Württemberg, Deutschland geboren.
Wer ist deutscher Bundeskanzler?
Olaf Scholz ist der aktuelle deutsche Bundeskanzler. Er hat das Amt am 8. Dezember 202 übernommen.
--- cut ---
Other refined models based on Llama 2 (Vicuna 1.5, OpenChat 3.2) on the same text generation engine (fastchat) and don't show this effect.
Are you using the vLLM worker by chance? There are still some issues with rope scaling in vLLM that might produce such failure modes. I suggest using the model_worker instead of the vllm_worker if you are. Else, can you recreate this error with our demo? https://huggingface.co/spaces/LeoLM/leo-hessianai-13b-chat
Aye. That's seems to be the problem. I cannot reproduce it on your hf space. Good to know. I did only try models with 4k tokens yet.
Will switch the worker and will give also Open Assistant another try ;-) !
Thanks for your fast response!
Apparently support for rope scaling was merged into vLLM main today. Reinstalling with pip install --upgrade git+https://github.com/vllm-project/vllm.git should do the trick :)