no message

main.py

@@ -5,6 +5,8 @@ from huggingface_hub import InferenceClient
 import uvicorn
 from typing import Generator
 import json  # Asegúrate de que esta línea esté al principio del archivo
+import nltk
+nltk.download('punkt')
 
 app = FastAPI()
 
@@ -34,7 +36,7 @@ def format_prompt(current_prompt, history):
 def generate_stream(item: Item) -> Generator[bytes, None, None]:
     formatted_prompt = format_prompt(f"{item.system_prompt}, {item.prompt}", item.history)
     # Estimate token count for the formatted_prompt
-    input_token_count = len(formatted_prompt.split())  # Simple whitespace tokenization, adjust if necessary
+    input_token_count = len(nltk.word_tokenize(formatted_prompt))  # NLTK tokenization
 
     # Ensure total token count doesn't exceed the maximum limit
     max_tokens_allowed = 32768

requirements.txt

@@ -2,4 +2,5 @@ fastapi
 uvicorn
 huggingface_hub
 pydantic
-torch==2.0.0
+torch==2.0.0
+nltk