TextSplitter

app.py

@@ -5,7 +5,7 @@ from llama_index.node_parser import SimpleNodeParser
 from llama_index.query_engine import RetrieverQueryEngine
 from llama_index.embeddings.openai import OpenAIEmbedding
 from llama_index.llms import OpenAI
-from llama_index.text_splitter import RecursiveTextSplitter
+from llama_index.text_splitter import TokenTextSplitter
 
 # Configuración inicial y variables de entorno
 st.title("Busca en PDFs")
@@ -47,7 +47,7 @@ if OPENAI_API_KEY and SMITH_APIKEY:
                 return cleaned_text
 
             # Particionar datos
-            text_splitter = RecursiveTextSplitter(
+            text_splitter = TokenTextSplitter(
                 chunk_size=1024,
                 chunk_overlap=200
             )