Update app.py

app.py

@@ -5,27 +5,14 @@ from transformers import AutoModelForCausalLM, AutoTokenizer
 from langchain.llms import HuggingFacePipeline
 from huggingface_hub import login
 from pydantic import BaseModel, model_validator
-from transformers import AutoConfig  # Importar para configurar el modelo
 
 # Token secreto de Hugging Face
 huggingface_token = st.secrets["HUGGINGFACEHUB_API_TOKEN"]
 login(huggingface_token)
 
-# Definir la configuración de rope_scaling
-rope_scaling = {
-    "type": "linear",  # Asegúrate de que sea el tipo correcto requerido por tu modelo
-    "factor": 8.0     # Factor de escalado
-}
-
-
-# Cargar manualmente el modelo Llama 3.1 con la configuración ajustada
+# Cargar el modelo Llama 3.1
 model_name = "meta-llama/llama-3.1-8b-instruct"
-
-# Configurar el modelo con rope_scaling
-config = AutoConfig.from_pretrained(model_name)
-config.rope_scaling = rope_scaling  # Aquí aplicas la configuración
-
-model = AutoModelForCausalLM.from_pretrained(model_name, config=config)
+model = AutoModelForCausalLM.from_pretrained(model_name)
 tokenizer = AutoTokenizer.from_pretrained(model_name)
 
 # Usar transformers pipeline para cargar el modelo y tokenizer
@@ -78,4 +65,3 @@ if query:
         st.success("Consulta válida.")
     except ValueError as e:
         st.error(f"Error de validación: {e}")
-