Update app.py

app.py

@@ -33,6 +33,9 @@ model = AutoModelForCausalLM.from_pretrained(
     quantization_config=quant_config
 )
 
+# Asegurar que el modelo esté en la GPU
+model.to("cuda")
+
 # Establecer el token de relleno
 if tokenizer.pad_token_id is None:
     tokenizer.pad_token_id = tokenizer.eos_token_id
@@ -87,16 +90,16 @@ if uploaded_file is not None:
                 all_scores = []
                 try:
                     for batch in job_titles_batches:
-                        # Tokenizar la entrada con atención en lotes
+                        # Tokenizar la entrada y mover a CUDA
                         model_inputs = tokenizer(
                             batch,
                             return_tensors="pt",
                             padding=True,
                             truncation=True
-                        ).to(model.device)
+                        ).to("cuda")  # Mover explícitamente a CUDA
 
                         with torch.cuda.amp.autocast():  # Usar Mixed Precision
-                            model_inputs['attention_mask'] = (model_inputs['input_ids'] != tokenizer.pad_token_id).int()
+                            model_inputs['attention_mask'] = (model_inputs['input_ids'] != tokenizer.pad_token_id).int().to("cuda")
                             generated_ids = model.generate(
                                 **model_inputs, 
                                 max_new_tokens=20,  # Reducir para minimizar el uso de memoria
@@ -123,6 +126,7 @@ if uploaded_file is not None:
         st.error("La columna 'job_title' no se encuentra en el archivo CSV.")
 
 
+
 '''