Update app.py

app.py

@@ -11,6 +11,32 @@ from llama_index.embeddings.huggingface import HuggingFaceEmbedding
 from huggingface_hub import hf_hub_download
 from llama_index.core.node_parser import SentenceSplitter
 
+# Fungsi untuk memasang ulang llama-cpp-python dengan dukungan CUDA
+def install_llama_with_cuda():
+    try:
+        # Baca file requirements.txt
+        with open("requirements.txt", "r") as f:
+            packages = f.read().splitlines()
+
+        # Install setiap paket dengan CMAKE_ARGS untuk dukungan CUDA
+        for package in packages:
+            subprocess.run(
+            env={"CMAKE_ARGS": "-DGGML_CUDA=on"},
+        check=True
+        )
+        # Periksa apakah CUDA Toolkit tersedia
+        if not shutil.which("nvcc"):
+            print("CUDA Toolkit tidak ditemukan. Pastikan sudah diinstal.")
+            return
+
+        print("Memasang ulang llama-cpp-python dengan dukungan CUDA...")
+        
+        print("llama-cpp-python berhasil diinstal ulang dengan dukungan CUDA.")
+    except subprocess.CalledProcessError as e:
+        print(f"Error saat menginstal ulang llama-cpp-python: {e}")
+    except Exception as e:
+        print(f"Kesalahan umum: {e}")
+
 # Fungsi untuk mengunduh model Llama
 def initialize_llama_model():
     # Unduh model jika belum ada di direktori kerja
@@ -23,9 +49,11 @@ def initialize_llama_model():
 
 # Fungsi untuk mengatur konfigurasi Settings
 def initialize_settings(model_path):  
-    Settings.llm = LlamaCPP(
+    Settings.llm = Llama(
         model_path=model_path,
-        temperature=0.7,
+        n_gpu_layers=1,  # Sesuaikan dengan kebutuhan perangkat Anda
+        temperature=0.7,  # Sesuaikan untuk respons yang lebih cepat
+        top_p=0.9       # Mengurangi eksplorasi token
     )
 
 # Fungsi untuk Menginisialisasi Index
@@ -88,6 +116,7 @@ def launch_gradio(chat_engine):
 
 # Fungsi Utama untuk Menjalankan Aplikasi
 def main():
+    install_llama_with_cuda()
     # Unduh model dan inisialisasi pengaturan
     model_path = initialize_llama_model()
     initialize_settings(model_path)  # Mengirimkan model_path ke fungsi initialize_settings