Update app.py

app.py

@@ -11,6 +11,32 @@ from llama_index.embeddings.huggingface import HuggingFaceEmbedding
 from huggingface_hub import hf_hub_download
 from llama_index.core.node_parser import SentenceSplitter
 
+# Fungsi untuk memasang ulang llama-cpp-python dengan dukungan CUDA
+def install_llama_with_cuda():
+    try:
+        # Baca file requirements.txt
+        with open("requirements.txt", "r") as f:
+            packages = f.read().splitlines()
+
+        # Install setiap paket dengan CMAKE_ARGS untuk dukungan CUDA
+        for package in packages:
+            subprocess.run(
+            env={"CMAKE_ARGS": "-DGGML_CUDA=on"},
+        check=True
+        )
+        # Periksa apakah CUDA Toolkit tersedia
+        if not shutil.which("nvcc"):
+            print("CUDA Toolkit tidak ditemukan. Pastikan sudah diinstal.")
+            return
+
+        print("Memasang ulang llama-cpp-python dengan dukungan CUDA...")
+        
+        print("llama-cpp-python berhasil diinstal ulang dengan dukungan CUDA.")
+    except subprocess.CalledProcessError as e:
+        print(f"Error saat menginstal ulang llama-cpp-python: {e}")
+    except Exception as e:
+        print(f"Kesalahan umum: {e}")
+
 # Fungsi untuk mengunduh model Llama
 def initialize_llama_model():
     # Unduh model jika belum ada di direktori kerja
@@ -23,9 +49,11 @@ def initialize_llama_model():
 
 # Fungsi untuk mengatur konfigurasi Settings
 def initialize_settings(model_path):  
-    Settings.llm = LlamaCPP(
+    Settings.llm = Llama(
         model_path=model_path,
-        temperature=0.7,
+        n_gpu_layers=1,  # Sesuaikan dengan kebutuhan perangkat Anda
+        temperature=0.7,  # Sesuaikan untuk respons yang lebih cepat
+        top_p=0.9       # Mengurangi eksplorasi token
     )
 
 # Fungsi untuk Menginisialisasi Index
@@ -87,10 +115,10 @@ def initialize_index():
 def initialize_chat_engine(index):
     from llama_index.core.prompts import PromptTemplate
     from llama_index.core.chat_engine.condense_plus_context import CondensePlusContextChatEngine
-    retriever = index.as_retriever(similarity_top_k=1)
+    retriever = index.as_retriever(similarity_top_k=3)
     chat_engine = CondensePlusContextChatEngine.from_defaults(
         retriever=retriever,
-        verbose=False,
+        verbose=True,
     )
     return chat_engine