Update app.py

app.py

@@ -12,35 +12,67 @@ from huggingface_hub import hf_hub_download
 from llama_index.core.node_parser import SentenceSplitter
 
 # Fungsi untuk memasang ulang llama-cpp-python dengan dukungan CUDA
-def install_llama_with_cuda_in_docker():
+def check_and_install_cuda():
     try:
-        # Periksa apakah Docker tersedia
-        if not shutil.which("docker"):
-            print("Docker tidak ditemukan. Pastikan Docker sudah diinstal dan berjalan.")
-            return
-
         # Periksa apakah CUDA Toolkit tersedia
-        if not shutil.which("nvidia-smi"):
-            print("CUDA Toolkit tidak ditemukan. Pastikan NVIDIA Driver sudah diinstal.")
+        if shutil.which("nvcc"):
+            print("CUDA Toolkit ditemukan.")
+            return True
+        else:
+            print("CUDA Toolkit tidak ditemukan. Mencoba mendownload dan menginstal...")
+
+            # Deteksi OS
+            os_name = platform.system().lower()
+            if "linux" in os_name:
+                # URL untuk CUDA Toolkit versi terbaru untuk Linux
+                cuda_url = "https://developer.download.nvidia.com/compute/cuda/12.2.2/local_installers/cuda_12.2.2_535.86.10_linux.run"
+                installer_name = "cuda_installer.run"
+                
+                # Unduh CUDA Toolkit
+                print(f"Mengunduh CUDA Toolkit dari {cuda_url}...")
+                subprocess.run(["wget", "-O", installer_name, cuda_url], check=True)
+                
+                # Instal CUDA Toolkit
+                print("Memasang CUDA Toolkit...")
+                subprocess.run(["sudo", "sh", installer_name, "--silent", "--toolkit"], check=True)
+                print("CUDA Toolkit berhasil diinstal.")
+                return True
+
+            elif "windows" in os_name:
+                print("Mohon unduh CUDA Toolkit secara manual dari situs NVIDIA untuk Windows.")
+                return False
+
+            else:
+                print("OS tidak dikenali. Mohon instal CUDA Toolkit secara manual.")
+                return False
+
+    except subprocess.CalledProcessError as e:
+        print(f"Error saat mendownload atau menginstal CUDA Toolkit: {e}")
+        return False
+    except Exception as e:
+        print(f"Kesalahan umum: {e}")
+        return False
+
+def install_llama_with_cuda():
+    try:
+        # Periksa atau instal CUDA Toolkit
+        if not check_and_install_cuda():
+            print("Proses instalasi dihentikan karena CUDA Toolkit tidak tersedia.")
             return
 
-        print("Menjalankan container dari camenduru/xformers-docker-nvidia-cuda-11.7.1-cudnn8-devel-ubuntu22.04-t4...")
-        # Jalankan container dengan CUDA dukungan
-        docker_run_command = [
-            "docker", "run", "--rm", "-it",
-            "--gpus", "all",  # Gunakan GPU
-            "-v", f"{shutil.os.getcwd()}:/workspace",  # Mount directory saat ini
-            "camenduru/xformers-docker-nvidia-cuda-11.7.1-cudnn8-devel-ubuntu22.04-t4",
-            "bash", "-c",
-            # Perintah di dalam container
-            "pip install llama-cpp-python --force-reinstall --no-cache-dir && echo 'llama-cpp-python berhasil diinstal dengan dukungan CUDA.'"
-        ]
-
-        # Jalankan perintah Docker
-        subprocess.run(docker_run_command, check=True)
-        print("llama-cpp-python berhasil diinstal dalam container Docker.")
+        print("Memasang ulang llama-cpp-python dengan dukungan CUDA...")
+        # Perintah pemasangan ulang llama-cpp-python
+        subprocess.run(
+            [
+                "pip", "install", "llama-cpp-python",
+                "--force-reinstall", "--no-cache-dir"
+            ],
+            env={"CMAKE_ARGS": "-DGGML_CUDA=on"},  # Aktifkan dukungan CUDA
+            check=True
+        )
+        print("llama-cpp-python berhasil diinstal ulang dengan dukungan CUDA.")
     except subprocess.CalledProcessError as e:
-        print(f"Error saat menjalankan perintah Docker: {e}")
+        print(f"Error saat menginstal ulang llama-cpp-python: {e}")
     except Exception as e:
         print(f"Kesalahan umum: {e}")
 
@@ -123,7 +155,7 @@ def launch_gradio(chat_engine):
 
 # Fungsi Utama untuk Menjalankan Aplikasi
 def main():
-    install_llama_with_cuda_in_docker()
+    install_llama_with_cuda()
     # Unduh model dan inisialisasi pengaturan
     model_path = initialize_llama_model()
     initialize_settings(model_path)  # Mengirimkan model_path ke fungsi initialize_settings