Update app.py

app.py

@@ -1,87 +1,43 @@
 import gradio as gr
-import gdown
 import pandas as pd
 import os
-import shutil
 import threading
 import schedule
 import time
 from datetime import datetime
-from llama_cpp import Llama
 from llama_index.core import SimpleDirectoryReader, VectorStoreIndex, Settings, Document
-from llama_index.core.llms import ChatMessage
-from llama_index.llms.llama_cpp import LlamaCPP
+from llama_index.core.node_parser import SentenceSplitter
 from llama_index.embeddings.huggingface import HuggingFaceEmbedding
 from huggingface_hub import hf_hub_download
-from llama_index.core.node_parser import SentenceSplitter
-
-# Fungsi untuk mengunduh model Llama
-def initialize_llama_model():
-    model_path = hf_hub_download(
-        repo_id="TheBloke/zephyr-7b-beta-GGUF",  
-        filename="zephyr-7b-beta.Q4_K_M.gguf",  
-        cache_dir="./models"  
-    )
-    return model_path
-
-# Fungsi untuk mengatur konfigurasi Settings
-def initialize_settings(model_path):  
-    Settings.llm = LlamaCPP(
-        model_path=model_path,
-        temperature=0.7,
-    )
-
-# Fungsi untuk mengunduh file CSV terbaru dari Google Drive
-def download_csv_from_drive():
-    csv_url = "https://drive.google.com/uc?id=1UIx369_8GlzPiKArMVg8v-IwC6hYTYA0"  # Ganti dengan ID file terbaru
-    output_folder = "bahandokumen"
-    output_csv = os.path.join(output_folder, "data.csv")  # Path lengkap ke dalam folder
-
-    # Pastikan folder bahandokumen/ ada
-    os.makedirs(output_folder, exist_ok=True)
+from llama_index.llms.llama_cpp import LlamaCPP
 
-    # Hapus file lama jika ada
-    if os.path.exists(output_csv):
-        os.remove(output_csv)
+# Fungsi untuk membaca Google Sheets sebagai DataFrame
+def fetch_google_sheets_data():
+    sheet_id = "1740C15sMgOowI5wv5Q-kmYQUXMJUEyRSrFXRwIMc4Z0"  # Ganti dengan ID Google Sheets Anda
+    sheet_name = "datatarget"  # Ganti dengan nama sheet
 
-    print("🔄 Mengunduh file CSV terbaru...")
+    url = f"https://docs.google.com/spreadsheets/d/1740C15sMgOowI5wv5Q-kmYQUXMJUEyRSrFXRwIMc4Z0/edit?gid=1097907532#gid=1097907532"
+    
     try:
-        gdown.download(csv_url, output_csv, quiet=False)
-        if os.path.exists(output_csv):
-            print(f"✅ File berhasil diunduh: {output_csv}")
-        else:
-            print("❌ Gagal mengunduh file. Cek kembali link Google Drive.")
+        df = pd.read_csv(url)
+        print("✅ Data berhasil diambil dari Google Sheets!")
+        return df
     except Exception as e:
-        print(f"❌ Terjadi kesalahan saat mengunduh file: {e}")
-
-    return output_csv
+        print(f"❌ Gagal mengambil data: {e}")
+        return None
 
-# Fungsi untuk menyimpan file ke jalur yang sesuai di Hugging Face Spaces
-def save_to_huggingface():
-    src = "bahandokumen/data.csv"
-    dst = "/home/user/app/bahandokumen/data.csv"  # Jalur sesuai dengan HF Spaces
-
-    # Pastikan file ada sebelum menyalin
-    if os.path.exists(src):
-        if os.path.abspath(src) != os.path.abspath(dst):  # Cek apakah lokasi berbeda
-            shutil.copy(src, dst)
-            print(f"✅ File {src} berhasil disalin ke {dst}")
-        else:
-            print("⚠️ File sudah berada di lokasi yang sama, tidak perlu disalin.")
-    else:
-        print("❌ File tidak ditemukan, pastikan berhasil diunduh.")
-
-# Fungsi untuk update index chatbot
+# Fungsi untuk update index chatbot dengan data terbaru dari Google Sheets
 def update_index():
     print(f"🔄 [{datetime.now()}] Mengupdate index dengan data terbaru...")
-    csv_file = download_csv_from_drive()
-    save_to_huggingface()
+
+    df = fetch_google_sheets_data()
+    if df is None:
+        print("⚠️ Tidak bisa memperbarui index karena gagal membaca Google Sheets.")
+        return
     
-    # Baca CSV dengan Pandas
-    df = pd.read_csv(csv_file)
     documents = [Document(text=" | ".join(map(str, row.values))) for _, row in df.iterrows()]
 
-    # Tambahkan file dokumen lain
+    # Tambahkan dokumen tambahan dari teks lokal
     text_documents = SimpleDirectoryReader(input_files=[
         "bahandokumen/K3.txt",
         "bahandokumen/bonus.txt",
@@ -103,42 +59,39 @@ def update_index():
     index = VectorStoreIndex(nodes)
     print("✅ Index berhasil diperbarui!")
 
-# Inisialisasi Mesin Chat
+# Inisialisasi Chatbot
 def initialize_chat_engine():
     return index.as_chat_engine(chat_mode="condense_plus_context", similarity_top_k=3)
 
-# Fungsi untuk menghasilkan respons chatbot
+# Fungsi untuk mendapatkan respons chatbot
 def generate_response(message, history):
     chat_engine = initialize_chat_engine()
     response = chat_engine.stream_chat(message)
-    text = "".join(response.response_gen)  
-    history.append((message, text))  
+    text = "".join(response.response_gen)
+    history.append((message, text))
     return history
 
-# Scheduler untuk update otomatis setiap jam 12 malam
+# Scheduler untuk update otomatis
 def schedule_update():
     schedule.every().day.at("00:00").do(update_index)
     while True:
         schedule.run_pending()
-        time.sleep(60)  # Cek setiap 1 menit
+        time.sleep(60)
 
-# Fungsi untuk menjalankan scheduler di thread terpisah
+# Menjalankan scheduler di thread terpisah
 def start_scheduler():
     thread = threading.Thread(target=schedule_update, daemon=True)
     thread.start()
 
-# Inisialisasi Komponen Gradio untuk UI
+# Inisialisasi Gradio
 def launch_gradio():
     with gr.Blocks() as demo:
-        clear_btn = gr.Button("Clear")
-        chat_interface = gr.ChatInterface(lambda message, history: generate_response(message, history))
+        gr.ChatInterface(lambda message, history: generate_response(message, history))
     demo.launch()
 
-# Fungsi Utama untuk Menjalankan Aplikasi
+# Fungsi utama
 def main():
     global index  # Agar index bisa diperbarui secara global
-    model_path = initialize_llama_model()
-    initialize_settings(model_path)
     
     print("🔄 Inisialisasi index pertama kali...")
     update_index()
@@ -149,4 +102,4 @@ def main():
     launch_gradio()
     
 if __name__ == "__main__":
-    main()
+    main()