File size: 7,240 Bytes
7388122 40ca111 7388122 171075d 7388122 171075d 7388122 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 |
# Import Library yang Diperlukan
import gradio as gr
import shutil
import os
import subprocess
from llama_cpp import Llama
from llama_index.core import SimpleDirectoryReader, VectorStoreIndex, Settings
from llama_index.core.llms import ChatMessage
from llama_index.llms.llama_cpp import LlamaCPP
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from huggingface_hub import hf_hub_download
from llama_index.core.node_parser import SentenceSplitter
# Fungsi untuk mengunduh model Llama
def initialize_llama_model():
# Unduh model jika belum ada di direktori kerja
model_path = hf_hub_download(
repo_id="TheBLoke/zephyr-7b-beta-GGUF", # Nama repo model
filename="zephyr-7b-beta.Q4_K_M.gguf", # Nama file model
cache_dir="./models" # Lokasi direktori untuk menyimpan model
)
return model_path
# Fungsi untuk mengatur konfigurasi Settings
def initialize_settings(model_path):
Settings.llm = LlamaCPP(
model_path=model_path,
temperature=0.7,
)
# Fungsi untuk Menginisialisasi Index
def initialize_index():
# Tentukan dokumen input untuk pembacaan data
documents = SimpleDirectoryReader(input_files=["bahandokumen/K3.txt",
"bahandokumen/bonus.txt",
"bahandokumen/absensi.txt",
"bahandokumen/cuti.txt",
"bahandokumen/disiplinkerja.txt",
"bahandokumen/fasilitas&bantuan.txt",
"bahandokumen/fasilitaskerja.txt",
"bahandokumen/hak.txt",
"bahandokumen/hubunganpengusaha&serikat.txt",
"bahandokumen/istilah.txt",
"bahandokumen/jaminanserikat.txt",
"bahandokumen/jamkes.txt",
"bahandokumen/jamsos.txt",
"bahandokumen/keluhkesah.txt",
"bahandokumen/kenaikanupah.txt",
"bahandokumen/kewajiban.txt",
"bahandokumen/kompensasi.txt",
"bahandokumen/larangan.txt",
"bahandokumen/lembur.txt",
"bahandokumen/luaskesepakatan.txt",
"bahandokumen/mogok.txt",
"bahandokumen/pelanggaran&sanksi.txt",
"bahandokumen/pendidikan.txt",
"bahandokumen/pengangkatan.txt",
"bahandokumen/penilaian&promosi.txt",
"bahandokumen/pensiun.txt",
"bahandokumen/perjadin.txt",
"bahandokumen/pesangon.txt",
"bahandokumen/phk.txt",
"bahandokumen/pihak.txt",
"bahandokumen/pkb.txt",
"bahandokumen/resign.txt",
"bahandokumen/sanksi.txt",
"bahandokumen/shift.txt",
"bahandokumen/syaratkerja.txt",
"bahandokumen/sisacuti.txt",
"bahandokumen/target.txt",
"bahandokumen/tatacara.txt",
"bahandokumen/tka.txt",
"bahandokumen/tunjangan.txt",
"bahandokumen/uangpisah.txt",
"bahandokumen/upah.txt",
"bahandokumen/upahlembur.txt",
"bahandokumen/waktukerja.txt"]).load_data()
parser = SentenceSplitter(chunk_size=150, chunk_overlap=10)
nodes = parser.get_nodes_from_documents(documents)
embedding = HuggingFaceEmbedding("sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")
Settings.embed_model = embedding
index = VectorStoreIndex(nodes)
return index
# Inisialisasi Mesin Chat
def initialize_chat_engine(index):
from llama_index.core.prompts import PromptTemplate
from llama_index.core.chat_engine.condense_plus_context import CondensePlusContextChatEngine
retriever = index.as_retriever(similarity_top_k=3)
chat_engine = CondensePlusContextChatEngine.from_defaults(
retriever=retriever,
verbose=True,
)
return chat_engine
# Fungsi untuk menghasilkan respons chatbot
def generate_response(message, history, chat_engine):
chat_messages = [
ChatMessage(
role="system",
content="Anda adalah chatbot yang menjawab dalam bahasa Indonesia. Berikut contoh percakapan:\n"
"Pengguna: Apa itu lembur?\n"
"Chatbot: Lembur adalah pekerjaan yang dilakukan di luar jam kerja yang telah ditetapkan.\n"
"Pengguna: Apa syarat kerja di perusahaan?\n"
"Chatbot: Syarat kerja di perusahaan meliputi waktu kerja, gaji, dan tunjangan sesuai dengan peraturan perusahaan."
),
]
response = chat_engine.stream_chat(message)
text = "".join(response.response_gen) # Gabungkan semua token menjadi string
history.append((message, text)) # Tambahkan ke riwayat
return history
def clear_history(chat_engine):
chat_engine.clear()
# Inisialisasi Komponen Gradio untuk UI
def launch_gradio(chat_engine):
with gr.Blocks() as demo:
# Mengatur tombol untuk menghapus riwayat chat
clear_btn = gr.Button("Clear")
clear_btn.click(lambda: clear_history(chat_engine))
# Membuat antarmuka chat
chat_interface = gr.ChatInterface(
lambda message, history: generate_response(message, history, chat_engine)
)
demo.launch()
# Fungsi Utama untuk Menjalankan Aplikasi
def main():
# Unduh model dan inisialisasi pengaturan
model_path = initialize_llama_model()
initialize_settings(model_path) # Mengirimkan model_path ke fungsi initialize_settings
# Inisialisasi index dan engine
index = initialize_index()
chat_engine = initialize_chat_engine(index)
# Luncurkan antarmuka
launch_gradio(chat_engine)
if __name__ == "__main__":
main() |