Create app.py

app.py

@@ -0,0 +1,65 @@
+import numpy as np
+import faiss
+from datasets import load_dataset
+from sentence_transformers import SentenceTransformer
+from transformers import pipeline
+import streamlit as st
+
+# Carregar o dataset Customer Support Conversations do Hugging Face
+dataset = load_dataset("bitext/Bitext-customer-support-llm-chatbot-training-dataset", split="train")
+questions = []
+answers = []
+
+for i, item in enumerate(dataset):
+    if i >= 1000:  # Limita a 10 amostras
+        break
+    questions.append(item["instruction"])
+    answers.append(item["response"])
+
+# Configuração do modelo de embeddings
+embedder = SentenceTransformer('multi-qa-MiniLM-L6-cos-v1')
+
+# Geração dos embeddings das perguntas
+question_embeddings = embedder.encode(questions, convert_to_tensor=False)
+
+# Indexação com FAISS
+dimension = question_embeddings.shape[1]
+index = faiss.IndexFlatL2(dimension)
+index.add(np.array(question_embeddings))
+
+# Pipeline de geração de resposta
+generator = pipeline("text-generation", model="openai-community/gpt2")
+
+
+# Função de recuperação de documentos
+def retrieve_documents(query, top_k=2):
+    query_embedding = embedder.encode([query])
+    distances, indices = index.search(np.array(query_embedding), top_k)
+    retrieved = [{"text": answers[idx], "score": distances[0][i]} for i, idx in enumerate(indices[0])]
+    return retrieved
+
+# Função para geração de resposta com base nos documentos recuperados
+def generate_answer(query):
+    # Recuperação dos documentos
+    retrieved_docs = retrieve_documents(query)
+    context = " ".join([doc["text"] for doc in retrieved_docs])
+
+    # Geração da resposta com o contexto
+    input_text = f"Contexto: {context} Pergunta: {query}"
+    answer = generator(input_text, max_length=50, do_sample=False)
+    
+    # Cálculo da pontuação de confiança
+    confidence_score = np.mean([doc["score"] for doc in retrieved_docs])
+    return answer[0]['generated_text'], confidence_score
+
+# Interface com Streamlit
+st.title("Assistente de Suporte ao Cliente com RAG - Hugging Face")
+
+question = st.text_input("Digite sua pergunta:")
+
+if st.button("Obter Resposta"):
+    answer, confidence = generate_answer(question)
+    st.write("Resposta:", answer)
+    st.write("Pontuação de Confiança:", round(confidence, 2))
+
+