Add application

Dockerfile

@@ -0,0 +1,11 @@
+FROM python:3.9
+
+WORKDIR /code
+
+COPY ./requirements.txt /code/requirements.txt
+
+RUN pip install --no-cache-dir --upgrade -r /code/requirements.txt
+
+COPY . .
+
+CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "7860"]

app/controller/classify.py

@@ -0,0 +1,7 @@
+from model.argq import ArgqClassifier, get_model
+from fastapi import Depends
+
+class ClassifyController:
+    async def get_text_classification(self, text: str, model=Depends(get_model)):
+        print(dir(model))
+        return 0

app/main.py

@@ -0,0 +1,72 @@
+from fastapi import FastAPI
+from pydantic import BaseModel, Field
+from fastapi.middleware.cors import CORSMiddleware
+import logging
+from model.argq import ArgqClassifier
+from datetime import datetime
+import firebase_admin
+from firebase_admin import credentials, firestore
+import uvicorn
+from os import getenv, path
+
+
+logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
+
+app = FastAPI(title="ArgQ Backend", version="0.0.1")
+
+app.add_middleware(
+    CORSMiddleware,
+    allow_origins=["*"],
+    allow_credentials=True,
+    allow_methods=["*"],
+    allow_headers=["*"],
+)
+
+logging.info("Starting application")
+cred_file_path = path.join(path.dirname(__file__), "../credentials/firebase-adminsdk.json")
+cred = credentials.Certificate(cred_file_path)
+firebase_admin.initialize_app(cred)
+
+db = firestore.client()
+
+logging.info("Loading model..")
+model = ArgqClassifier()
+logging.info("Model loaded")
+
+class Tweet(BaseModel):
+    text: str
+
+class TextWithAspects(BaseModel):
+    tweet: Tweet
+    aspects: list = ["quality", "clarity", "organization", "credibility", "emotional_polarity", "emotional_intensity"]
+
+class FeedbackItem(BaseModel):
+    text: str
+    timestamp: datetime = Field(default_factory=datetime.utcnow)
+
+@app.post("/argq/classify")
+async def get_text_classification(tweet: Tweet):
+    classification = await model.classify_text(tweet.text)
+    return {
+        "classification": classification
+    }
+
+@app.post("/argq/classify/aspects")
+async def get_text_classification_by_aspects(request: TextWithAspects):
+    classification = {
+        aspect: await model.classify_text_by_aspect(request.tweet.text, aspect) for aspect in request.aspects
+    }
+    return {
+        "classification": classification
+    }
+
+@app.post("/argq/feedback")
+async def post_feedback(item: FeedbackItem):
+    feedback_data = item.dict()
+    feedback_data['timestamp'] = feedback_data['timestamp'].isoformat()
+    doc_ref = db.collection('feedback').document()
+    doc_ref.set(feedback_data)
+    return {"status": "success", "feedback_received": feedback_data}
+
+if __name__ == "__main__":
+    uvicorn.run(app, host="0.0.0.0", port=int(getenv("PORT", 8000)), reload=True)

credentials/firebase-adminsdk.json

@@ -0,0 +1,13 @@
+{
+    "type": "service_account",
+    "project_id": "argq-feedback",
+    "private_key_id": "677e4d4261a9a96bd6f3330c6dcc47a0ecfd2061",
+    "private_key": "-----BEGIN PRIVATE KEY-----\nMIIEvgIBADANBgkqhkiG9w0BAQEFAASCBKgwggSkAgEAAoIBAQCsFvkzZdPae+Qc\n5o4xTCgp+YATrE2005hjcHIKkCdA/QdqPGzw9V84wqO9R2lidUqNtDJU80dItdF9\nCmQY96KPrGhTyvGOXxSJArb+7o6JvAUpDmxAdLKAp20Kef5Zsm1TKmqRW2AJKBbc\nw3sYbTRBaGYfJYBdoIxVoQh7CneJbV0+y9BOUfQVBCLHdYmxDxzqNCngcLUhdh9r\n5yTp20xgTQJHDbBprgsFWMqfwfVwUy18xW1bFeyV8lQNLzb5rd0niNZyDz2jkdiT\ndYsw0d5TpWoe/WlY6lHKun0QwqABIcJCjTkleHTOMNPYeDIUp8YbW7mb19HjwMzB\nTubDxprfAgMBAAECggEARBMub0OXw7UAruIRW7T5qmkVXjLp5l9Rx/xiUIVn0dCG\nT2Mp4UPfcC+m4ChQqu8lF9sxkeNOzpeGEEW9BRdoyhb0ijkcxyobkHtvcndiEWA8\nVlprPjArsLMKcnuBv2/SyXRdBbU0z0p5iMkXd7kzU7B9vVJzbhYljXYPScUBNm5S\nu6AxHUIbMaHi60TWCPpvTw8v3LpBGS3AQjFsxjhhR/usiEZ8ZQaPVVPtqE0l1Ehw\n3UlxAmvKB0hu7jcsEWi+oxtYow8iZlSlkO9wClHcqyiXzleweVQijpt20AwHByB5\n/CQh16mmP48jLPJWU46ZBseaHuNsPQE27nxydcHC4QKBgQDqvwwgPQBPXMWfiQPm\nmCmn7+llKg/G01wgcL4D/9W97KB/zRcaD6lkMbvTzx+o9Lzoq0T4aeW01klUDioc\nwmT70zwHy5S8gIWdlotj1Pj/BCoDhbg2UE1jswOTUZDbST5Gwn6sGREyl0xgQunz\nV+wa4bx2oIxSha0FWnzlCuqYrwKBgQC7q6wCmvWWbH67XCYzpN/igx66cZIta2Qm\ndeA7++m8EbAynGBMb1aEzLpZ55q0MRwbs/vEs3G4wA96FG1YnjCtT6i7lpet8YQh\nGcxF+PkupyqOtcsSVqp/ufHZw7+JsjIiABIL+B2xh3czfLI0r5c3PmUuFQDLbXek\nSlaQfNRM0QKBgFZwKsLkM20FuC9agHk0poIUMVjy+AQ6Z736Rb2rQsVAkIj+t/b8\ntV8TgRopNns8QyNZjXf7Zn4EOdQdsxwL6KthyMUGDaqrmIfCm2kTTux4WBAb+Qzm\n3NhNXo+shS559diQXZx5Tn/WfmUjvonAYkwzuvXjgEgSuPczrrGYJ3I5AoGBALbS\nkosnMkAMCZm0N3LwFzquyWyP3vtoNvRQuNU2n4ibIq7rL9TGUd6lIpUaztbjUKKc\nP5Rry0lTsMAYzj0aPglYJOQ53CGTukgUva8c0ILmTssfxmhjDU3IcxbVXu5hLf15\nXBtU5nhfo3wA6gnxVLp4ilDOHSwPxBHEaXfwY1FBAoGBAJKSmH7XcwGxscoTZ1Ln\nM/iq0K3Vp15tm5dOrtjwD7f7kKV+i8eiOhNxqNaqD6Wor4Jk9iYfbUP+KiKxdNYU\nyeRzKXux5aZTLVwmEN3NalDY6W7O2+97GpxNg8YYyFPPKmtoBkqiSgp4Xg+rJww9\nJwLmjJJuRkIGd50UeDrD4k98\n-----END PRIVATE KEY-----\n",
+    "client_email": "firebase-adminsdk-yiy7e@argq-feedback.iam.gserviceaccount.com",
+    "client_id": "109125477852325451232",
+    "auth_uri": "https://accounts.google.com/o/oauth2/auth",
+    "token_uri": "https://oauth2.googleapis.com/token",
+    "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
+    "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/firebase-adminsdk-yiy7e%40argq-feedback.iam.gserviceaccount.com",
+    "universe_domain": "googleapis.com"
+}

model/argq.py

@@ -0,0 +1,39 @@
+import pickle
+import torch
+from transformers import AutoTokenizer
+import logging
+
+class ArgqClassifier:
+    def __init__(self):
+        self.tokenizer = AutoTokenizer.from_pretrained('neuralmind/bert-base-portuguese-cased', do_lower_case=False)
+        device = 'cuda' if torch.cuda.is_available() else 'cpu'
+        self.device = torch.device(device)
+        logging.info(f"Version: {torch.__version__}")
+        logging.info(f"Device being used: {device}")
+        self.models = {
+            'quality': pickle.load(open('model_cpu.sav', 'rb')),
+            'clarity': pickle.load(open('model_cla_cpu.sav', 'rb')),
+            'organization': pickle.load(open('model_org_cpu.sav', 'rb')),
+            'credibility': pickle.load(open('model_cre_cpu.sav', 'rb')),
+            'emotional_polarity': pickle.load(open('model_aemp_cpu.sav', 'rb')),
+            'emotional_intensity': pickle.load(open('model_aemi_cpu.sav', 'rb'))
+        }
+        self.max_length = 180
+
+    async def classify_text(self, text):
+        inputs = self.tokenizer(text, return_tensors='pt', padding=True, truncation=True, max_length=self.max_length).to(self.device)
+        model = self.models["quality"]
+        output = model(**inputs)
+
+        pred_labels = torch.argmax(output.logits, 1)
+        y_pred = pred_labels[0]
+        return y_pred.item()
+    
+    async def classify_text_by_aspect(self, text, aspect):
+        inputs = self.tokenizer(text, return_tensors='pt', padding=True, truncation=True, max_length=self.max_length).to(self.device)
+        model = self.models[aspect]
+        output = model(**inputs)
+
+        pred_labels = torch.argmax(output.logits, 1)
+        y_pred = pred_labels[0]
+        return y_pred.item()

model_aemi_cpu.sav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:9dd8192ac2c157bcb6d4f097403c9623ba0684445fe9eecfcfce0483b79e7325
+size 435809358

model_aemp_cpu.sav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8959d5dc345310146c272300d41c55163d3033ce2b72da403ffd9c01fd82d3e0
+size 435809358

model_cla_cpu.sav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:736da3bd00aa6746deffa44edba23dab150d873e2110f8851bdbacb0e0b1c4db
+size 435809358

model_cpu.sav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:40212e8cc49e8d0f42fa579f1b4d28af3e9f298b51240271ee02bb103cfac8ed
+size 435809764

model_cre_cpu.sav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4a4b37a4b17145fe67bf774725e5a6c2f88bfbc1c89f4dfc7b97fdbeb69b5798
+size 435809358

model_org_cpu.sav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:320091e7abd4a91dc34fb4b6c043abf3b8038605d401cdf4639441ab80b457c6
+size 435809358

test/test_main.py

@@ -0,0 +1,63 @@
+from fastapi.testclient import TestClient
+from app.main import app
+
+client = TestClient(app)
+
+TEST_TEXTS = [
+    "mano eu não entendo a cabeça da esquerda, vcs são doentes, projetos que vão ajudar a economia do Brasil, até mesmo pra ajudar pagar dividas que o próprio auxilio emergencial vai criar... vcs são doentes???",
+    "O mais difícil de entender é que especialistas dizem que a aprovação não era benéfica e ainda assim eles aprovam! Oq esses deputados entendem dessa questão? Tipo assim, não votem a favor pq é ruim para o povo, aí ligam o fodasse e fazem assim mesmo, que porra é essa?",
+    "Você votou? Provavelmente votou NÃO. Então a pergunta é: você está “tistinho” porque perdeu? Se a autonomia não fosse aprovada você estaria aqui se manifestando contra? Ou estaria exaltando os deputados que entenderam que o BC precisa ter um freio? Totalmente sem noção!",
+    "Rodrigo Maia, você hoje já falou que se arrepende do apoio a Bolsonaro no segundo turno. Parabéns por admitir isto. Agora... quando virá o arrependimento de não ter ao menos colocado para a frente algum dos pedidos de Impeachment?",
+    "Vc propôs essa emenda, esperando que passe ou apenas para constar? Com a postagem do seu presidente da câmara, que até já considerou que o Dep. Daniel Silveira contrapôs à democracia, mesmo não tendo sido julgado e condenado pelo STF, espera que essa sua proposta tenha sucesso? https://t.co/uJjvgcwqEt",
+    "Desculpe senhora deputada, cansei de vcs ! Ninguém faz nada, ninguém! Vcs brincam com o povo! Se hoje um governador maluco fizer um forno, como foi feito na Alemanha e começar a matar as pessoas,tudo bem , os caras que jamais devem ser citados, deram o direito !",
+    "Caro Deputado, não sei se irá ler meu posicionamento. Mas, calaram a voz de uma Deputado q foi eleito para PODER FALAR POR NÓS! Um PODER, calou a não a voz do Daniel, calou foi a NOSSA! Ontem foi deputado pondo mordaça da boca de outro deputado e traçando o fim do CONGRESSO.",
+    "Está na hora de exigir o respeito com seriedade, impeachment se faz mais que necessário, ele está tentando rebaixar a Câmara dos Deputados a seu serviço, uma ação judicial enérgica imediata. Ação do Arthur Lira agora, se deixar passar perderá a força",
+]
+
+TEST_TEXTS_EXPECTED_RESULTS = [0, 1, 0, 2, 2, 2, 2, 2]
+
+TEST_TEXTS_EXPECTED_RESULTS_FOR_CLARITY = [2, 1, 2, 1, 2, 2, 2, 2]
+
+class TestMain:
+    def test_get_text_classification(self):
+        for i, text in enumerate(TEST_TEXTS):
+            tweet = {"text": text}
+            response = client.post("/argq/classify", json=tweet)
+            assert response.status_code == 200
+            assert response.json() == {"classification": TEST_TEXTS_EXPECTED_RESULTS[i]}
+
+    def test_get_text_clarity_classification(self):
+        for i, text in enumerate(TEST_TEXTS):
+            request = {
+                "tweet":{
+                    "text": text
+                },
+                "aspects": [
+                    "clarity"
+                ]
+            }
+            output = {"classification": {"clarity": TEST_TEXTS_EXPECTED_RESULTS_FOR_CLARITY[i]}}
+            response = client.post("/argq/classify/aspects", json=request)
+            assert response.status_code == 200
+            assert response.json() == output
+
+    def test_get_text_all_aspects_classification(self):
+        text = TEST_TEXTS[0]
+        request = {
+            "tweet":{
+                "text": text
+            }
+        }
+        output = {
+            "classification": {
+                "quality": 0,
+                "clarity": 2,
+                "organization": 1,
+                "credibility": 0,
+                "emotional_polarity": 0,
+                "emotional_intensity": 1
+            }
+        }
+        response = client.post("/argq/classify/aspects", json=request)
+        assert response.status_code == 200
+        assert response.json() == output