firs commit

Dockerfile

@@ -0,0 +1,14 @@
+FROM python:3.9
+
+RUN useradd -m -u 1000 user
+USER user
+ENV PATH="/home/user/.local/bin:$PATH"
+
+WORKDIR /app
+
+COPY --chown=user ./requirements.txt requirements.txt
+RUN pip install --no-cache-dir --upgrade -r requirements.txt
+
+COPY --chown=user . /app
+
+CMD [ "python", "-m" , "flask", "run", "--host=0.0.0.0", "--port", "7860"]

requirements.txt

@@ -0,0 +1,11 @@
+Flask==3.1.0
+requests==2.32.3
+networkx==3.4.2
+matplotlib==3.9.2
+beautifulsoup4==4.12.3
+pandas==2.2.3
+regex
+Sastrawi==1.0.1
+nltk==3.9.1
+scikit-learn==1.5.2
+pickle4

stopwords.txt

@@ -0,0 +1,758 @@
+ada
+adalah
+adanya
+adapun
+agak
+agaknya
+agar
+akan
+akankah
+akhir
+akhiri
+akhirnya
+aku
+akulah
+amat
+amatlah
+anda
+andalah
+antar
+antara
+antaranya
+apa
+apaan
+apabila
+apakah
+apalagi
+apatah
+artinya
+asal
+asalkan
+atas
+atau
+ataukah
+ataupun
+awal
+awalnya
+bagai
+bagaikan
+bagaimana
+bagaimanakah
+bagaimanapun
+bagi
+bagian
+bahkan
+bahwa
+bahwasanya
+baik
+bakal
+bakalan
+balik
+banyak
+bapak
+baru
+bawah
+beberapa
+begini
+beginian
+beginikah
+beginilah
+begitu
+begitukah
+begitulah
+begitupun
+bekerja
+belakang
+belakangan
+belum
+belumlah
+benar
+benarkah
+benarlah
+berada
+berakhir
+berakhirlah
+berakhirnya
+berapa
+berapakah
+berapalah
+berapapun
+berarti
+berawal
+berbagai
+berdatangan
+beri
+berikan
+berikut
+berikutnya
+berjumlah
+berkali-kali
+berkata
+berkehendak
+berkeinginan
+berkenaan
+berlainan
+berlalu
+berlangsung
+berlebihan
+bermacam
+bermacam-macam
+bermaksud
+bermula
+bersama
+bersama-sama
+bersiap
+bersiap-siap
+bertanya
+bertanya-tanya
+berturut
+berturut-turut
+bertutur
+berujar
+berupa
+besar
+betul
+betulkah
+biasa
+biasanya
+bila
+bilakah
+bisa
+bisakah
+boleh
+bolehkah
+bolehlah
+buat
+bukan
+bukankah
+bukanlah
+bukannya
+bulan
+bung
+cara
+caranya
+cukup
+cukupkah
+cukuplah
+cuma
+dahulu
+dalam
+dan
+dapat
+dari
+daripada
+datang
+dekat
+demi
+demikian
+demikianlah
+dengan
+depan
+di
+dia
+diakhiri
+diakhirinya
+dialah
+diantara
+diantaranya
+diberi
+diberikan
+diberikannya
+dibuat
+dibuatnya
+didapat
+didatangkan
+digunakan
+diibaratkan
+diibaratkannya
+diingat
+diingatkan
+diinginkan
+dijawab
+dijelaskan
+dijelaskannya
+dikarenakan
+dikatakan
+dikatakannya
+dikerjakan
+diketahui
+diketahuinya
+dikira
+dilakukan
+dilalui
+dilihat
+dimaksud
+dimaksudkan
+dimaksudkannya
+dimaksudnya
+diminta
+dimintai
+dimisalkan
+dimulai
+dimulailah
+dimulainya
+dimungkinkan
+dini
+dipastikan
+diperbuat
+diperbuatnya
+dipergunakan
+diperkirakan
+diperlihatkan
+diperlukan
+diperlukannya
+dipersoalkan
+dipertanyakan
+dipunyai
+diri
+dirinya
+disampaikan
+disebut
+disebutkan
+disebutkannya
+disini
+disinilah
+ditambahkan
+ditandaskan
+ditanya
+ditanyai
+ditanyakan
+ditegaskan
+ditujukan
+ditunjuk
+ditunjuki
+ditunjukkan
+ditunjukkannya
+ditunjuknya
+dituturkan
+dituturkannya
+diucapkan
+diucapkannya
+diungkapkan
+dong
+dua
+dulu
+empat
+enggak
+enggaknya
+entah
+entahlah
+guna
+gunakan
+hal
+hampir
+hanya
+hanyalah
+hari
+harus
+haruslah
+harusnya
+hendak
+hendaklah
+hendaknya
+hingga
+ia
+ialah
+ibarat
+ibaratkan
+ibaratnya
+ibu
+ikut
+ingat
+ingat-ingat
+ingin
+inginkah
+inginkan
+ini
+inikah
+inilah
+itu
+itukah
+itulah
+jadi
+jadilah
+jadinya
+jangan
+jangankan
+janganlah
+jauh
+jawab
+jawaban
+jawabnya
+jelas
+jelaskan
+jelaslah
+jelasnya
+jika
+jikalau
+juga
+jumlah
+jumlahnya
+justru
+kala
+kalau
+kalaulah
+kalaupun
+kalian
+kami
+kamilah
+kamu
+kamulah
+kan
+kapan
+kapankah
+kapanpun
+karena
+karenanya
+kasus
+kata
+katakan
+katakanlah
+katanya
+ke
+keadaan
+kebetulan
+kecil
+kedua
+keduanya
+keinginan
+kelamaan
+kelihatan
+kelihatannya
+kelima
+keluar
+kembali
+kemudian
+kemungkinan
+kemungkinannya
+kenapa
+kepada
+kepadanya
+kesampaian
+keseluruhan
+keseluruhannya
+keterlaluan
+ketika
+khususnya
+kini
+kinilah
+kira
+kira-kira
+kiranya
+kita
+kitalah
+kok
+kurang
+lagi
+lagian
+lah
+lain
+lainnya
+lalu
+lama
+lamanya
+lanjut
+lanjutnya
+lebih
+lewat
+lima
+luar
+macam
+maka
+makanya
+makin
+malah
+malahan
+mampu
+mampukah
+mana
+manakala
+manalagi
+masa
+masalah
+masalahnya
+masih
+masihkah
+masing
+masing-masing
+mau
+maupun
+melainkan
+melakukan
+melalui
+melihat
+melihatnya
+memang
+memastikan
+memberi
+memberikan
+membuat
+memerlukan
+memihak
+meminta
+memintakan
+memisalkan
+memperbuat
+mempergunakan
+memperkirakan
+memperlihatkan
+mempersiapkan
+mempersoalkan
+mempertanyakan
+mempunyai
+memulai
+memungkinkan
+menaiki
+menambahkan
+menandaskan
+menanti
+menanti-nanti
+menantikan
+menanya
+menanyai
+menanyakan
+mendapat
+mendapatkan
+mendatang
+mendatangi
+mendatangkan
+menegaskan
+mengakhiri
+mengapa
+mengatakan
+mengatakannya
+mengenai
+mengerjakan
+mengetahui
+menggunakan
+menghendaki
+mengibaratkan
+mengibaratkannya
+mengingat
+mengingatkan
+menginginkan
+mengira
+mengucapkan
+mengucapkannya
+mengungkapkan
+menjadi
+menjawab
+menjelaskan
+menuju
+menunjuk
+menunjuki
+menunjukkan
+menunjuknya
+menurut
+menuturkan
+menyampaikan
+menyangkut
+menyatakan
+menyebutkan
+menyeluruh
+menyiapkan
+merasa
+mereka
+merekalah
+merupakan
+meski
+meskipun
+meyakini
+meyakinkan
+minta
+mirip
+misal
+misalkan
+misalnya
+mula
+mulai
+mulailah
+mulanya
+mungkin
+mungkinkah
+nah
+naik
+namun
+nanti
+nantinya
+nyaris
+nyatanya
+oleh
+olehnya
+pada
+padahal
+padanya
+pak
+paling
+panjang
+pantas
+para
+pasti
+pastilah
+penting
+pentingnya
+per
+percuma
+perlu
+perlukah
+perlunya
+pernah
+persoalan
+pertama
+pertama-tama
+pertanyaan
+pertanyakan
+pihak
+pihaknya
+pukul
+pula
+pun
+punya
+rasa
+rasanya
+rata
+rupanya
+saat
+saatnya
+saja
+sajalah
+saling
+sama
+sama-sama
+sambil
+sampai
+sampai-sampai
+sampaikan
+sana
+sangat
+sangatlah
+satu
+saya
+sayalah
+se
+sebab
+sebabnya
+sebagai
+sebagaimana
+sebagainya
+sebagian
+sebaik
+sebaik-baiknya
+sebaiknya
+sebaliknya
+sebanyak
+sebegini
+sebegitu
+sebelum
+sebelumnya
+sebenarnya
+seberapa
+sebesar
+sebetulnya
+sebisanya
+sebuah
+sebut
+sebutlah
+sebutnya
+secara
+secukupnya
+sedang
+sedangkan
+sedemikian
+sedikit
+sedikitnya
+seenaknya
+segala
+segalanya
+segera
+seharusnya
+sehingga
+seingat
+sejak
+sejauh
+sejenak
+sejumlah
+sekadar
+sekadarnya
+sekali
+sekali-kali
+sekalian
+sekaligus
+sekalipun
+sekarang
+sekarang
+sekecil
+seketika
+sekiranya
+sekitar
+sekitarnya
+sekurang-kurangnya
+sekurangnya
+sela
+selain
+selaku
+selalu
+selama
+selama-lamanya
+selamanya
+selanjutnya
+seluruh
+seluruhnya
+semacam
+semakin
+semampu
+semampunya
+semasa
+semasih
+semata
+semata-mata
+semaunya
+sementara
+semisal
+semisalnya
+sempat
+semua
+semuanya
+semula
+sendiri
+sendirian
+sendirinya
+seolah
+seolah-olah
+seorang
+sepanjang
+sepantasnya
+sepantasnyalah
+seperlunya
+seperti
+sepertinya
+sepihak
+sering
+seringnya
+serta
+serupa
+sesaat
+sesama
+sesampai
+sesegera
+sesekali
+seseorang
+sesuatu
+sesuatunya
+sesudah
+sesudahnya
+setelah
+setempat
+setengah
+seterusnya
+setiap
+setiba
+setibanya
+setidak-tidaknya
+setidaknya
+setinggi
+seusai
+sewaktu
+siap
+siapa
+siapakah
+siapapun
+sini
+sinilah
+soal
+soalnya
+suatu
+sudah
+sudahkah
+sudahlah
+supaya
+tadi
+tadinya
+tahu
+tahun
+tak
+tambah
+tambahnya
+tampak
+tampaknya
+tandas
+tandasnya
+tanpa
+tanya
+tanyakan
+tanyanya
+tapi
+tegas
+tegasnya
+telah
+tempat
+tengah
+tentang
+tentu
+tentulah
+tentunya
+tepat
+terakhir
+terasa
+terbanyak
+terdahulu
+terdapat
+terdiri
+terhadap
+terhadapnya
+teringat
+teringat-ingat
+terjadi
+terjadilah
+terjadinya
+terkira
+terlalu
+terlebih
+terlihat
+termasuk
+ternyata
+tersampaikan
+tersebut
+tersebutlah
+tertentu
+tertuju
+terus
+terutama
+tetap
+tetapi
+tiap
+tiba
+tiba-tiba
+tidak
+tidakkah
+tidaklah
+tiga
+tinggi
+toh
+tunjuk
+turut
+tutur
+tuturnya
+ucap
+ucapnya
+ujar
+ujarnya
+umum
+umumnya
+ungkap
+ungkapnya
+untuk
+usah
+usai
+waduh
+wah
+wahai
+waktu
+waktunya
+walau
+walaupun
+wong
+yaitu
+yakin
+yakni
+yang

summary.py

@@ -0,0 +1,128 @@
+from flask import Flask, request, render_template, jsonify
+import pandas as pd
+import requests
+import os
+import re
+import networkx as nx
+from nltk.tokenize import word_tokenize, sent_tokenize
+from nltk.corpus import stopwords
+from bs4 import BeautifulSoup
+from sklearn.feature_extraction.text import TfidfVectorizer
+from sklearn.metrics.pairwise import cosine_similarity
+import matplotlib.pyplot as plt
+import nltk
+
+# Inisialisasi NLTK
+nltk.download("stopwords")
+nltk.download("punkt")
+
+# Inisialisasi Flask
+app = Flask(__name__)
+
+# Fungsi untuk scraping berita
+def scrape_news(url):
+    isi = []
+    judul = []
+
+    headers = {
+        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
+    }
+    try:
+        response = requests.get(url, headers=headers)
+        response.raise_for_status()
+        article_full = BeautifulSoup(response.content, "html.parser")
+        judul_artikel = article_full.find("h1", class_="mb-4 text-32 font-extrabold")
+        if judul_artikel:
+            judul_artikel = judul_artikel.text.strip()
+        else:
+            judul_artikel = "Judul tidak ditemukan"
+        artikel_element = article_full.find("div", class_="detail-text")
+        if artikel_element:
+            artikel_teks = [p.get_text(strip=True) for p in artikel_element.find_all("p")]
+            artikel_content = "\n".join(artikel_teks)
+        else:
+            artikel_content = "Konten artikel tidak ditemukan"
+        isi.append(artikel_content)
+        judul.append(judul_artikel)
+    except requests.exceptions.RequestException as e:
+        judul.append("Error")
+        isi.append(f"Gagal mengambil data: {e}")
+
+    return pd.DataFrame({"judul": judul, "isi": isi})
+
+# Fungsi preprocessing
+def preprocess_text(content):
+    content = content.lower()
+    content = re.sub(r"[0-9]|[/(){}\[\]\|@,;_]|[^a-z .]+", " ", content)
+    content = re.sub(r"\s+", " ", content).strip()
+    tokens = word_tokenize(content)
+    stopword = set(stopwords.words("indonesian"))
+    tokens = [word for word in tokens if word not in stopword]
+    return " ".join(tokens)
+
+# Fungsi untuk membuat ringkasan dan visualisasi graf
+def summarize_and_visualize(content):
+    kalimat = sent_tokenize(content)
+    preprocessed_text = preprocess_text(content)
+    kalimat_preprocessing = sent_tokenize(preprocessed_text)
+
+    # TF-IDF dan cosine similarity
+    tfidf_vectorizer = TfidfVectorizer()
+    tfidf_matrix = tfidf_vectorizer.fit_transform(kalimat_preprocessing)
+    cossim_prep = cosine_similarity(tfidf_matrix, tfidf_matrix)
+
+    # Analisis jaringan dengan NetworkX
+    G = nx.DiGraph()
+    for i in range(len(cossim_prep)):
+        G.add_node(i)
+        for j in range(len(cossim_prep)):
+            if cossim_prep[i][j] > 0.1 and i != j:
+                G.add_edge(i, j)
+
+    # Hitung closeness centrality dan buat ringkasan
+    closeness_scores = nx.closeness_centrality(G)
+    sorted_closeness = sorted(closeness_scores.items(), key=lambda x: x[1], reverse=True)
+    ringkasan = " ".join(kalimat[node] for node, _ in sorted_closeness[:3])
+
+    # Visualisasi graf
+    plt.figure(figsize=(10, 8))
+    pos = nx.spring_layout(G, k=2)
+    nx.draw_networkx_nodes(G, pos, node_size=500, node_color="b")
+    nx.draw_networkx_edges(G, pos, edge_color="red", arrows=True)
+    nx.draw_networkx_labels(G, pos, font_size=10)
+    plt.title("Graph Representation of Sentence Similarity")
+    # Periksa apakah file graph.png sudah ada
+    graph_path = "static/graph.png"
+    if os.path.exists(graph_path):
+        os.remove(graph_path)  # Hapus file jika sudah ada
+
+    # Simpan graf sebagai file baru
+    plt.savefig(graph_path)
+    plt.close()
+
+    return ringkasan
+
+# Route utama untuk scraping dan analisis
+@app.route("/", methods=["GET", "POST"])
+def index():
+    if request.method == "POST":
+        url = request.form.get("url")
+        if url:
+            # Scraping berita
+            df = scrape_news(url)
+            if not df.empty:
+                content = df["isi"].iloc[0]
+                title = df["judul"].iloc[0]
+
+                # Preprocessing, summarizing, and visualizing
+                ringkasan = summarize_and_visualize(content)
+                return render_template("result.html", title=title, content=content, summary=ringkasan, graph_url="static/graph.png")
+            else:
+                return render_template("summary.html", error="Gagal mengambil data dari URL.")
+        else:
+            return render_template("summary.html", error="URL tidak boleh kosong.")
+    return render_template("summary.html")
+
+# Menjalankan aplikasi Flask
+if __name__ == "__main__":
+    app.run(debug=True, port=5002)

templates/index.html

@@ -0,0 +1,37 @@
+<!DOCTYPE html>
+<html lang="id">
+<head>
+    <meta charset="UTF-8">
+    <meta name="viewport" content="width=device-width, initial-scale=1.0">
+    <title>Klasifikasi Berita</title>
+    <link rel="stylesheet" href="{{ url_for('static', filename='styles.css') }}"> <!-- Link ke file CSS -->
+</head>
+<body>
+    <div class="container">
+        <h1>Klasifikasi Berita</h1>
+        <form action="{{ url_for('index') }}" method="POST">
+            <label for="link_news">Masukkan Link Berita:</label>
+            <input type="url" id="link_news" name="link_news" placeholder="https://www.cnbcindonesia.com/news/..." required>
+            <br>
+            <label for="model">Pilih Model Klasifikasi:</label>
+            <select id="model" name="model" required>
+                <option value="logistic_regression">Logistic Regression</option>
+                <option value="lr_modelNcompo5">Logistic Regression dengan SVD (5 Komponen)</option>
+                <option value="lr_modelNcompo10">Logistic Regression dengan SVD (10 Komponen)</option>
+            </select>
+
+            <button type="submit">Klasifikasikan</button>
+        </form>
+
+        {% if error %}
+            <p class="error">{{ error }}</p>
+        {% endif %}
+        
+        {% if result %}
+            <h2>Hasil Klasifikasi: {{ result }}</h2>
+            <p>Probabilitas Kategori Berita: {{ prob_news }}%</p>
+            <p>Probabilitas Kategori Penelitian: {{ prob_research }}%</p>
+        {% endif %}
+    </div>
+</body>
+</html>

templates/result.html

@@ -0,0 +1,17 @@
+<!DOCTYPE html>
+<html lang="en">
+<head>
+    <meta charset="UTF-8">
+    <title>Summary Result</title>
+</head>
+<body>
+    <h1>{{ title }}</h1>
+    <h2>Konten:</h2>
+    <p>{{ content[:1000] }}...</p>
+    <h2>Ringkasan:</h2>
+    <p>{{ summary }}</p>
+    <h2>Visualisasi Graf:</h2>
+    <img src="{{ graph_url }}" alt="Graph Visualization">
+    <a href="/">Kembali</a>
+</body>
+</html>

templates/summary.html

@@ -0,0 +1,18 @@
+<!DOCTYPE html>
+<html lang="en">
+<head>
+    <meta charset="UTF-8">
+    <title>News Scraper</title>
+</head>
+<body>
+    <h1>Web Article Summarizer with Graph Visualization</h1>
+    <form method="post">
+        <label for="url">Masukkan URL artikel:</label><br>
+        <input type="text" id="url" name="url"><br><br>
+        <input type="submit" value="Generate Summary">
+    </form>
+    {% if error %}
+    <p style="color:red;">{{ error }}</p>
+    {% endif %}
+</body>
+</html>

templates/teks.html

@@ -0,0 +1,32 @@
+<!-- templates/teks.html -->
+<!DOCTYPE html>
+<html lang="id">
+<head>
+    <meta charset="UTF-8">
+    <meta name="viewport" content="width=device-width, initial-scale=1.0">
+    <title>Klasifikasi Teks</title>
+</head>
+<body>
+    <h1>Klasifikasi Teks Berita</h1>
+    <form action="/teks" method="post">
+        <label for="user_input">Masukkan Teks Berita:</label>
+        <textarea name="user_input" id="user_input" rows="4" required></textarea>
+        <label for="model">Pilih Model:</label>
+        <select name="model" id="model">
+            <option value="logistic_regression">Model Default</option>
+            <option value="lr_modelNcompo5">Model Nkompo 5</option>
+            <option value="lr_modelNcompo10">Model Nkompo 10</option>
+        </select>
+        <input type="submit" value="Prediksi">
+    </form>
+
+    {% if error %}
+        <p style="color:red;">{{ error }}</p>
+    {% endif %}
+    {% if result %}
+        <h2>Hasil Klasifikasi: {{ result }}</h2>
+        <p>Probabilitas Berita: {{ prob_news }}</p>
+        <p>Probabilitas Riset: {{ prob_research }}</p>
+    {% endif %}
+</body>
+</html>