Upload 2 files

.gitattributes

@@ -34,3 +34,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
 combined_output.csv filter=lfs diff=lfs merge=lfs -text
+combined_texts.csv filter=lfs diff=lfs merge=lfs -text

combined.ipynb

@@ -0,0 +1,425 @@
+{
+ "cells": [
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "Kütüphane"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 4,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from datasets import load_dataset\n",
+    "import pandas as pd \n",
+    "from pymongo import MongoClient\n",
+    "from transformers import BertTokenizer, BertForMaskedLM, DPRContextEncoderTokenizer,DPRContextEncoder;\n",
+    "from sklearn.feature_extraction.text import TfidfVectorizer\n",
+    "import numpy as np\n",
+    "import re\n",
+    "import pandas as pd\n",
+    "from nltk.stem import WordNetLemmatizer\n",
+    "from nltk.corpus import stopwords as nltk_stopwords\n",
+    "from transformers import BertTokenizer, BertModel\n",
+    "from sklearn.metrics.pairwise import cosine_similarity\n",
+    "import torch\n",
+    "from pymongo import MongoClient\n",
+    "import torch.nn.functional as F\n",
+    "\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "MongoDb'den database'in çekilmesi"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 8,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "#mongodb üzerinden combined_textleri çek\n",
+    "\n",
+    "def mongo_db_combined_texts(database_name='combined', collection_name='combined_output', host='localhost', port=27017,batch_size=1000):\n",
+    "    client = MongoClient(f'mongodb://{host}:{port}/')\n",
+    "    db = client[database_name]\n",
+    "    collection = db[collection_name]\n",
+    "    \n",
+    "    #toplam döküman sayısını al\n",
+    "    total_documents = collection.count_documents({})\n",
+    "    batch_documents = []\n",
+    "\n",
+    "    # Belirtilen batch_size kadar dökümanları almak için döngü\n",
+    "    for i in range(0, total_documents, batch_size):\n",
+    "        cursor = collection.find({}, {\"combined\":1, \"_id\": 0}).skip(i).limit(batch_size)\n",
+    "        combined_texts = [doc['combined'] for doc in cursor if 'combined' in doc]\n",
+    "        batch_documents.append((combined_texts, len(combined_texts)))\n",
+    "    \n",
+    "    return batch_documents\n",
+    "\n",
+    "# Dökümanları ve döküman sayısını batch olarak çekin\n",
+    "batch_documents = mongo_db_combined_texts(batch_size=1000)\n",
+    "\n",
+    "# Her batch'i ayrı ayrı işleyebilirsiniz\n",
+    "for batch_index, (combined_texts, document_count) in enumerate(batch_documents):\n",
+    "    print(f\"Batch {batch_index + 1}: {document_count} documents\")\n",
+    "\n",
+    "    "
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "Gereksiz kelimelerin 'gereksiz_kelimeler.txt' üzerinden import edilmesi"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 3,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "\"\"\"\"\"\"\n",
+    "#- burada turkish_stop_words'ü alıyoruz\n",
+    "def load_stop_words(file_path, existing_stop_words='gereksiz_kelimeler.txt'):\n",
+    "    \"\"\"Stop words'leri dosyadan okuyarak bir liste oluşturur. \n",
+    "    Mevcut stop words'ler varsa bunları dikkate alır.\"\"\"\n",
+    "    \n",
+    "    if existing_stop_words is None:\n",
+    "        existing_stop_words = set()\n",
+    "    else:\n",
+    "        existing_stop_words = set(existing_stop_words)\n",
+    "    \n",
+    "    with open(file_path, 'r', encoding='utf-8') as file:\n",
+    "        for line in file:\n",
+    "            word = line.strip()\n",
+    "            if word and word not in existing_stop_words:\n",
+    "                existing_stop_words.add(word)\n",
+    "    \n",
+    "    return list(existing_stop_words)\n",
+    "\n",
+    "# Mevcut stop words'leri kontrol ederek Türkçe stop words dosyasını yükleyin\n",
+    "stop_words_list = load_stop_words('gereksiz_kelimeler.txt')\n",
+    "\n",
+    "#----------------------------------------------------------------------------------------------------"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "TF-IDF Skorları "
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "\n",
+    "# BERT Tokenizer ve Model'i yükleyin\n",
+    "tokenizer = BertTokenizer.from_pretrained('dbmdz/bert-base-turkish-cased')\n",
+    "model = BertModel.from_pretrained('dbmdz/bert-base-turkish-cased')\n",
+    "# Keywords çıkarma fonksiyonu\n",
+    "def extract_keywords_tfidf(combined_texts, stop_words_list,top_n=5):\n",
+    "    \"\"\"TF-IDF ile anahtar kelimeleri çıkarır, stop words listesi ile birlikte kullanır.\"\"\"\n",
+    "    vectorizer = TfidfVectorizer(stop_words=stop_words_list)\n",
+    "    X = vectorizer.fit_transform(combined_texts)\n",
+    "    feature_names = vectorizer.get_feature_names_out()\n",
+    "    #sorted_keywords = [feature_names[i] for i in X.sum(axis=0).argsort()[0, ::-1]]\n",
+    "    top_keywords_per_document = []\n",
+    "\n",
+    "    for row in X:\n",
+    "        tfidf_scores = row.toarray().flatten()\n",
+    "        top_indices = tfidf_scores.argsort()[-top_n:][::-1]  # En yüksek n skoru bul\n",
+    "        top_keywords = [feature_names[i] for i in top_indices]\n",
+    "        top_keywords_per_document.append(top_keywords)\n",
+    "\n",
+    "    return top_keywords_per_document\n",
+    "\n",
+    "# Anahtar kelimeleri çıkar ve BERT ile embedding oluştur\n",
+    "def process_texts(combined_texts, stop_words_list,top_n):\n",
+    "    results = []\n",
+    "    \n",
+    "    for text in combined_texts:\n",
+    "        # Anahtar kelimeleri çıkar\n",
+    "        keywords = extract_keywords_tfidf(text, stop_words_list,top_n)\n",
+    "        \n",
+    "        # BERT ile embedding oluştur\n",
+    "        inputs = tokenizer(text, return_tensors='pt', truncation=True, max_length=512)\n",
+    "        with torch.no_grad():\n",
+    "            outputs = model(**inputs)\n",
+    "            embeddings = outputs.last_hidden_state.mean(dim=1).squeeze()\n",
+    "        \n",
+    "        results.append({\n",
+    "            'text': text,\n",
+    "            'keywords': keywords,\n",
+    "            'embedding': embeddings\n",
+    "        })\n",
+    "        \n",
+    "    return results"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 16,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "Keyword: test, Similarity: 0.19360324687858618\n"
+     ]
+    }
+   ],
+   "source": [
+    "from sklearn.feature_extraction.text import TfidfVectorizer\n",
+    "from sklearn.metrics.pairwise import cosine_similarity\n",
+    "\n",
+    "def calculate_keyword_similarity(text, keywords):\n",
+    "    # Metin ve anahtar kelimelerden oluşan bir liste oluştur\n",
+    "    similarity_array = []\n",
+    "\n",
+    "    for keyword in keywords:\n",
+    "        # Metin ve anahtar kelimeyi bir listeye ekle\n",
+    "        documents = [text, keyword]\n",
+    "    \n",
+    "    # TF-IDF matrisini oluştur\n",
+    "    vectorizer = TfidfVectorizer()\n",
+    "    tfidf_matrix = vectorizer.fit_transform(documents)\n",
+    "    \n",
+    "    # Metin vektörünü ve anahtar kelimeler vektörünü al\n",
+    "    text_vector = tfidf_matrix[0]\n",
+    "    keywords_vector = tfidf_matrix[1]\n",
+    "    \n",
+    "    # Cosine similarity ile benzerlik hesapla\n",
+    "    similarity = cosine_similarity(text_vector, keywords_vector)[0][0]\n",
+    "\n",
+    "\n",
+    "    similarity_array.append((keyword,similarity))\n",
+    "    \n",
+    "    return similarity_array\n",
+    "# Örnek metin ve anahtar kelimeler\n",
+    "#combined verileri \n",
+    "text = \"Bu bir örnek metindir ve bu metin üzerinde anahtar kelimeleri test ediyoruz.\"\n",
+    "keywords = [\"başka\", \"bir\", \"anahtar\", \"kelimeleri\", \"test\"]\n",
+    "# Uygunluk skorunu hesapla\n",
+    "similarity_results = calculate_keyword_similarity(text, keywords)\n",
+    "top_5_keywords = sorted(similarity_results, key=lambda x: x[1], reverse=True)[:5]\n",
+    "# Her bir anahtar kelimenin uyumluluk skorunu yazdır\n",
+    "\n",
+    "for keyword, similarity in top_5_keywords:\n",
+    "    print(f\"Keyword: {keyword}, Similarity: {similarity}\")\n",
+    "    #print(f\"Keyword: '{keyword}' - Relevance score: {score:.4f}\")\n",
+    "\n"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "#-----------------------------------------------------------------------------------------------------\n",
+    "# Tüm metinleri işle\n",
+    "combined_texts = mongo_db_combined_texts()\n",
+    "processed_texts = process_texts(combined_texts, stop_words_list,top_n=5)\n",
+    "\n",
+    "combined_texts, document_count = mongo_db_combined_texts()\n",
+    "print(f\"Toplam döküman sayısı: {document_count}\")\n",
+    "print(\"Combined metinler:\", combined_texts)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from sklearn.feature_extraction.text import TfidfVectorizer\n",
+    "from sklearn.metrics.pairwise import cosine_similarity\n",
+    "\n",
+    "# Text ve keywords\n",
+    "text = \"\"\"Peynir, çok büyük bir çeşitlilikteki aroma, tat, yapı ve şekle sahip bir grup süt ürünü için kullanılan genel isimdir.\n",
+    "\n",
+    "Etimoloji \n",
+    "Peynir, kelimesi modern Türkçeye Farsça sütten yapılmış manasına gelen panīr kelimesinden geçmiştir. İngilizceye ise Latince caseus dan gelmiştir. Bu kelimenin kökeninin Hint-Avrupa dillerinde yer alan mayalanmak-ekşimek manasına gelen kwat- kökünden geçtiği düşünülmektedir. Bu kelime diğer Cermen dillerinde de muhafaza edilmiştir. İspanyolca ve Portekizce de Latinceden almışlardır ve Malezya ve Endonezya da konuşulan dillere de keşifler vasıtasıyla geçirmişlerdir.\n",
+    "\n",
+    "Fransızca, İtalyanca ve Katalancaya ise yine aynı kökenden gelmiş olmasına ragmen, Romalılar tarafından askerlerin tüketimi için yapılan caseus formatus (kalıp peyniri) sözünün ikinci parçası olan kalıp manasına gelen formatusdan türeyen kelimeler kullanılmaya başlanmıştır. İspanyolcada \"queso\", Portekizcede \"queijo\", Almancada \"Käse\", Felemenkçede \"Kaas\", ve İngilizcede \"cheese\" İtalyancada \"formaggio\" olması yanında, Fransızcada \"fromage\", ve bu terim Katalancada \"formatge\" olmuştur.\n",
+    "\n",
+    "İlk kez Memluk Türkçesinde benir, penir, beynir şekillerinde görülür. Yazılı olarak en eski ÖzTürkçe karşılığı ise Kâşgarlı Mahmud tarafından yazılan Divânu Lügati't-Türk'te geçmektedir; udma ve udhıtma. Udhıtmak Uygur Türkçesi'nde uyutmak anlamındadır ve Udhıtma udhıttı, sütü uyutmak, uyumuş süt, peynir anlamında kullanılmıştır. Farklı Türk lehçelerinde farklı kelimeler kullanılmıştır: ağrımışık, sogut (Karluk), kurut, kesük, çökelek, bışlak.\n",
+    "\n",
+    " Tarihçe \n",
+    "Peynir kökeni oldukça eskiye dayanan bir yiyecektir. Peynir üretimine dair elde mevcut en eski arkeolojik bulgular M.Ö. 5000 yıllarına aittir ve günümüz Polonya'sında ortaya çıkarılmıştır. Çıkış noktaları Orta Asya, Orta Doğu ya da Avrupa olarak tahmin edilmektedir. Yaygınlaşmasının Roma İmparatorluğu zamanlarında olduğu düşünülür.\n",
+    "\n",
+    "İlk üretimi için önerilen tarih MÖ 8. binyıl (koyunun evcilleşitirildiği tarih) ile 9. binyıla kadar değişir. O zamanlar yiyecekleri saklayıcı özelliği nedeniyle hayvanın derisi ya da iç organları kullanılmaktaydı. Bu iç organlardan olan midede (işkembe) saklanan sütün buradaki enzimlerle (kültürle) mayalanması üzerine lor haline gelmesi peynirin ilk oluşumu hakkındaki teorilerden biridir. Buna benzer bir hikâyenin, bir tüccar Arap'ın peynir saklaması hakkında da farklı söylenişleri vardır.Vicki Reich, Cheese January 2002 Newsletter, Moscow Food Co-op Food Info.  \n",
+    "\n",
+    "Bir başka teoriyse peynirin sütü tuzlamak ve basınç altında tutma sonucunda ortaya çıktığıdır. Hayvan midesinde bekletilen sütün değişimi üzerine de bu karışıma kasıtlı olarak maya eklenmiş olabilir.\n",
+    "\n",
+    "Peynir yapıcılığı ile ilgili ilk yazılı kaynak MÖ 2000'li yıllara, Mısır'daki mezar yazıtlarına dayanmaktadır. Antik zamanlarda yapılan peynirin ekşi ve tuzlu olduğu ve günümüz feta ve beyaz peynire benzediği tahmin edilmektedir.\n",
+    "\n",
+    "Avrupa'daki peynir üretiminde ise iklimden dolayı daha az tuz kullanılır. Daha az tuzlu ortamda daha çeşitli faydalı mikrop ve enzim yetişebilmesinden dolayı bu peynirler farklı ve ilginç tatlar içerirler.\n",
+    "\n",
+    " Modern çağ \n",
+    "\n",
+    "Avrupa kültürüyle birlikte yayılmasına kadar peynir, Doğu Asya kültürlerinde ve Kolomb öncesi Amerika'da neredeyse hiç duyulmamıştı ve Akdeniz altı Afrika'da yalnızca sınırlı bir kullanıma sahipti, esasen yalnızca Avrupa, Orta Doğu, Hint altkıtası ve ve bu kültürlerden etkilenen bölgelerde yaygın ve popülerdi. Ancak önce Avrupa emperyalizminin daha sonra da Avrupa-Amerikan kültürünün ve yemeklerinin yayılmasıyla birlikte peynir dünyada giderek daha fazla tanınmaya ve popülerleşmeye başladı.\n",
+    "\n",
+    "Peynirin endüstriyel üretimi için ilk fabrika 1815'te İsviçre'de açıldı ancak büyük ölçekli üretim ilk olarak Amerika Birleşik Devletleri'nde gerçek başarıyı yakaladı. Bu başarı genellikle montaj-hattı tarzında komşu çiftliklerden gelen sütü kullanarak 1851'de peynir yapmaya başlayan ve Roma, New York'tan mandıra çiftçisi olan Jesse Williams'a atfedilir. \n",
+    "Onlarca yıl içinde bu türden yüzlerce süt birlikleri ortaya çıktı.\n",
+    "\n",
+    "1860'larda seri üretilen peynir mayası üretimi başladı ve yüzyılın başında bilim adamları saf mikrobiyal kültürler üretiyorlardı. O zamandan önce, peynir yapımındaki bakteriler çevreden veya daha önceki bir partinin peynir altı suyunun geri dönüştürülmesinden geliyordu; saf kültürler, daha standart bir peynirin üretilebileceği anlamına geliyordu.\n",
+    "\n",
+    "Fabrika yapımı peynir İkinci Dünya Savaşı döneminde geleneksel peynir yapımını geride bıraktı ve fabrikalar o zamandan beri Amerika ve Avrupa'daki çoğu peynirin kaynağıdır.\n",
+    "\n",
+    "Birleşmiş Milletler Gıda ve Tarım Örgütü'ne göre 2004 yılı dünya üzerindeki peynir üretimi 18 milyon ton dur. Bu kahve tanesi, çay yaprağı kakao tanesi ve tütün yıllık üretiminden daha fazladır.\n",
+    "\n",
+    " Üretim \n",
+    "\n",
+    "2014 yılında tam inek sütünden yapılan peynir üretimi dünya’da 18.7 milyon tondu ve Amerika Birleşik Devletleri dünya toplamının %29'u (5.4 milyon ton) peynir üretirken onu büyük üreticiler olarak Almanya, Fransa ve İtalya izledi.\n",
+    "\n",
+    "İşlenmiş peynirde diğer 2014 dünya toplamlar�� şunlardı:\n",
+    " yağsız inek sütünden, 2.4 milyon ton (845,500 ton ile Almanya liderdir)\n",
+    " keçi sütünden, 523,040 ton (110,750 ton ile Güney Sudan liderdir)\n",
+    " koyun sütünden, 680,302 ton (125,000 ton ile Yunanistan liderdir)\n",
+    " manda sütünden, 282,127 ton (254,000 ton Mısır liderdir)\n",
+    "\n",
+    "2015 yılında Almanya, Fransa, Hollanda ve İtalya ürettikleri peynirin %10-14'ünü ihraç etti. Amerika Birleşik Devletleri üretiminin çoğunu kendi iç pazarına sattığından ihracatı azdır (toplam inek sütü üretiminin %5.3'ü).\n",
+    "\n",
+    "2004 yılına göre en büyük peynir ihracatcısı (parasal değere göre) Fransa olup ikinci Almanya (miktar bakımından birinci olmasına rağmen). En üstteki on ihracatçıdan sadece İrlanda, Yeni Zelanda, Hollanda ve Avustralya ihracat için peynir üretir. Üretimlerinin ihracat yüzdeleri sırasıyla: %95, %90, %72 ve %65 dir. En büyük peynir ihracatçısı Fransa peynir üretiminin sadece %30'unu ihraç eder.\n",
+    "\n",
+    " Tüketim \n",
+    "Fransa, İzlanda, Finlandiya, Danimarka ve Almanya 2014 yılında kişi başına ortalama  peynir tüketen ülkelerdi.\n",
+    "\n",
+    "{| class=\"wikitable\" style=\"width:30em;\"\n",
+    "! colspan=2|En çok peynir tüketen ülkeler - 2003(kişi başına yılık tüketim kg olarak)<ref>{{Web kaynağı |url=http://www.maison-du-lait.com/Scripts/public/stat.asp?Language=GB |başlık=CNIEL |erişimtarihi=20 Eylül 2008 |arşivurl=https://web.archive.org/web/20071006081314/http://www.maison-du-lait.com/Scripts/public/stat.asp?Language=GB |arşivtarihi=6 Ekim 2007 |ölüurl=evet }}</ref>\n",
+    "|-\n",
+    "|  || align=\"right\" | 27.3\n",
+    "|-\n",
+    "|  || align=\"right\" | 24.0\n",
+    "|-\n",
+    "|   || align=\"right\" | 22.9\n",
+    "|-\n",
+    "|  || align=\"right\" | 20.6\n",
+    "|-\n",
+    "|  || align=\"right\" | 20.2\n",
+    "|-\n",
+    "|  || align=\"right\" | 19.9\n",
+    "|-\n",
+    "| || align=\"right\" | 19.5\n",
+    "|-\n",
+    "|  || align=\"right\" | 17.9\n",
+    "|}\n",
+    "\n",
+    " Yapımı \n",
+    "\n",
+    "Peynir, süt proteini kazeinin peynir mayası ve peynir kültürü ile pıhtılaştırılması ve bu pıhtıdan peynir altı suyunun ayrılmasıyla elde edilen fermente bir süt ürünüdür. Buna karşılık kazein yerine peynir altı suyu proteininden oluşan ricotta ve lor gibi peynirler ile peynir mayası içermeyen quark gibi peynirler de vardır. Sütün pH değerinin düşürülmesi için kullanılan peynir kültürü de peynir üretimi için zorunlu olmayıp sitrik asit ve sirke gibi asit içeren maddeler ile sübstitüte edilebilir.\n",
+    "\n",
+    "Peynir altı suyu ayrıldıktan sonra tuzlu peynirler için tuzlama aşamasına gelinir. Tuzlama, peynirin yüzeyine kuru tuzlama şeklinde veya peynir salamuraya daldırılarak yapılabilir. Peynir altı suyunun tekrar 90 C°'ye kaynatılması ile lor peynir elde edilir.\n",
+    "\n",
+    "Takip eden basamak olgunlaştırmadır; peynir taze olarak tüketilebileceği gibi belirli bir olgunlaştırma periyodunu takiben de tüketilebilir.\n",
+    "Bu üretim basamaklarına ait teknik parametrelere bağlı olarak çok geniş bir çeşitlilikte peynirler elde edilir.\n",
+    "\n",
+    "Diğer fermente süt ürünleri gibi peynir de canlı organizmalar içerebilir. Raf ömrü boyunca peynirin duyusal, yapısal ve kimyasal özelliklerinde çeşitli değişiklikler görülebilir. Bu değişikliklerin en az olması için peynirin genellikle 6-8 °C’lik sıcaklıklarda tutulması gereklidir.\n",
+    "\n",
+    "Soğuk iklimlerde yaşayanlar için sıcaklığı 6-8 °C civarında, nem oranı sabit ve havadar kilerler peynir saklamak için idealdir. Ancak bu imkânın olmadığı yerde peynir buzdolabının alt raflarında ve kapalı şekilde saklanmalıdır.\n",
+    "\n",
+    " Çeşitleri \n",
+    "\n",
+    "Türkiye'de tüketimi en yaygın olan peynirler; beyaz peynir, deri peyniri ve kaşar peyniri olmakla birlikte, yöresel peynirler yönünden de hayli çeşitlilik gösterir. Bunlardan bazıları:     \n",
+    "\n",
+    " Beslenme ve sağlık \n",
+    "Peynirin besin değeri çok değişkendir. Süzme peynir %4 yağ ve %11 protein içerebilirken bazı peynir altı suyu peynirleri %15 yağ ve %11 protein ve üçlü krem peynirler %36 yağ ve %7 protein içerir. Genellikle peynir, zengin bir kalsiyum, protein, fosfor, sodyum ve doymuş yağ (Günlük Değer'in %20'si veya daha fazlası) kaynağıdır. 28 gramlık (bir ons) porsiyon çedar peyniri yaklaşık  protein ve 202 miligram kalsiyum içerir. Besinsel olarak peynir esasında konsantre süttür ancak kültür ve yaşlandırma süreçlerince değiştirilir: bu kadar proteini sağlamak için, suda çözünen vitamin ve minerallerin miktarları değişmesine rağmen, yaklaşık  süt ve buna eşit  kalsiyum gerekir.\n",
+    "\n",
+    "Sağlıklı hayvan sütlerinden sağlıklı şartlarda üretilen peynirin insan beslenmesine protein, kalsiyum, mineraller ve diğer besin elemanlarının temin edilmesinde ve sağlıklı yaşamın sürdürülmesinde önemli katkıları bulunur. Ancak çiğ sütten yapılan peynirlerden Brucella ve Listeria gibi zoonotik enfeksiyonların tüketenlere bulaşması, ayrıca uygun saklama koşullarına uyulmaması dolayısıyla bakteri üremesine bağlı akut barsak enfeksiyonlarının gelişmesi mümkündür. Tuzlu peynir tüketimi hipertansiyon hastalarında risk oluşturabilir.\n",
+    "\n",
+    "Küflü peynir tüketimi\n",
+    "\n",
+    "Bazı (yumuşak tip) küflü peynir çeşitlerinin listeria riski dolayısıyla hamilelerde tüketiminin uygun olmadığı, pişirilerek yenmesi durumunda bu sakıncanın ortadan kalkmış olacağı NHS tarafından ifade edilmektedir. Konya'da yöresel olarak tüketilen küflü peynir çeşitleri üzerinde akademik yapılan bir çalışma ile bu peynirlerden elde edilen küf cinsleri, bunların primer ve sekonder metabolitleri, ürettikleri mikotoksinler, aspergillus tipi küflerde ise aflatoksinler gibi kanser yapıcı toksinlerin mevcudiyeti ve zararları ele alınmıştır. Küflü peynirler üzerinde yapılan bir başka çalışmada ise özellikle siyah, beyaz ve kırmızı renkte küf içeren peynir çeşitlerinde aflatoksin miktarının yüksekliğine dikkat çekilmiştir. Bazı mikotoksinlerin DNA hasarı (mutajen) ve fetüs üzerinde sakatlık oluşturma (teratojen) kapasitelerinin olduğu bilinmektedir.http://www.academia.edu/3251581/DUNYADA_VE_TURKIYEDE_INSAN_SAGLIGINI_TEHDIT_EDEN_MIKOTOKSINLERhttp://informahealthcare.com/doi/abs/10.3109/15569549909009258\n",
+    "\n",
+    " Peynirle ilgili kitaplar \n",
+    " \"Süt Uyuyunca - Türkiye Peynirleri\", Artun Ünsal, Yapı Kredi Yayınları, İstanbul, 1. Baskı 1997.\n",
+    " \"Türkiye'nin Peynir Hazineleri* \" (Özgün adı: The Treasury of Turkish Cheeses''), Suzanne Swan, Boyut Yayın Grubu, 2005.\n",
+    " \"Yurdumuz Peynirlerini Olgunlaştıran Mikroplar ve Anzimleri\", Mehmet Karasoy, Ankara Üniversitesi Veteriner Fakültesi Yay. 1955.\n",
+    " \"Her Yönüyle Peynir\", Mehmet Demirci, Hasad Yayıncılık.\n",
+    " \"Türkiye'de Yapılan Muhtelif Tip Peynirler ve Özellikleri\", Dilek Uraz - Abdi Karacabey, Ankara, 1974.\n",
+    " \"Peynir\", Rauf Cemil Adam, Ege Üniv. Matbaası, 1974.\n",
+    " \"Peynir Teknolojisi Bibliyografyası\", Tümer Uraz, Ankara Üniv.\n",
+    " \"Sütçülük, Tereyağcılık ve Peynircilik Sanatları'\" (Eski Türkçe), Onnik İhsan, Matbaa-i Âmire, İstanbul, 1915.\n",
+    "\n",
+    "Ayrıca bakınız \n",
+    " Mandıra ürünü\n",
+    "\n",
+    "Notlar \n",
+    "\n",
+    " \n",
+    "Süt ürünleri\n",
+    "Farsçadan Türkçeye geçen sözcükler\"\"\"\n",
+    "\n",
+    "keywords = ['peynir', 'peynirin', 'peynirler', 'olarak', 'ton', 'süt', 'avrupa', 'right', 'align', 'yapılan', 'altı', 'üretimi', 'protein', 'büyük', 'elde', 'amerika', 'almanya', 'sütünden', 'fransa', 'dünya', 'farklı', 'küflü', 'ilk', 'kalsiyum', 'çok', 'türkiye', 'peyniri', 'yağ', 'gelen', '20', 'sütü', 'tüketimi', 'tuzlu', 'milyon', 'liderdir', 'olan', 'diğer', 'com', 'doğu', 'daki', 'beyaz', 'devletleri', '2014', 'üzerinde', 'web', 'mayası', 'eski', 'manasına', 'olduğu', 'sağlıklı', 'ortaya', 'www', 'veya', 'tuzlama', 'sütün', 'üretiminin', 'suyu', 'suyunun', 'orta', 'tarafından', 'ankara', 'üretim', 'birleşik', 'lor', 'inek', 'iç', 'göre', 'edilmektedir', 'http', 'üniv', 'üzerine', 'ürünü', '11', '10', '90', '000', 'du', 'dillerinde', 'çeşitli', 'çeşitleri', 'caseus', 'cheese', 'dolayısıyla', 'asit', 'başına', 'asp', 'asya', 'ayrıca', 'üretilen', 'başladı', 'başka', 'besin', 'kaynağıdır', 'kelimeler', 'kalıp', 'yöresel', 'içeren', 'hint', 'ikinci', 'zamandan', 'hollanda', 'günümüz', 'food', 'fermente', 'gb', 'geliyordu', 'fabrika', 'edilen', 'olması', 'olmasına', 'yaygın', 'yapımı', 'olmadığı', 'mısır', 'mö', 'modern', 'maison', 'mandıra', 'nde', 'lk', 'listeria', 'language', 'lait', 'mehmet', 'kullanılmıştır', 'kişi', 'kültürü', 'küf', 'kültürler', 'kullanılan', 'hayvan', 'ilgili', 'içerir', 'ihracat', 'ihraç', 'roma', 'yaklaşık', 'yalnızca', 'peynirleri', 'peynirlerden', 'yapı', 'uraz', 'uyutmak', 'uygun', 'vardır', 'rağmen', 'stanbul', 'scripts', 'yazılı', 'ref', 'proteini', 'public', 'saf', 'te', 'stat', 'sütten', 'türk', 'udhıttı', 'udhıtmak', 'tütün', 'şeklinde', 'üretiyorlardı', 'üretirken', 'üretir', 'üretimlerinin', 'üretimine', 'üretiminden', 'üretiminde', '1860', '1851', '1815']\n",
+    "# TF-IDF vektörizer oluştur\n",
+    "tfidf_vectorizer = TfidfVectorizer()\n",
+    "\n",
+    "# Texti ve anahtar kelimeleri TF-IDF vektörlerine dönüştür\n",
+    "text_tfidf = tfidf_vectorizer.fit_transform([text])\n",
+    "keywords_tfidf = tfidf_vectorizer.transform(keywords)\n",
+    "\n",
+    "# Benzerlik hesapla\n",
+    "similarities = []\n",
+    "for i in range(keywords_tfidf.shape[0]):\n",
+    "    keyword_tfidf = keywords_tfidf[i, :]\n",
+    "    similarity = cosine_similarity(text_tfidf, keyword_tfidf)\n",
+    "    similarities.append((keywords[i], similarity[0][0]))\n",
+    "\n",
+    "# Sonuçları yazdır\n",
+    "for keyword, similarity in similarities:\n",
+    "    #print(f\"Keyword: {keyword}, Similarity: {similarity}\")\n",
+    "\n",
+    "# En yüksek benzerliğe sahip olan ilk 5 anahtar kelimeyi filtrele\n",
+    "    top_5_keywords = sorted(similarities, key=lambda x: x[1], reverse=True)[:5]\n",
+    "\n",
+    "# Sonuçları yazdır\n",
+    "for keyword, similarity in top_5_keywords:\n",
+    "    print(f\"Keyword: {keyword}, Similarity: {similarity}\")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    " "
+   ]
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": ".venv",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.10.11"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 2
+}

combined_texts.csv

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:92081f37b09f58af56a1b997b7983cf7fdec3bd6336138024d2c82cca795ad87
+size 739102588