first create

LICENSE

@@ -0,0 +1,21 @@
+MIT License
+
+Copyright (c) 2023 NHLOCAL
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

README.md

@@ -1,13 +1,36 @@
----
-title: Trying1
-emoji: 🐢
-colorFrom: blue
-colorTo: pink
-sdk: gradio
-sdk_version: 4.21.0
-app_file: app.py
-pinned: false
-license: mit
----
-
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+# is this a bible?
+ An IA model that detects whether a given verse is from the Bible or not
+
+The model presents capabilities at a very high recognition level, for the Hebrew language.
+The complete dataset on which the model was trained is stored in the `bible_data.csv` file.
+
+You can try the model's capabilities easily,By downloading the release file from here - https://github.com/NHLOCAL/is-this-bible/releases/download/v1.0/is-this-bible.zip.
+
+**To run the model, download the following libraries using pip**:
+
+`nltk`, `joblib`.
+
+-----
+
+**דוגמה:**
+
+קלט שלילי:
+```shell
+try_model.py "בגיטהאב ניתן להעלות מערכות קוד פתוח"
+```
+פלט:
+
+
+```shell
+Text: בגיטהאב ניתן להעלות מערכות קוד פתוח | Prediction: Other | Confidence Score: 0.0340
+```
+קלט חיובי:
+
+```shell
+try_model.py "עניה סערה לא נחמה הנה אנכי מרביץ בפוך אבניך"
+```
+פלט:
+
+```shell
+Text: עניה סערה לא נחמה הנה אנכי מרביץ בפוך אבניך ויסדתיך בספירים | Prediction: Bible | Confidence Score: 1.0000
+```

data_creation/collect_talmud_data.py

@@ -0,0 +1,69 @@
+# -*- coding: utf-8 -*-
+import re
+
+def divide_into_sentences(text):
+    text = remove_headers(text)
+    # Split the text into words
+    words = text.split()
+    sentences = [' '.join(words[i:i+12]) for i in range(0, len(words), 12)]
+    # Split the text into sentences using periods, commas, and colons as separators
+    # Remove empty sentences
+    sentences = [sentence.strip() for sentence in sentences if sentence.strip()]
+    # add numver for all items
+    sentences = [sentence.strip() for sentence in sentences if sentence.strip()]
+    return sentences
+
+def remove_headers(text):
+    pattern = r"(דף )(.*?)( גמרא )"
+    text = re.sub(pattern, "", text)
+    pattern = r"(דף )(.*?)( משנה )"
+    result = re.sub(pattern, "", text)    
+    return result
+
+
+def write_sentences_to_file(sentences, output_filename):
+    modified_sentences = [f"{sentence},2" for sentence in sentences]
+    with open(output_filename, 'a', encoding='utf-8') as f:
+        f.write('\n'.join(modified_sentences))
+
+# Example passage
+example_passage = """
+דף מח,א גמרא  אע"פ שאי אפשר והלא בא בא לר' מאיר אע"פ שאי אפשר לרבנן ולתני בא העליון ר"מ אומר לא חולצת ולא מתיבמת וחכ"א או חולצת או מתיבמת ואנא ידענא משום דאי אפשר הוא אי לא תנא אע"פ שאי אפשר הוה אמינא רוב נשים תחתון אתי ברישא ומיעוט עליון אתי ברישא ורבי מאיר לטעמיה דחייש למיעוטא ורבנן לטעמייהו דלא חיישי למיעוטא והני מילי בסתמא אבל היכא דבדקן ולא אשכחן אימר מודו ליה רבנן לר"מ דעליון קדים קמ"ל דאי אפשר ודאי אתי ומנתר הוא דנתר בשלמא לר"מ היינו דכתיב (יחזקאל טז) שדים נכונו ושערך צמח אלא לרבנן איפכא מבעי ליה ה"ק כיון ששדים נכונו בידוע ששערך צמח בשלמא לר"מ היינו דכתיב (יחזקאל כג) בעשות ממצרים דדיך למען שדי נעוריך אלא לרבנן איפכא מבעי ליה ה"ק כיון שבאו דדיך בידוע שבאו נעוריך ואיבעית אימא מאי שדי כולה בדדי כתיב וה"ק הקב"ה לישראל
+
+דף מח,ב גמרא  איכרפו דדיך לא הדרת בך אישתדו דדיך נמי לא הדרת בך דכולי עלמא מיהא אתחתון סמכינן מנלן אמר רב יהודה אמר רב וכן תנא דבי ר' ישמעאל אמר קרא (במדבר ה) איש או אשה כי יעשו מכל חטאות האדם השוה הכתוב אשה לאיש לכל עונשין שבתורה מה איש בסימן אחד אף אשה בסימן אחד ואימא או האי או האי כאיש מה איש תחתון ולא עליון אף אשה תחתון ולא עליון תניא נמי הכי א"ר אליעזר בר' צדוק כך היו מפרשין ביבנה ואמרו כיון שבא תחתון שוב אין משגיחין על עליון תניא רשב"ג אומר בנות כרכים תחתון ממהר לבא מפני שרגילות במרחצאות בנות כפרים עליון ממהר לבא מפני שטוחנות ברחים ר"ש בן אלעזר אומר בנות עשירים צד ימין ממהר לבא שנישוף באפקריסותן בנות עניים צד שמאל ממהר לבא מפני ששואבות כדי מים עליהן ואיבעית אימא מפני שנושאין אחיהן על גססיהן ת"ר צד שמאל קודם לצד ימין רבי חנינא בן אחי ר' יהושע אומר מעולם לא קדם צד שמאל לצד ימין חוץ מאחת שהיתה בשכונתי שקדם צד שמאל לצד ימין וחזר לאיתנו ת"ר כל הנבדקות נבדקות על פי נשים וכן היה רבי אליעזר מוסר לאשתו ורבי ישמעאל מוסר לאמו רבי יהודה אומר לפני הפרק ולאחר הפרק נשים בודקות אותן תוך הפרק אין נשים בודקות אותן שאין משיאין ספקות על פי נשים ר"ש אומר אף תוך הפרק נשים בודקות אותן ונאמנת אשה להחמיר אבל לא להקל כיצד גדולה היא שלא תמאן קטנה היא שלא תחלוץ אבל אין נאמנת לומר קטנה היא שתמאן וגדולה היא שתחלוץ אמר מר רבי יהודה אומר לפני הפרק ולאחר הפרק נשים בודקות אותן בשלמא לפני הפרק בעי בדיקה דאי משתכחי לאחר הפרק שומא נינהו אלא לאחר הפרק למה לי בדיקה והאמר רבא קטנה שהגיעה לכלל שנותיה אינה צריכה בדיקה חזקה הביאה סימנין כי אמר רבא חזקה למיאון אבל לחליצה בעיא בדיקה תוך הפרק אין נשים בודקות אותן קסבר תוך הפרק כלאחר ה��רק <דמי> ולאחר הפרק דאיכא חזקה דרבא סמכינן אנשים ובדקי תוך הפרק דליכא חזקה דרבא לא סמכינן אנשים ולא בדקי נשים ר"ש אומר אף תוך הפרק נשים בודקות אותן קסבר תוך הפרק כלפני הפרק ובעיא בדיקה דאי משתכחי לאחר הפרק שומא נינהו ונאמנת אשה להחמיר אבל לא להקל האי מאן קתני לה איבעית אימא רבי יהודה ואתוך הפרק
+
+דף מט,א גמרא  ואיבעית אימא רבי שמעון ולאחר הפרק ולית ליה חזקה דרבא:  מפני שאמרו אפשר כו':  הא תו למה לי הא תנא ליה רישא וכי תימא משום דקא בעי למסתמה כרבנן פשיטא יחיד ורבים הלכה כרבים מהו דתימא מסתברא טעמא דר"מ דקא מסייע ליה קראי קמ"ל ואיבעית אימא משום דקא בעי למתני כיוצא בו:
+
+דף מט,א משנה  כיוצא בו כל כלי חרס שהוא מכניס מוציא ויש שמוציא ואינו מכניס כל אבר שיש בו צפורן יש בו עצם ויש שיש בו עצם ואין בו צפורן כל המטמא מדרס מטמא טמא מת ויש שמטמא טמא מת ואינו מטמא מדרס:
+
+דף מט,א גמרא  מכניס פסול למי חטאת ופסול משום גסטרא מוציא כשר למי חטאת ופסול משום גסטרא אמר רב אסי שונין כלי חרס שיעורו בכונס משקה ולא אמרו מוציא משקה אלא לענין גסטרא בלבד מאי טעמא אמר מר זוטרא בריה דרב נחמן לפי שאין אומרים הבא גסטרא לגסטרא תנו רבנן כיצד בודקין כלי חרס לידע אם ניקב בכונס משקה אם לאו יביא עריבה מלאה מים ונותן קדרה לתוכה אם כנסה בידוע שכונס משקה ואם לאו בידוע שמוציא משקה
+
+דף מט,ב גמרא  רבי יהודה אומר כופף אזני קדרה לתוכה ומציף עליה מים ואם כונס בידוע שכונס משקה ואם לאו בידוע שמוציא משקה או שופתה על גבי האור אם האור מעמידה בידוע שמוציא משקה ואם לאו בידוע שמכניס משקה ר' יוסי אומר אף לא שופתה על גבי האור מפני שהאור מעמידה אלא שופתה על גבי הרמץ אם רמץ מעמידה בידוע שמוציא משקה ואם לאו בידוע שכונס משקה היה טורד טיפה אחר טיפה בידוע שכונס משקה מאי איכא בין ת"ק לר' יהודה אמר עולא כינוס על ידי הדחק איכא בינייהו:  כל אבר שיש בו צפורן וכו':  יש בו צפורן מטמא במגע ובמשא ובאהל יש בו עצם ואין בו צפורן מטמא במגע ובמשא ואינו מטמא באהל אמר רב חסדא דבר זה רבינו הגדול אמרו המקום יהיה בעזרו אצבע יתרה שיש בו עצם ואין בו צפורן מטמא במגע ובמשא ואינו מטמא באהל אמר רבה בר בר חנה א"ר יוחנן וכשאינה נספרת על גב היד:  כל המטמא מדרס וכו':  כל דחזי למדרס מטמא טמא מת ויש שמטמא טמא מת ואין מטמא מדרס לאתויי מאי לאתויי סאה ותרקב דתניא (ויקרא טו) והיושב על הכלי יכול כפה סאה וישב עליה או תרקב וישב עליו יהא טמא ת"ל (ויקרא טו) אשר ישב עליו הזב מי שמיוחד לישיבה יצא זה שאומרים לו עמוד ונעשה מלאכתנו:
+
+דף מט,ב משנה  כל הראוי לדון דיני נפשות ראוי לדון דיני ממונות ויש שראוי לדון דיני ממונות ואינו ראוי לדון דיני נפשות:
+
+דף מט,ב גמרא  אמר רב יהודה לאתויי ממזר תנינא חדא זימנא הכל כשרין לדון דיני ממונות ואין הכל כשרין לדון דיני נפשות והוינן בה לאתויי מאי ואמר רב יהודה לאתויי ממזר חדא לאתויי גר וחדא לאתויי ממזר וצריכי דאי אשמעינן גר משום דראוי לבא בקהל אבל ממזר דאין ראוי לבא בקהל אימא לא ואי אשמעינן ממזר משום דקאתי מטפה כשרה אבל גר דקאתי מטפה פסולה אימא לא צריכא:
+
+דף מט,ב משנה  כל הכשר לדון כשר להעיד ויש שכשר להעיד ואינו כשר לדון:
+
+דף מט,ב גמרא  לאתויי מאי א"ר יוחנן לאתויי סומא באחת מעיניו ומני
+
+דף נ,א גמרא  רבי מאיר היא דתניא היה רבי מאיר אומר מה ת"ל (דברים כא) על פיהם יהיה כל ריב וכל נגע וכי מה ענין ריבי�� אצל נגעים מקיש ריבים לנגעים מה נגעים ביום דכתיב (ויקרא יג) וביום הראות בו אף ריבים ביום ומה נגעים שלא בסומא דכתיב (ויקרא יג) לכל מראה עיני הכהן אף ריבים שלא בסומא ומקיש נגעים לריבים מה ריבים שלא בקרובים אף נגעים שלא בקרובים אי מה ריבים בשלשה אף נגעים בשלשה ודין הוא ממונו בשלשה גופו לא כ"ש ת"ל (ויקרא יג) והובא אל אהרן הכהן או אל אחד מבניו הכהנים הא למדת שאפילו כהן אחד רואה את הנגעים ההוא סמיא דהוה בשבבותיה דרבי יוחנן דהוה קדיין דינא ולא קאמר ליה ולא מידי היכי עביד הכי והאמר רבי יוחנן הלכה כסתם משנה ותנן כל הכשר לדון כשר להעיד ויש כשר להעיד ואין כשר לדון ואמרינן לאתויי מאי ואמר רבי יוחנן לאתויי סומא באחת מעיניו רבי יוחנן סתמא אחרינא אשכח דתנן דיני ממונות דנין ביום וגומרין בלילה ומאי אולמיה דהאי סתמא מהאי סתמא איבעית אימא סתמא דרבים עדיף ואיבעית אימא משום דקתני לה גבי הלכתא דדיני:
+
+דף נ,א משנה  כל שחייב במעשרות מטמא טומאת אוכלין ויש שמטמא טומאת אוכלין ואינו חייב במעשרות:
+
+דף נ,א גמרא  לאתויי מאי לאתויי בשר ודגים וביצים:
+
+דף נ,א משנה  כל שחייב בפאה חייב במעשרות ויש שחייב במעשרות ואינו חייב בפאה:
+
+דף נ,א גמרא  לאתויי מאי לאתויי תאנה וירק שאינו חייב בפאה דתנן כלל אמרו בפאה כל שהוא אוכל ונשמר וגידולו מן הארץ ולקיטתו כאחד ומכניסו לקיום חייב בפאה אוכל למעוטי ספיחי סטים וקוצה ונשמר למעוטי הפקר וגידולו מן הארץ למעוטי כמהים ופטריות ולקיטתו כאחד למעוטי תאנה ומכניסו לקיום למעוטי ירק ואילו גבי מעשר תנן כל שהוא אוכל ונשמר וגידולו מן הארץ חייב במעשרות ואילו לקיטתו כאחד ומכניסו לקיום לא קתני אם היו בהם שומים ובצלין חייבין דתנן מלבנות בצלים שבין הירק ר' יוסי אומר פאה מכל אחת ואחת וחכ"א מאחת על הכל אמר רבה בר בר חנה א"ר יוחנן עולשין שזרען מתחילה לבהמה ונמלך עליהן לאדם
+"""
+
+# Divide the passage into sentences
+divided_sentences = divide_into_sentences(example_passage)
+
+# Write the divided sentences to a new text file
+output_filename = "divided_sentences.txt"
+write_sentences_to_file(divided_sentences, output_filename)
+
+print(f"Divided sentences written to '{output_filename}'")

data_creation/craet_model_bible_talmud.py

@@ -0,0 +1,49 @@
+import pandas as pd
+import re
+import nltk
+from nltk.tokenize import word_tokenize
+from sklearn.feature_extraction.text import TfidfVectorizer
+from sklearn.svm import SVC
+from sklearn.model_selection import train_test_split
+from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score
+import joblib
+
+# Load the dataset (assuming it is in UTF-8 encoding)
+data = pd.read_csv('bible_talmud_data.csv', encoding='utf-8')
+
+# Separate features (text) and labels (0, 1, or 2)
+X = data['text']
+y = data['label']
+
+# Create a TF-IDF vectorizer with Hebrew tokenizer
+vectorizer = TfidfVectorizer(tokenizer=word_tokenize, lowercase=True)
+
+# Fit and transform the data with TF-IDF vectorizer
+X_tfidf = vectorizer.fit_transform(X)
+
+# Split data into training and test sets
+X_train, X_test, y_train, y_test = train_test_split(X_tfidf, y, test_size=0.2, random_state=15)
+
+# Create a Support Vector Machine (SVM) classifier
+classifier = SVC(kernel='linear', C=2.0, probability=True)
+
+# Train the SVM classifier on the training data
+classifier.fit(X_train, y_train)
+
+# Evaluate the model on the test data
+y_pred = classifier.predict(X_test)
+accuracy = accuracy_score(y_test, y_pred)
+precision = precision_score(y_test, y_pred, average='weighted', zero_division=1)
+recall = recall_score(y_test, y_pred, average='weighted')
+f1 = f1_score(y_test, y_pred, average='weighted')
+
+print("Accuracy:", accuracy)
+print("Precision:", precision)
+print("Recall:", recall)
+print("F1 Score:", f1)
+
+# Save the trained model and vectorizer to files
+model_filename = "text_identification_model.pkl"
+vectorizer_filename = "text_identification_vectorizer.pkl"
+joblib.dump(classifier, model_filename)
+joblib.dump(vectorizer, vectorizer_filename)

data_creation/creat_csv.py

@@ -0,0 +1,168 @@
+import csv
+
+def process_text(input_text):
+    lines = input_text.strip().split('\n')
+    processed_lines = []
+    for line in lines:
+        line = line.strip()
+        if line:
+            if not line.endswith('1'):
+                line += ',1'
+            processed_lines.append(line)
+    return processed_lines
+
+def save_to_csv(processed_lines, output_file):
+    with open(output_file, mode='w', newline='', encoding='utf-8') as csvfile:
+        csv_writer = csv.writer(csvfile)
+        for line in processed_lines:
+            csv_writer.writerow([line])
+
+if __name__ == "__main__":
+    input_text = """
+ויען אליפז התימני ויאמר
+
+הנסה דבר אליך תלאה ועצר במלין מי יוכל
+
+הנה יסרת רבים וידים רפות תחזק
+
+כושל יקימון מליך וברכים כרעות תאמץ
+
+כי עתה תבוא אליך ותלא תגע עדיך ותבהל
+
+הלא יראתך כסלתך תקותך ותם דרכיך
+
+זכר נא מי הוא נקי אבד ואיפה ישרים נכחדו
+
+כאשר ראיתי חרשי און וזרעי עמל יקצרהו
+
+מנשמת אלוה יאבדו ומרוח אפו יכלו
+
+שאגת אריה וקול שחל ושני כפירים נתעו
+
+ליש אבד מבלי טרף ובני לביא יתפרדו
+
+ואלי דבר יגנב ותקח אזני שמץ מנהו
+
+בשעפים מחזינות לילה בנפל תרדמה על אנשים
+
+פחד קראני ורעדה ורב עצמותי הפחיד
+
+ורוח על פני יחלף תסמר שערת בשרי
+
+יעמד ולא אכיר מראהו תמונה לנגד עיני דממה וקול אשמע
+
+האנוש מאלוה יצדק אם מעשהו יטהר גבר
+
+הן בעבדיו לא יאמין ובמלאכיו ישים תהלה
+
+אף שכני בתי חמר אשר בעפר יסודם ידכאום לפני עש
+
+מבקר לערב יכתו מבלי משים לנצח יאבדו
+
+הלא נסע יתרם בם ימותו ולא בחכמה
+
+קרא נא היש עונך ואל מי מקדשים תפנה
+
+כי לאויל יהרג כעש ופתה תמית קנאה
+
+אני ראיתי אויל משריש ואקוב נוהו פתאם
+
+ירחקו בניו מישע וידכאו בשער ואין מציל
+
+אשר קצירו רעב יאכל ואל מצנים יקחהו ושאף צמים חילם
+
+כי לא יצא מעפר און ומאדמה לא יצמח עמל
+
+כי אדם לעמל יולד ובני רשף יגביהו עוף
+
+אולם אני אדרש אל אל ואל אלהים אשים דברתי
+
+עשה גדלות ואין חקר נפלאות עד אין מספר
+
+הנתן מטר על פני ארץ ושלח מים על פני חוצות
+
+לשום שפלים למרום וקדרים שגבו ישע
+
+מפר מחשבות ערומים ולא תעשינה ידיהם תושיה
+
+לכד חכמים בערמם ועצת נפתלים נמהרה
+
+יומם יפגשו חשך וכלילה ימששו בצהרים
+
+וישע מחרב מפיהם ומיד חזק אביון
+
+ותהי לדל תקוה ועלתה קפצה פיה
+
+אם על המלך טוב יכתב לאבדם ועשרת אלפים ככר כסף אשקול על ידי עשי המלאכה להביא אל גנזי המלך
+
+ויסר המלך את טבעתו מעל ידו ויתנה להמן בן המדתא האגגי צרר היהודים
+
+ויאמר המלך להמן הכסף נתון לך והעם לעשות בו כטוב בעיניך
+
+ויקראו ספרי המלך בחדש הראשון בשלושה עשר יום בו ויכתב ככל אשר צוה המן אל אחשדרפני המלך ואל הפחות אשר על מדינה ומדינה ואל שרי עם ועם מדינה ומדינה ככתבה ועם ועם כלשונו בשם המלך אחשורש נכתב ונחתם בטבעת המלך
+
+ונשלוח ספרים ביד הרצים אל כל מדינות המלך להשמיד להרג ולאבד את כל היהודים מנער ועד זקן טף ונשים ביום אחד בשלושה עשר לחדש שנים עשר הוא חדש אדר ושללם לבוז
+
+פתשגן הכתב להנתן דת בכל מדינה ומדינה גלוי לכל העמים להיות עתדים ליום הזה
+
+הרצים יצאו דחופים בדבר המלך והדת נתנה בשושן הבירה והמלך והמן ישבו לשתות והעיר שושן נבוכה
+
+
+ומרדכי ידע את כל אשר נעשה ויקרע מרדכי את בגדיו וילבש שק ואפר ויצא בתוך העיר ויזעק זעקה גדלה ומרה
+
+ויבוא עד לפני שער המלך כי אין לבוא אל שער המלך בלבוש שק
+
+ובכל מדינה ומדינה מקום אשר דבר המלך ודתו מגיע אבל גדול ליהודים וצום ובכי ומספד שק ואפר יצע לרבים
+
+ותבואינה [ותבואנה] נערות אסתר וסריסיה ויגידו לה ותתחלחל המלכה מאד ותשלח בגדים להלביש ��ת מרדכי ולהסיר שקו מעליו ולא קבל
+
+ותקרא אסתר להתך מסריסי המלך אשר העמיד לפניה ותצוהו על מרדכי לדעת מה זה ועל מה זה
+
+ויצא התך אל מרדכי אל רחוב העיר אשר לפני שער המלך
+
+ויגד לו מרדכי את כל אשר קרהו ואת פרשת הכסף אשר אמר המן לשקול על גנזי המלך ביהודיים [ביהודים] לאבדם
+
+ואת פתשגן כתב הדת אשר נתן בשושן להשמידם נתן לו להראות את אסתר ולהגיד לה ולצוות עליה לבוא אל המלך להתחנן לו ולבקש מלפניו על עמה
+
+ויבוא התך ויגד לאסתר את דברי מרדכי
+
+ותאמר אסתר להתך ותצוהו אל מרדכי
+
+כל עבדי המלך ועם מדינות המלך יודעים אשר כל איש ואשה אשר יבוא אל המלך אל החצר הפנימית אשר לא יקרא אחת דתו להמית לבד מאשר יושיט לו המלך את שרביט הזהב וחיה ואני לא נקראתי לבוא אל המלך זה שלושים יום
+
+ויגידו למרדכי את דברי אסתר
+
+ויאמר מרדכי להשיב אל אסתר אל תדמי בנפשך להמלט בית המלך מכל היהודים
+
+כי אם החרש תחרישי בעת הזאת רוח והצלה יעמוד ליהודים ממקום אחר ואת ובית אביך תאבדו ומי יודע אם לעת כזאת הגעת למלכות
+
+ותאמר אסתר להשיב אל מרדכי
+כמגדל דויד צוארך בנוי לתלפיות אלף המגן תלוי עליו כל שלטי הגבורים
+
+שני שדיך כשני עפרים תאומי צביה הרועים בשושנים
+
+עד שיפוח היום ונסו הצללים אלך לי אל הר המור ואל גבעת הלבונה
+
+כלך יפה רעיתי ומום אין בך  אתי מלבנון כלה אתי מלבנון תבואי תשורי מראש אמנה מראש שניר וחרמון ממענות אריות מהררי נמרים
+
+לבבתני אחתי כלה לבבתיני באחד [באחת] מעיניך באחד ענק מצורניך
+
+מה יפו דדיך אחתי כלה מה טבו דדיך מיין וריח שמניך מכל בשמים
+
+נפת תטפנה שפתותיך כלה דבש וחלב תחת לשונך וריח שלמתיך כריח לבנון  גן נעול אחתי כלה גל נעול מעין חתום
+
+שלחיך פרדס רמונים עם פרי מגדים כפרים עם נרדים
+
+נרד וכרכם קנה וקנמון עם כל עצי לבונה מר ואהלות עם כל ראשי בשמים
+
+מעין גנים באר מים חיים ונזלים מן לבנון
+
+עורי צפון ובואי תימן הפיחי גני יזלו בשמיו יבא דודי לגנו ויאכל פרי מגדיו
+
+באתי לגני אחתי כלה אריתי מורי עם בשמי אכלתי יערי עם דבשי שתיתי ייני עם חלבי אכלו רעים שתו ושכרו דודים
+    """
+
+    processed_text = process_text(input_text)
+
+    output_file = 'processed_text.csv'
+    save_to_csv(processed_text, output_file)

data_creation/creat_model_bible.py

@@ -0,0 +1,70 @@
+import pandas as pd
+import re
+import nltk
+from nltk.tokenize import word_tokenize
+from sklearn.feature_extraction.text import TfidfVectorizer
+from sklearn.svm import SVC
+from sklearn.model_selection import train_test_split
+from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score
+import joblib
+
+
+"""
+# Download the Hebrew stopwords (if not already downloaded)
+nltk.download('stopwords')
+
+# Function to remove punctuation and special characters from text
+def remove_punctuation(text):
+    return re.sub(r'[^\w\s]', '', text)
+
+# Function to remove custom stop words from text
+def remove_custom_stopwords(text):
+    hebrew_stopwords = {'אני', 'אתה', 'את', 'אנחנו', 'אתם', 'אתן', 'הם', 'הן'}  # Add your custom Hebrew stopwords here
+    return ' '.join(word for word in text.split() if word not in hebrew_stopwords)
+
+# Remove punctuation and custom stop words from the text data
+data['text'] = data['text'].apply(remove_punctuation)
+data['text'] = data['text'].apply(remove_custom_stopwords)
+"""
+
+# Load the dataset (assuming it is in UTF-8 encoding)
+data = pd.read_csv('bible_data.csv', encoding='utf-8')
+
+
+
+# Separate features (text) and labels (0 or 1)
+X = data['text']
+y = data['label']
+
+# Create a TF-IDF vectorizer with Hebrew tokenizer
+vectorizer = TfidfVectorizer(tokenizer=word_tokenize, lowercase=True)
+
+# Fit and transform the data with TF-IDF vectorizer
+X_tfidf = vectorizer.fit_transform(X)
+
+# Split data into training and test sets
+X_train, X_test, y_train, y_test = train_test_split(X_tfidf, y, test_size=0.2, random_state=47)
+
+# Create a Support Vector Machine (SVM) classifier
+classifier = SVC(kernel='linear', C=0.5, probability=True)
+
+# Train the SVM classifier on the training data
+classifier.fit(X_train, y_train)
+
+# Evaluate the model on the test data
+y_pred = classifier.predict(X_test)
+accuracy = accuracy_score(y_test, y_pred)
+precision = precision_score(y_test, y_pred)
+recall = recall_score(y_test, y_pred)
+f1 = f1_score(y_test, y_pred)
+
+print("Accuracy:", accuracy)
+print("Precision:", precision)
+print("Recall:", recall)
+print("F1 Score:", f1)
+
+# Save the trained model and vectorizer to files
+model_filename = "is_this_bible_model.pkl"
+vectorizer_filename = "is_this_bible_vectorizer.pkl"
+joblib.dump(classifier, model_filename)
+joblib.dump(vectorizer, vectorizer_filename)

data_creation/divided_sentences.txt

@@ -0,0 +1,107 @@
+אע"פ שאי אפשר והלא בא בא לר' מאיר אע"פ שאי אפשר לרבנן,2
+ולתני בא העליון ר"מ אומר לא חולצת ולא מתיבמת וחכ"א או חולצת,2
+או מתיבמת ואנא ידענא משום דאי אפשר הוא אי לא תנא אע"פ,2
+שאי אפשר הוה אמינא רוב נשים תחתון אתי ברישא ומיעוט עליון אתי,2
+ברישא ורבי מאיר לטעמיה דחייש למיעוטא ורבנן לטעמייהו דלא חיישי למיעוטא והני,2
+מילי בסתמא אבל היכא דבדקן ולא אשכחן אימר מודו ליה רבנן לר"מ,2
+דעליון קדים קמ"ל דאי אפשר ודאי אתי ומנתר הוא דנתר בשלמא לר"מ,2
+היינו דכתיב (יחזקאל טז) שדים נכונו ושערך צמח אלא לרבנן איפכא מבעי,2
+ליה ה"ק כיון ששדים נכונו בידוע ששערך צמח בשלמא לר"מ היינו דכתיב,2
+(יחזקאל כג) בעשות ממצרים דדיך למען שדי נעוריך אלא לרבנן איפכא מבעי,2
+ליה ה"ק כיון שבאו דדיך בידוע שבאו נעוריך ואיבעית אימא מאי שדי,2
+כולה בדדי כתיב וה"ק הקב"ה לישראל איכרפו דדיך לא הדרת בך אישתדו,2
+דדיך נמי לא הדרת בך דכולי עלמא מיהא אתחתון סמכינן מנלן אמר,2
+רב יהודה אמר רב וכן תנא דבי ר' ישמעאל אמר קרא (במדבר,2
+ה) איש או אשה כי יעשו מכל חטאות האדם השוה הכתוב אשה,2
+לאיש לכל עונשין שבתורה מה איש בסימן אחד אף אשה בסימן אחד,2
+ואימא או האי או האי כאיש מה איש תחתון ולא עליון אף,2
+אשה תחתון ולא עליון תניא נמי הכי א"ר אליעזר בר' צדוק כך,2
+היו מפרשין ביבנה ואמרו כיון שבא תחתון שוב אין משגיחין על עליון,2
+תניא רשב"ג אומר בנות כרכים תחתון ממהר לבא מפני שרגילות במרחצאות בנות,2
+כפרים עליון ממהר לבא מפני שטוחנות ברחים ר"ש בן אלעזר אומר בנות,2
+עשירים צד ימין ממהר לבא שנישוף באפקריסותן בנות עניים צד שמאל ממהר,2
+לבא מפני ששואבות כדי מים עליהן ואיבעית אימא מפני שנושאין אחיהן על,2
+גססיהן ת"ר צד שמאל קודם לצד ימין רבי חנינא בן אחי ר',2
+יהושע אומר מעולם לא קדם צד שמאל לצד ימין חוץ מאחת שהיתה,2
+בשכונתי שקדם צד שמאל לצד ימין וחזר לאיתנו ת"ר כל הנבדקות נבדקות,2
+על פי נשים וכן היה רבי אליעזר מוסר לאשתו ורבי ישמעאל מוסר,2
+לאמו רבי יהודה אומר לפני הפרק ולאחר הפרק נשים בודקות אותן תוך,2
+הפרק אין נשים בודקות אותן שאין משיאין ספקות על פי נשים ר"ש,2
+אומר אף תוך הפרק נשים בודקות אותן ונאמנת אשה להחמיר אבל לא,2
+להקל כיצד גדולה היא שלא תמאן קטנה היא שלא תחלוץ אבל אין,2
+נאמנת לומר קטנה היא שתמאן וגדולה היא שתחלוץ אמר מר רבי יהודה,2
+אומר לפני הפרק ולאחר הפרק נשים בודקות אותן בשלמא לפני הפרק בעי,2
+בדיקה דאי משתכחי לאחר הפרק שומא נינהו אלא לאחר הפרק למה לי,2
+בדיקה והאמר רבא קטנה שהגיעה לכלל שנותיה אינה צריכה בדיקה חזקה הביאה,2
+סימנין כי אמר רבא חזקה למיאון אבל לחליצה בעיא בדיקה תוך הפרק,2
+אין נשים בודקות אותן קסבר תוך הפרק כלאחר הפרק <דמי> ולאחר הפרק,2
+דאיכא חזקה דרבא סמכינן אנשים ובדקי תוך הפרק דליכא חזקה דרבא לא,2
+סמכינן אנשים ולא בדקי נשים ר"ש אומר אף תוך הפרק נשים בודקות,2
+אותן קסבר תוך הפרק כלפני הפרק ובעיא בדיקה דאי משתכחי לאחר הפרק,2
+שומא נינהו ונאמנת אשה להחמיר אבל לא להקל האי מאן קתני לה,2
+איבעית אימא רבי יהודה ואתוך הפרק ואיבעית אימא רבי שמעון ולאחר הפרק,2
+ולית ליה חזקה דרבא: מפני שאמרו אפשר כו': הא תו למה לי,2
+הא תנא ליה רישא וכי תימא משום דקא בעי למסתמה כרבנן פשיטא,2
+יחיד ורבים הלכה כרבים מהו דתימא מסתברא טעמא דר"מ דקא מסייע ליה,2
+קראי קמ"ל ואיבעית אימא משום דקא בעי למתני כיוצא בו: כיוצא בו,2
+כל כלי חרס שהוא מכניס מוציא ויש שמוציא ואינו מכניס כל אבר,2
+שיש בו צפורן יש בו עצם ויש שיש בו עצם ואין בו,2
+צפורן כל המטמא מדרס מטמא טמא מת ויש שמטמא טמא מת ואינו,2
+מטמא מדרס: מכניס פסול למי חטאת ופסול משום גסטרא מוציא כשר למי,2
+חטאת ופסול משום גסטרא אמר רב אסי שונין כלי חרס שיעורו בכונס,2
+משקה ולא אמרו מוציא משקה אלא לענין גסטרא בלבד מאי טעמא אמר,2
+מר זוטרא בריה דרב נחמן לפי שאין אומרים הבא גסטרא לגסטרא תנו,2
+רבנן כיצד בודקין כלי חרס לידע אם ניקב בכונס משקה אם לאו,2
+יביא עריבה מלאה מים ונותן קדרה לתוכה אם כנסה בידוע שכונס משקה,2
+ואם לאו בידוע שמוציא משקה רבי יהודה אומר כופף אזני קדרה לתוכה,2
+ומציף עליה מים ואם כונס בידוע שכונס משקה ואם לאו בידוע שמוציא,2
+משקה או שופתה על גבי האור אם האור מעמידה בידוע שמוציא משקה,2
+ואם לאו בידוע שמכניס משקה ר' יוסי אומר אף לא שופתה על,2
+גבי האור מפני שהאור מעמידה אלא שופתה על גבי הרמץ אם רמץ,2
+מעמידה בידוע שמוציא משקה ואם לאו בידוע שכונס משקה היה טורד טיפה,2
+אחר טיפה בידוע שכונס משקה מאי איכא בין ת"ק לר' יהודה אמר,2
+עולא כינוס על ידי הדחק איכא בינייהו: כל אבר שיש בו צפורן,2
+וכו': יש בו צפורן מטמא במגע ובמשא ובאהל יש בו עצם ואין,2
+בו צפורן מטמא במגע ובמשא ואינו מטמא באהל אמר רב חסדא דבר,2
+זה רבינו הגדול אמרו המקום יהיה בעזרו אצבע יתרה שיש בו עצם,2
+ואין בו צפורן מטמא במגע ובמשא ואינו מטמא באהל אמר רבה בר,2
+בר חנה א"ר יוחנן וכשאינה נספרת על גב היד: כל המטמא מדרס,2
+וכו': כל דחזי למדרס מטמא טמא מת ויש שמטמא טמא מת ואין,2
+מטמא מדרס לאתויי מאי לאתויי סאה ותרקב דתניא (ויקרא טו) והיושב על,2
+הכלי יכול כפה סאה וישב עליה או תרקב וישב עליו יהא טמא,2
+ת"ל (ויקרא טו) אשר ישב עליו הזב מי שמיוחד לישיבה יצא זה,2
+שאומרים לו עמוד ונעשה מלאכתנו: כל הראוי לדון דיני נפשות ראוי לדון,2
+דיני ממונות ויש שראוי לדון דיני ממונות ואינו ראוי לדון דיני נפשות:,2
+אמר רב יהודה לאתויי ממזר תנינא חדא זימנא הכל כשרין לדון דיני,2
+ממונות ואין הכל כשרין לדון דיני נפשות והוינן בה לאתויי מאי ואמר,2
+רב יהודה לאתויי ממזר חדא לאתויי גר וחדא לאתויי ממזר וצריכי דאי,2
+אשמעינן גר משום דראוי לבא בקהל אבל ממזר דאין ראוי לבא בקהל,2
+אימא לא ואי אשמעינן ממזר משום דקאתי מטפה כשרה אבל גר דקאתי,2
+מטפה פסולה אימא לא צריכא: כל הכשר לדון כשר להעיד ויש שכשר,2
+להעיד ואינו כשר לדון: לאתויי מאי א"ר יוחנן לאתויי סומא באחת מעיניו,2
+ומני רבי מאיר היא דתניא היה רבי מאיר אומר מה ת"ל (דברים,2
+כא) על פיהם יהיה כל ריב וכל נגע וכי מה ענין ריבים,2
+אצל נגעים מקיש ריבים לנגעים מה נגעים ביום דכתיב (ויקרא יג) וביום,2
+הראות בו אף ריבים ביום ומה נגעים שלא בסומא דכתיב (ויקרא יג),2
+לכל מראה עיני הכהן אף ריבים שלא בסומא ומקיש נגעים לריבים מה,2
+ריבים שלא בקרובים אף נגעים שלא בקרובים אי מה ריבים בשלשה אף,2
+נגעים בשלשה ודין הוא ממונו בשלשה גופו לא כ"ש ת"ל (ויקרא יג),2
+והובא אל אהרן הכהן או אל אחד מבניו הכהנים הא למדת שאפילו,2
+כהן אחד רואה את הנגעים ההוא סמיא דהוה בשבבותיה דרבי יוחנן דהוה,2
+קדיין דינא ולא קאמר ליה ולא מידי היכי עביד הכי והאמר רבי,2
+יוחנן הלכה כסתם משנה ותנן כל הכשר לדון כשר להעיד ויש כשר,2
+להעיד ואין כשר לדון ואמרינן לאתויי מאי ואמר רבי יוחנן לאתויי סומא,2
+באחת מעיניו רבי יוחנן סתמא אחרינא אשכח דתנן דיני ממונות דנין ביום,2
+וגומרין בלילה ומאי אולמיה דהאי סתמא מהאי סתמא איבעית אימא סתמא דרבים,2
+עדיף ואיבעית אימא משום דקתני לה גבי הלכתא דדיני: כל שחייב במעשרות,2
+מטמא טומאת אוכלין ויש שמטמא טומאת אוכלין ואינו חייב במעשרות: לאתויי מאי,2
+לאתויי בשר ודגים וביצים: כל שחייב בפאה חייב במעשרות ויש שחייב במעשרות,2
+ואינו חייב בפאה: לאתויי מאי לאתויי תאנה וירק שאינו חייב בפאה דתנן,2
+כלל אמרו בפאה כל שהוא אוכל ונשמר וגידולו מן הארץ ולקיטתו כאחד,2
+ומכניסו לקיום חייב בפאה אוכל למעוטי ספיחי סטים וקוצה ונשמר למעוטי הפקר,2
+וגידולו מן הארץ למעוטי כמהים ופטריות ולקיטתו כאחד למעוטי תאנה ומכניסו לקיום,2
+למעוטי ירק ואילו גבי מעשר תנן כל שהוא אוכל ונשמר וגידולו מן,2
+הארץ חייב במעשרות ואילו לקיטתו כאחד ומכניסו לקיום לא קתני אם היו,2
+בהם שומים ובצלין חייבין דתנן מלבנות בצלים שבין הירק ר' יוסי אומר,2
+פאה מכל אחת ואחת וחכ"א מאחת על הכל אמר רבה בר בר,2
+חנה א"ר יוחנן עולשין שזרען מתחילה לבהמה ונמלך עליהן לאדם,2

data_creation/graf_model.py

@@ -0,0 +1,62 @@
+import joblib
+import numpy as np
+import matplotlib.pyplot as plt
+from sklearn.svm import SVC
+
+# Load the trained model and vectorizer
+model_filename = "text_identification_model.pkl"
+vectorizer_filename = "text_identification_vectorizer.pkl"
+loaded_classifier = joblib.load(model_filename)
+vectorizer = joblib.load(vectorizer_filename)
+
+# Create a sample text
+sample_text = "קיץ בריא ונעים חברים!"
+
+# Transform the sample text using the vectorizer
+sample_text_tfidf = vectorizer.transform([sample_text])
+
+# Make predictions using the loaded model
+predicted_class = loaded_classifier.predict(sample_text_tfidf)
+
+# Visualize the decision boundaries (example with a simple 2D dataset)
+# Modify this part according to your data and model
+# For complex data, consider using libraries like plotly
+# to create more informative visualizations
+
+# Generate data for visualization
+X_visual = np.random.rand(300, 2) * 10
+y_visual = np.random.randint(0, 3, size=300)
+
+# Train an SVM on the generated data
+svm_classifier = SVC(kernel='linear', C=1.0)
+svm_classifier.fit(X_visual, y_visual)
+
+# Plot the data points
+plt.scatter(X_visual[:, 0], X_visual[:, 1], c=y_visual, cmap=plt.cm.Paired)
+
+# Plot the decision boundaries
+ax = plt.gca()
+xlim = ax.get_xlim()
+ylim = ax.get_ylim()
+
+xx, yy = np.meshgrid(np.linspace(xlim[0], xlim[1], 50),
+                     np.linspace(ylim[0], ylim[1], 50))
+
+Z = svm_classifier.predict(np.c_[xx.ravel(), yy.ravel()])
+Z = Z.reshape(xx.shape)
+
+plt.contourf(xx, yy, Z, cmap=plt.cm.Paired, alpha=0.8)
+
+# Highlight the support vectors
+plt.scatter(svm_classifier.support_vectors_[:, 0],
+            svm_classifier.support_vectors_[:, 1],
+            s=100, facecolors='none', edgecolors='k')
+
+# Plot the predicted sample point
+plt.scatter(sample_text_tfidf[0, 0], sample_text_tfidf[0, 1], marker='x', color='red', label=f'Predicted Class: {predicted_class[0]}')
+
+plt.title('Support Vector Machine Visualization')
+plt.xlabel('Feature 1')
+plt.ylabel('Feature 2')
+plt.legend()
+plt.show()

data_creation/processed_text.csv

@@ -0,0 +1,71 @@
+"ויען אליפז התימני ויאמר,1"
+"הנסה דבר אליך תלאה ועצר במלין מי יוכל,1"
+"הנה יסרת רבים וידים רפות תחזק,1"
+"כושל יקימון מליך וברכים כרעות תאמץ,1"
+"כי עתה תבוא אליך ותלא תגע עדיך ותבהל,1"
+"הלא יראתך כסלתך תקותך ותם דרכיך,1"
+"זכר נא מי הוא נקי אבד ואיפה ישרים נכחדו,1"
+"כאשר ראיתי חרשי און וזרעי עמל יקצרהו,1"
+"מנשמת אלוה יאבדו ומרוח אפו יכלו,1"
+"שאגת אריה וקול שחל ושני כפירים נתעו,1"
+"ליש אבד מבלי טרף ובני לביא יתפרדו,1"
+"ואלי דבר יגנב ותקח אזני שמץ מנהו,1"
+"בשעפים מחזינות לילה בנפל תרדמה על אנשים,1"
+"פחד קראני ורעדה ורב עצמותי הפחיד,1"
+"ורוח על פני יחלף תסמר שערת בשרי,1"
+"יעמד ולא אכיר מראהו תמונה לנגד עיני דממה וקול אשמע,1"
+"האנוש מאלוה יצדק אם מעשהו יטהר גבר,1"
+"הן בעבדיו לא יאמין ובמלאכיו ישים תהלה,1"
+"אף שכני בתי חמר אשר בעפר יסודם ידכאום לפני עש,1"
+"מבקר לערב יכתו מבלי משים לנצח יאבדו,1"
+"הלא נסע יתרם בם ימותו ולא בחכמה,1"
+"קרא נא היש עונך ואל מי מקדשים תפנה,1"
+"כי לאויל יהרג כעש ופתה תמית קנאה,1"
+"אני ראיתי אויל משריש ואקוב נוהו פתאם,1"
+"ירחקו בניו מישע וידכאו בשער ואין מציל,1"
+"אשר קצירו רעב יאכל ואל מצנים יקחהו ושאף צמים חילם,1"
+"כי לא יצא מעפר און ומאדמה לא יצמח עמל,1"
+"כי אדם לעמל יולד ובני רשף יגביהו עוף,1"
+"אולם אני אדרש אל אל ואל אלהים אשים דברתי,1"
+"עשה גדלות ואין חקר נפלאות עד אין מספר,1"
+"הנתן מטר על פני ארץ ושלח מים על פני חוצות,1"
+"לשום שפלים למרום וקדרים שגבו ישע,1"
+"מפר מחשבות ערומים ולא תעשינה ידיהם תושיה,1"
+"לכד חכמים בערמם ועצת נפתלים נמהרה,1"
+"יומם יפגשו חשך וכלילה ימששו בצהרים,1"
+"וישע מחרב מפיהם ומיד חזק אביון,1"
+"ותהי לדל תקוה ועלתה קפצה פיה,1"
+"אם על המלך טוב יכתב לאבדם ועשרת אלפים ככר כסף אשקול על ידי עשי המלאכה להביא אל גנזי המלך,1"
+"ויסר המלך את טבעתו מעל ידו ויתנה להמן בן המדתא האגגי צרר היהודים,1"
+"ויאמר המלך להמן הכסף נתון לך והעם לעשות בו כטוב בעיניך,1"
+"ויקראו ספרי המלך בחדש הראשון בשלושה עשר יום בו ויכתב ככל אשר צוה המן אל אחשדרפני המלך ואל הפחות אשר על מדינה ומדינה ואל שרי עם ועם מדינה ומדינה ככתבה ועם ועם כלשונו בשם המלך אחשורש נכתב ונחתם בטבעת המלך,1"
+"ונשלוח ספרים ביד הרצים אל כל מדינות המלך להשמיד להרג ולאבד את כל היהודים מנער ועד זקן טף ונשים ביום אחד בשלושה עשר לחדש שנים עשר הוא חדש אדר ושללם לבוז,1"
+"פתשגן הכתב להנתן דת בכל מדינה ומדינה גלוי לכל העמים להיות עתדים ליום הזה,1"
+"הרצים יצאו דחופים בדבר המלך והדת נתנה בשושן הבירה והמלך והמן ישבו לשתות והעיר שושן נבוכה,1"
+"ומרדכי ידע את כל אשר נעשה ויקרע מרדכי את בגדיו וילבש שק ואפר ויצא בתוך העיר ויזעק זעקה גדלה ומרה,1"
+"ויבוא עד לפני שער המלך כי אין לבוא אל שער המלך בלבוש שק,1"
+"ובכל מדינה ומדינה מקום אשר דבר המלך ודתו מגיע אבל גדול ליהודים וצום ובכי ומספד שק ואפר יצע לרבים,1"
+"ותבואינה [ותבואנה] נערות אסתר וסריסיה ויגידו לה ותתחלחל המלכה מאד ותשלח בגדים להלביש את מרדכי ולהסיר שקו מעליו ולא קבל,1"
+"ותקרא אסתר להתך מסריסי המלך אשר העמיד לפניה ותצוהו על מרדכי לדעת מה זה ועל מה זה,1"
+"ויצא התך אל מרדכי אל רחוב העיר אשר לפני שער המלך,1"
+"ויגד לו מרדכי את כל אשר קרהו ואת פרשת הכסף אשר אמר המן לשקול על גנזי המלך ביהודיים [ביהודים] לאבדם,1"
+"ואת פתשגן כתב הדת אשר נתן ב��ושן להשמידם נתן לו להראות את אסתר ולהגיד לה ולצוות עליה לבוא אל המלך להתחנן לו ולבקש מלפניו על עמה,1"
+"ויבוא התך ויגד לאסתר את דברי מרדכי,1"
+"ותאמר אסתר להתך ותצוהו אל מרדכי,1"
+"כל עבדי המלך ועם מדינות המלך יודעים אשר כל איש ואשה אשר יבוא אל המלך אל החצר הפנימית אשר לא יקרא אחת דתו להמית לבד מאשר יושיט לו המלך את שרביט הזהב וחיה ואני לא נקראתי לבוא אל המלך זה שלושים יום,1"
+"ויגידו למרדכי את דברי אסתר,1"
+"ויאמר מרדכי להשיב אל אסתר אל תדמי בנפשך להמלט בית המלך מכל היהודים,1"
+"כי אם החרש תחרישי בעת הזאת רוח והצלה יעמוד ליהודים ממקום אחר ואת ובית אביך תאבדו ומי יודע אם לעת כזאת הגעת למלכות,1"
+"ותאמר אסתר להשיב אל מרדכי,1"
+"כמגדל דויד צוארך בנוי לתלפיות אלף המגן תלוי עליו כל שלטי הגבורים,1"
+"שני שדיך כשני עפרים תאומי צביה הרועים בשושנים,1"
+"עד שיפוח היום ונסו הצללים אלך לי אל הר המור ואל גבעת הלבונה,1"
+"כלך יפה רעיתי ומום אין בך  אתי מלבנון כלה אתי מלבנון תבואי תשורי מראש אמנה מראש שניר וחרמון ממענות אריות מהררי נמרים,1"
+"לבבתני אחתי כלה לבבתיני באחד [באחת] מעיניך באחד ענק מצורניך,1"
+"מה יפו דדיך אחתי כלה מה טבו דדיך מיין וריח שמניך מכל בשמים,1"
+"נפת תטפנה שפתותיך כלה דבש וחלב תחת לשונך וריח שלמתיך כריח לבנון  גן נעול אחתי כלה גל נעול מעין חתום,1"
+"שלחיך פרדס רמונים עם פרי מגדים כפרים עם נרדים,1"
+"נרד וכרכם קנה וקנמון עם כל עצי לבונה מר ואהלות עם כל ראשי בשמים,1"
+"מעין גנים באר מים חיים ונזלים מן לבנון,1"
+"עורי צפון ובואי תימן הפיחי גני יזלו בשמיו יבא דודי לגנו ויאכל פרי מגדיו,1"
+"באתי לגני אחתי כלה אריתי מורי עם בשמי אכלתי יערי עם דבשי שתיתי ייני עם חלבי אכלו רעים שתו ושכרו דודים,1"

data_creation/text_identification_model.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d34b21921901b9ca8fb1ed6ad2896e731a2bfb0d83a0202f874e2244bd0aa44c
+size 180099

data_creation/text_identification_vectorizer.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ef67b7027f2a506145ea801c6daeb177c535b97b2cbfefabafeb033e84487366
+size 241793

data_creation/try_model.py

@@ -0,0 +1,49 @@
+from sys import argv
+import nltk
+from nltk.tokenize import word_tokenize
+from sklearn.feature_extraction.text import TfidfVectorizer
+import joblib
+
+# Load the trained model from the file
+loaded_classifier = joblib.load("text_identification_model.pkl")
+
+# Load the TF-IDF vectorizer used for training
+vectorizer = joblib.load("text_identification_vectorizer.pkl")
+
+# Define labels for your categories
+categories = {0: 'Other', 1: 'Bible', 2: 'Talmud'}
+
+def parse_text(new_text):
+    # Transform the new text using the TF-IDF vectorizer
+    new_text_tfidf = vectorizer.transform([new_text])
+
+    # Make predictions on the new text
+    prediction = loaded_classifier.predict(new_text_tfidf)
+
+    # Get the confidence score for the predicted class
+    probabilities = loaded_classifier.predict_proba(new_text_tfidf)
+    confidence_score = probabilities[0, 1]  # Confidence score for class "Bible" (index 1)
+
+    # Determine the predicted category label
+    predicted_category = categories[prediction[0]]
+
+    # Print the prediction and the confidence score
+    print(f"Text: {new_text} | Prediction: {predicted_category} | Confidence Score: {confidence_score:.4f}")
+
+
+text_list = [
+'כמה יפה ונאה כששומעים השירה שלהם',
+'חדשות הערב: שלושה אנשים נצםו טובעים בכינרת',
+'והיה בעת ההיא אחפש את ירושלים בנרות והודעתיה את כל תועבותיה',
+'ויאמר משה אל בני ישראל',
+'דאמר נשיא מביא שעיר תו הא דתנן',
+'אמר ליה אביי לרב זעירא',
+'ואיהו לא קא יהיב שעורא במשכא',]
+
+
+if argv[1:]:
+    new_text = argv[1]
+    parse_text(new_text)
+else:
+    for new_text in text_list:
+        parse_text(new_text)

is_this_bible_model.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:fb51c50be730acff9cf5af92f2e322aee9572e2b4b9381c434559f2fa0a87da1
+size 115035

is_this_bible_vectorizer.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0d5a76c9d59793b194d9022b091115b85ecbef1f7feef33bd87b503aaabc93ea
+size 181677

templates/index.html

@@ -0,0 +1,93 @@
+<!DOCTYPE html>
+<html dir="rtl" lang="he">
+<head>
+    <meta charset="UTF-8">
+    <meta name="viewport" content="width=device-width, initial-scale=1.0">
+    <title>גילוי פסוקי התנ"ך באמצעות AI</title>
+    <style>
+        body {
+            font-family: 'Tahoma', sans-serif;
+            background-color: #f9f9f9;
+            color: #333;
+            margin: 0;
+            padding: 0;
+            display: flex;
+            align-items: center;
+            justify-content: center;
+            min-height: 100vh;
+            overflow: hidden;
+        }
+        .container {
+            width: 400px;
+            padding: 20px;
+            background-color: #fff;
+            border-radius: 15px;
+            text-align: center;
+            box-shadow: 0px 10px 25px rgba(0, 0, 0, 0.1);
+        }
+        .fixed-input {
+            width: 90%;
+            padding: 10px;
+            margin-bottom: 15px;
+            border: none;
+            border-radius: 8px;
+            background-color: #f2f2f2;
+            color: #333;
+            resize: none;
+        }
+        input[type="submit"] {
+            width: 90%;
+            padding: 10px;
+            border: none;
+            border-radius: 8px;
+            background-color: #5d8d77;
+            color: white;
+            cursor: pointer;
+            transition: background-color 0.3s ease-in-out;
+        }
+        input[type="submit"]:hover {
+            background-color: #507b66;
+        }
+        h1 {
+            color: #5d8d77;
+            margin-bottom: 5px;
+        }
+        h2 {
+            color: #777;
+            margin-top: 20px;
+        }
+        .result {
+            border-top: 1px solid #ddd;
+            padding-top: 20px;
+            margin-top: 20px;
+            transition: all 0.5s ease-in-out;
+        }
+    </style>
+    <script>
+        function revealResults() {
+            var result = document.querySelector('.result');
+            result.style.opacity = 1;
+            result.style.marginTop = '20px';
+        }
+    </script>
+</head>
+<body>
+    <div class="container">
+        <h1>גילוי פסוקי התנ"ך באמצעות AI</h1>
+        <p>הקלידו את הטקסט שתרצו, וגלו האם הוא אכן מופיע בתנ"ך באמצעות קסם הבינה המלאכותית</p>
+        <form method="POST" action="/" onsubmit="revealResults()">
+            <textarea class="fixed-input" name="new_text" rows="4" cols="50" placeholder="הקלידו את הטקסט כאן..."></textarea><br>
+            <input type="submit" value="הפעילו את הקסם">
+        </form>
+
+        <div class="result">
+            {% if prediction %}
+            <h2>הסודות התנ"כיים נחשפים</h2>
+            <p>הטקסט: {{ new_text }}</p>
+            <p>זוהה כ...: {{ prediction }}</p>
+            <p>ציון ודאות: {{ confidence_score }}</p>
+            {% endif %}
+        </div>
+    </div>
+</body>
+</html>

try_model.py

@@ -0,0 +1,74 @@
+from sys import argv
+#import re
+import nltk
+from nltk.corpus import stopwords
+import joblib
+
+
+"""
+# Remove punctuation and special characters
+def remove_punctuation(text):
+    return re.sub(r'[^\w\s]', '', text)
+
+# Function to remove custom stop words from text
+def remove_custom_stopwords(text):
+    hebrew_stopwords = set(stopwords.words('hebrew'))
+    additional_stopwords = {'אני', 'אתה', 'את', 'אנחנו', 'אתם', 'אתן', 'הם', 'הן'}
+    hebrew_stopwords.update(additional_stopwords)
+    return ' '.join(word for word in text.split() if word not in hebrew_stopwords)
+    
+    
+# Preprocess the new text (remove punctuation and custom stop words)
+# אם רוצים להחזיר את הפונקצייה הלא פעילה יש להעביר את המשתנה אחרי המשתנה new_text
+new_text_cleaned = remove_custom_stopwords(remove_punctuation(new_text))
+"""
+
+
+# Load the trained model from the file
+loaded_classifier = joblib.load("is_this_bible_model.pkl")
+
+# Load the TF-IDF vectorizer used for training
+vectorizer = joblib.load("is_this_bible_vectorizer.pkl")
+
+def parse_text(new_text):
+    # Transform the new text using the TF-IDF vectorizer
+    new_text_tfidf = vectorizer.transform([new_text])
+
+    # Make predictions on the new text
+    prediction = loaded_classifier.predict(new_text_tfidf)
+
+    # Get the confidence score for the predicted class
+    probabilities = loaded_classifier.predict_proba(new_text_tfidf)
+    confidence_score = probabilities[0, 1]  # The confidence score for class "Bible" (index 1)
+
+    # Print the prediction and the confidence score
+    print(f"Text: {new_text} | Prediction: {'Bible' if prediction[0] == 1 else 'Other'} | Confidence Score: {confidence_score:.4f}")
+
+
+text_list = [
+'אני יושב פה בשקט ומקלל את העובדה שחלק מהתוכנות שאני מתחזק קשורה לפייתון 2.4, שאין לה את זה',
+'כמה יפה ונאה כששומעים השירה שלהם',
+'והיה בעת ההיא אחפש את ירושלים בנרות והודעתיה את כל תועבותיה',
+'והיא שעמדה לאבותינו ולנו שלא אחד בלבד עמד עלינו לכלותינו',
+'אני הסתכלתי לשמים אתה צללת במים',
+'הצב הוא בעל חיים שחי בים וביבשה',
+'והיה הנשאר בציון והנותר בירושלים קדוש יאמר לו',
+'שיר השירים אשר לשלמה',
+'ישקני מנשיקות פיהו כי טובים דודיך מיין',
+'והיה רק מלא שמחה וחדוה תמיד כשהיה גומר המנעל ומן הסתם היה לו שלשה קצוות',
+'זה מעשה שלו וזה מעשה שלי ועוד מה לנו לדבר מאחרים',
+'דודי ירד לגנו לערוגות הבושם לרעות בגנים וללקוט שושנים',
+'וימרו בי בית ישראל במדבר בחקותי לא הלכו ואת משפטי מאסו אשר יעשה אתם האדם וחי בהם',
+'זה לא משנה אופניים נעליים העיקר זה בחיים',
+'זכור את יום השבת לקדשו',
+'וישלח יעקב מלאכים לפניו אל עשיו אחיו',
+'לך לך מארצך וממולדתך ומבית אביך',
+'עדכון :דור לדור תנ"ך ,מאורעות בזמן התנ"ך קרדיט']
+
+if argv[1:]:
+    new_text = argv[1]
+    parse_text(new_text)
+    
+else:
+    for new_text in text_list:
+        parse_text(new_text)

try_model_webui.py

@@ -0,0 +1,35 @@
+from flask import Flask, render_template, request
+import webbrowser
+import nltk
+from nltk.corpus import stopwords
+import joblib
+
+app = Flask(__name__)
+
+# Load the trained model and vectorizer outside the routes for better performance
+loaded_classifier = joblib.load("is_this_bible_model.pkl")
+vectorizer = joblib.load("is_this_bible_vectorizer.pkl")
+
+def parse_text(new_text):
+    new_text_tfidf = vectorizer.transform([new_text])
+    prediction = loaded_classifier.predict(new_text_tfidf)
+    probabilities = loaded_classifier.predict_proba(new_text_tfidf)
+    confidence_score = probabilities[0, 1]
+    return 'תנ"ך' if prediction[0] == 1 else 'אחר', confidence_score
+
+@app.route('/', methods=['GET', 'POST'])
+def index():
+    prediction = None
+    confidence_score = None
+    new_text = None
+
+    if request.method == 'POST':
+        new_text = request.form['new_text']
+        if new_text:
+            prediction, confidence_score = parse_text(new_text)
+    return render_template('index.html', new_text=new_text, prediction=prediction, confidence_score=confidence_score)
+
+
+if __name__ == '__main__':
+    webbrowser.open('http://127.0.0.1:5000/')
+    app.run(debug=True)