data_creation/collect_talmud_data.py

# -*- coding: utf-8 -*-
import re

def divide_into_sentences(text):
    text = remove_headers(text)
    # Split the text into words
    words = text.split()
    sentences = [' '.join(words[i:i+12]) for i in range(0, len(words), 12)]
    # Split the text into sentences using periods, commas, and colons as separators
    # Remove empty sentences
    sentences = [sentence.strip() for sentence in sentences if sentence.strip()]
    # add numver for all items
    sentences = [sentence.strip() for sentence in sentences if sentence.strip()]
    return sentences

def remove_headers(text):
    pattern = r"(דף )(.*?)( גמרא )"
    text = re.sub(pattern, "", text)
    pattern = r"(דף )(.*?)( משנה )"
    result = re.sub(pattern, "", text)    
    return result


def write_sentences_to_file(sentences, output_filename):
    modified_sentences = [f"{sentence},2" for sentence in sentences]
    with open(output_filename, 'a', encoding='utf-8') as f:
        f.write('\n'.join(modified_sentences))

# Example passage
example_passage = """
דף מח,א גמרא  אע"פ שאי אפשר והלא בא בא לר' מאיר אע"פ שאי אפשר לרבנן ולתני בא העליון ר"מ אומר לא חולצת ולא מתיבמת וחכ"א או חולצת או מתיבמת ואנא ידענא משום דאי אפשר הוא אי לא תנא אע"פ שאי אפשר הוה אמינא רוב נשים תחתון אתי ברישא ומיעוט עליון אתי ברישא ורבי מאיר לטעמיה דחייש למיעוטא ורבנן לטעמייהו דלא חיישי למיעוטא והני מילי בסתמא אבל היכא דבדקן ולא אשכחן אימר מודו ליה רבנן לר"מ דעליון קדים קמ"ל דאי אפשר ודאי אתי ומנתר הוא דנתר בשלמא לר"מ היינו דכתיב (יחזקאל טז) שדים נכונו ושערך צמח אלא לרבנן איפכא מבעי ליה ה"ק כיון ששדים נכונו בידוע ששערך צמח בשלמא לר"מ היינו דכתיב (יחזקאל כג) בעשות ממצרים דדיך למען שדי נעוריך אלא לרבנן איפכא מבעי ליה ה"ק כיון שבאו דדיך בידוע שבאו נעוריך ואיבעית אימא מאי שדי כולה בדדי כתיב וה"ק הקב"ה לישראל

דף מח,ב גמרא  איכרפו דדיך לא הדרת בך אישתדו דדיך נמי לא הדרת בך דכולי עלמא מיהא אתחתון סמכינן מנלן אמר רב יהודה אמר רב וכן תנא דבי ר' ישמעאל אמר קרא (במדבר ה) איש או אשה כי יעשו מכל חטאות האדם השוה הכתוב אשה לאיש לכל עונשין שבתורה מה איש בסימן אחד אף אשה בסימן אחד ואימא או האי או האי כאיש מה איש תחתון ולא עליון אף אשה תחתון ולא עליון תניא נמי הכי א"ר אליעזר בר' צדוק כך היו מפרשין ביבנה ואמרו כיון שבא תחתון שוב אין משגיחין על עליון תניא רשב"ג אומר בנות כרכים תחתון ממהר לבא מפני שרגילות במרחצאות בנות כפרים עליון ממהר לבא מפני שטוחנות ברחים ר"ש בן אלעזר אומר בנות עשירים צד ימין ממהר לבא שנישוף באפקריסותן בנות עניים צד שמאל ממהר לבא מפני ששואבות כדי מים עליהן ואיבעית אימא מפני שנושאין אחיהן על גססיהן ת"ר צד שמאל קודם לצד ימין רבי חנינא בן אחי ר' יהושע אומר מעולם לא קדם צד שמאל לצד ימין חוץ מאחת שהיתה בשכונתי שקדם צד שמאל לצד ימין וחזר לאיתנו ת"ר כל הנבדקות נבדקות על פי נשים וכן היה רבי אליעזר מוסר לאשתו ורבי ישמעאל מוסר לאמו רבי יהודה אומר לפני הפרק ולאחר הפרק נשים בודקות אותן תוך הפרק אין נשים בודקות אותן שאין משיאין ספקות על פי נשים ר"ש אומר אף תוך הפרק נשים בודקות אותן ונאמנת אשה להחמיר אבל לא להקל כיצד גדולה היא שלא תמאן קטנה היא שלא תחלוץ אבל אין נאמנת לומר קטנה היא שתמאן וגדולה היא שתחלוץ אמר מר רבי יהודה אומר לפני הפרק ולאחר הפרק נשים בודקות אותן בשלמא לפני הפרק בעי בדיקה דאי משתכחי לאחר הפרק שומא נינהו אלא לאחר הפרק למה לי בדיקה והאמר רבא קטנה שהגיעה לכלל שנותיה אינה צריכה בדיקה חזקה הביאה סימנין כי אמר רבא חזקה למיאון אבל לחליצה בעיא בדיקה תוך הפרק אין נשים בודקות אותן קסבר תוך הפרק כלאחר הפרק <דמי> ולאחר הפרק דאיכא חזקה דרבא סמכינן אנשים ובדקי תוך הפרק דליכא חזקה דרבא לא סמכינן אנשים ולא בדקי נשים ר"ש אומר אף תוך הפרק נשים בודקות אותן קסבר תוך הפרק כלפני הפרק ובעיא בדיקה דאי משתכחי לאחר הפרק שומא נינהו ונאמנת אשה להחמיר אבל לא להקל האי מאן קתני לה איבעית אימא רבי יהודה ואתוך הפרק

דף מט,א גמרא  ואיבעית אימא רבי שמעון ולאחר הפרק ולית ליה חזקה דרבא:  מפני שאמרו אפשר כו':  הא תו למה לי הא תנא ליה רישא וכי תימא משום דקא בעי למסתמה כרבנן פשיטא יחיד ורבים הלכה כרבים מהו דתימא מסתברא טעמא דר"מ דקא מסייע ליה קראי קמ"ל ואיבעית אימא משום דקא בעי למתני כיוצא בו:

דף מט,א משנה  כיוצא בו כל כלי חרס שהוא מכניס מוציא ויש שמוציא ואינו מכניס כל אבר שיש בו צפורן יש בו עצם ויש שיש בו עצם ואין בו צפורן כל המטמא מדרס מטמא טמא מת ויש שמטמא טמא מת ואינו מטמא מדרס:

דף מט,א גמרא  מכניס פסול למי חטאת ופסול משום גסטרא מוציא כשר למי חטאת ופסול משום גסטרא אמר רב אסי שונין כלי חרס שיעורו בכונס משקה ולא אמרו מוציא משקה אלא לענין גסטרא בלבד מאי טעמא אמר מר זוטרא בריה דרב נחמן לפי שאין אומרים הבא גסטרא לגסטרא תנו רבנן כיצד בודקין כלי חרס לידע אם ניקב בכונס משקה אם לאו יביא עריבה מלאה מים ונותן קדרה לתוכה אם כנסה בידוע שכונס משקה ואם לאו בידוע שמוציא משקה

דף מט,ב גמרא  רבי יהודה אומר כופף אזני קדרה לתוכה ומציף עליה מים ואם כונס בידוע שכונס משקה ואם לאו בידוע שמוציא משקה או שופתה על גבי האור אם האור מעמידה בידוע שמוציא משקה ואם לאו בידוע שמכניס משקה ר' יוסי אומר אף לא שופתה על גבי האור מפני שהאור מעמידה אלא שופתה על גבי הרמץ אם רמץ מעמידה בידוע שמוציא משקה ואם לאו בידוע שכונס משקה היה טורד טיפה אחר טיפה בידוע שכונס משקה מאי איכא בין ת"ק לר' יהודה אמר עולא כינוס על ידי הדחק איכא בינייהו:  כל אבר שיש בו צפורן וכו':  יש בו צפורן מטמא במגע ובמשא ובאהל יש בו עצם ואין בו צפורן מטמא במגע ובמשא ואינו מטמא באהל אמר רב חסדא דבר זה רבינו הגדול אמרו המקום יהיה בעזרו אצבע יתרה שיש בו עצם ואין בו צפורן מטמא במגע ובמשא ואינו מטמא באהל אמר רבה בר בר חנה א"ר יוחנן וכשאינה נספרת על גב היד:  כל המטמא מדרס וכו':  כל דחזי למדרס מטמא טמא מת ויש שמטמא טמא מת ואין מטמא מדרס לאתויי מאי לאתויי סאה ותרקב דתניא (ויקרא טו) והיושב על הכלי יכול כפה סאה וישב עליה או תרקב וישב עליו יהא טמא ת"ל (ויקרא טו) אשר ישב עליו הזב מי שמיוחד לישיבה יצא זה שאומרים לו עמוד ונעשה מלאכתנו:

דף מט,ב משנה  כל הראוי לדון דיני נפשות ראוי לדון דיני ממונות ויש שראוי לדון דיני ממונות ואינו ראוי לדון דיני נפשות:

דף מט,ב גמרא  אמר רב יהודה לאתויי ממזר תנינא חדא זימנא הכל כשרין לדון דיני ממונות ואין הכל כשרין לדון דיני נפשות והוינן בה לאתויי מאי ואמר רב יהודה לאתויי ממזר חדא לאתויי גר וחדא לאתויי ממזר וצריכי דאי אשמעינן גר משום דראוי לבא בקהל אבל ממזר דאין ראוי לבא בקהל אימא לא ואי אשמעינן ממזר משום דקאתי מטפה כשרה אבל גר דקאתי מטפה פסולה אימא לא צריכא:

דף מט,ב משנה  כל הכשר לדון כשר להעיד ויש שכשר להעיד ואינו כשר לדון:

דף מט,ב גמרא  לאתויי מאי א"ר יוחנן לאתויי סומא באחת מעיניו ומני

דף נ,א גמרא  רבי מאיר היא דתניא היה רבי מאיר אומר מה ת"ל (דברים כא) על פיהם יהיה כל ריב וכל נגע וכי מה ענין ריבים אצל נגעים מקיש ריבים לנגעים מה נגעים ביום דכתיב (ויקרא יג) וביום הראות בו אף ריבים ביום ומה נגעים שלא בסומא דכתיב (ויקרא יג) לכל מראה עיני הכהן אף ריבים שלא בסומא ומקיש נגעים לריבים מה ריבים שלא בקרובים אף נגעים שלא בקרובים אי מה ריבים בשלשה אף נגעים בשלשה ודין הוא ממונו בשלשה גופו לא כ"ש ת"ל (ויקרא יג) והובא אל אהרן הכהן או אל אחד מבניו הכהנים הא למדת שאפילו כהן אחד רואה את הנגעים ההוא סמיא דהוה בשבבותיה דרבי יוחנן דהוה קדיין דינא ולא קאמר ליה ולא מידי היכי עביד הכי והאמר רבי יוחנן הלכה כסתם משנה ותנן כל הכשר לדון כשר להעיד ויש כשר להעיד ואין כשר לדון ואמרינן לאתויי מאי ואמר רבי יוחנן לאתויי סומא באחת מעיניו רבי יוחנן סתמא אחרינא אשכח דתנן דיני ממונות דנין ביום וגומרין בלילה ומאי אולמיה דהאי סתמא מהאי סתמא איבעית אימא סתמא דרבים עדיף ואיבעית אימא משום דקתני לה גבי הלכתא דדיני:

דף נ,א משנה  כל שחייב במעשרות מטמא טומאת אוכלין ויש שמטמא טומאת אוכלין ואינו חייב במעשרות:

דף נ,א גמרא  לאתויי מאי לאתויי בשר ודגים וביצים:

דף נ,א משנה  כל שחייב בפאה חייב במעשרות ויש שחייב במעשרות ואינו חייב בפאה:

דף נ,א גמרא  לאתויי מאי לאתויי תאנה וירק שאינו חייב בפאה דתנן כלל אמרו בפאה כל שהוא אוכל ונשמר וגידולו מן הארץ ולקיטתו כאחד ומכניסו לקיום חייב בפאה אוכל למעוטי ספיחי סטים וקוצה ונשמר למעוטי הפקר וגידולו מן הארץ למעוטי כמהים ופטריות ולקיטתו כאחד למעוטי תאנה ומכניסו לקיום למעוטי ירק ואילו גבי מעשר תנן כל שהוא אוכל ונשמר וגידולו מן הארץ חייב במעשרות ואילו לקיטתו כאחד ומכניסו לקיום לא קתני אם היו בהם שומים ובצלין חייבין דתנן מלבנות בצלים שבין הירק ר' יוסי אומר פאה מכל אחת ואחת וחכ"א מאחת על הכל אמר רבה בר בר חנה א"ר יוחנן עולשין שזרען מתחילה לבהמה ונמלך עליהן לאדם
"""

# Divide the passage into sentences
divided_sentences = divide_into_sentences(example_passage)

# Write the divided sentences to a new text file
output_filename = "divided_sentences.txt"
write_sentences_to_file(divided_sentences, output_filename)

print(f"Divided sentences written to '{output_filename}'")