Add GOT

pages/29_NVLM.py

@@ -161,7 +161,7 @@ with col2:
 with col3:
     if lang == "en":
         if st.button("Next paper", use_container_width=True):
-            switch_page("Home")
+            switch_page("GOT")
     else:
         if st.button("Papier suivant", use_container_width=True):
-            switch_page("Home")
+            switch_page("GOT")

pages/30_GOT.py

@@ -0,0 +1,195 @@
+import streamlit as st
+from streamlit_extras.switch_page_button import switch_page
+
+
+translations = {
+'en': {'title': 'GOT',
+    'original_tweet': 
+       """
+       [Original tweet](https://x.com/mervenoyann/status/1843278355749065084) (October 7, 2024)
+       """,
+    'tweet_1':
+        """
+	I'm bullish on this foundation OCR model called GOT 📝  
+	This model can transcribe anything and it's Apache-2.0!  
+	Keep reading to learn more 🧶
+        """,
+    'tweet_2':
+        """
+	This model can take in screenshots of tables/LaTeX and output  formatted text, music sheets, charts, literally anything to meaningful format!  
+	[Try it](https://huggingface.co/spaces/stepfun-ai/GOT_official_online_demo)
+        """,
+    'tweet_3':
+        """
+	This model has the same architecture as other vision language models 👀 Consists of an image encoder, projector and text decoder.
+	<br>
+	What makes this model special in my opinion are two things:  
+	1. Diverse, high quality data mixture (thus data engine)  
+	2. Alignment technique      
+	""",
+    'tweet_4':
+        """
+	Authors followed the following recipe:  
+	🔥 pre-trained a vision encoder by using OPT-125M  
+	✨ keep training same encoder, add a new linear layer and Qwen-0.5B and train all the components  
+	❄️ finally they freeze the encoder and do fine-tuning 👇🏻
+	 """,
+    'tweet_5':
+        """
+	Their training data generated with engine consists of:  
+	📝 plain OCR data  
+	📑 mathpix markdown (tables, LaTeX formulas etc)  
+	📊 charts (chart to JSON output)  
+	📐 geometric shapes (into TikZ)  
+	🎼 even music sheets
+	""",
+    'tweet_6':
+        """
+	The authors have reported different metrics and it seems despite it's small size, the model seems to be the state-of-the-art in many benchmarks!
+	""",
+    'ressources':
+        """
+        Ressources:  
+        [General OCR Theory: Towards OCR-2.0 via a Unified End-to-end Model](https://arxiv.org/abs/2409.01704) 
+        by Haoran Wei, Chenglong Liu, Jinyue Chen, Jia Wang, Lingyu Kong, Yanming Xu, Zheng Ge, Liang Zhao, Jianjian Sun, Yuang Peng, Chunrui Han, Xiangyu Zhang (2024)  
+        [GitHub](https://github.com/Ucas-HaoranWei/GOT-OCR2.0/)  
+        [Model](https://huggingface.co/stepfun-ai/GOT-OCR2_0)
+        """
+      },
+'fr': {
+    'title': 'GOT',
+    'original_tweet': 
+       """
+       [Tweet de base](https://x.com/mervenoyann/status/1843278355749065084) (en anglais) (7 ocotbre 2024)
+       """,
+    'tweet_1':
+        """
+	Je suis enthousiaste pour de ce modèle d'OCR appelé GOT 📝  
+	Ce modèle peut transcrire n'importe quoi et il est Apache-2.0 !  
+	Continuez à lire pour en savoir plus 🧶
+        """,
+    'tweet_2':
+        """
+	Ce modèle peut recevoir des captures d'écran de tableaux/LaTeX et produire du texte formaté, des partitions, des graphiques, littéralement tout ce qui peut être mis en forme !  
+	[Essayez-le](https://huggingface.co/spaces/stepfun-ai/GOT_official_online_demo)
+        """,
+    'tweet_3':
+        """
+	Ce modèle a la même architecture que d'autres modèles de langage de vision 👀  
+	Il se compose d'un encodeur d'images, d'un projecteur et d'un décodeur de texte.
+	<br>
+	Ce qui rend ce modèle spécial à mon avis, ce sont deux choses :  
+	1. Mélange de données diversifiées et de haute qualité (donc moteur de données).  
+	2. Technique d'alignement        
+	""",
+    'tweet_4':
+        """
+	Les auteurs ont suivi la recette suivante :  
+	🔥 pré-entraînement d'un encodeur de vision en utilisant OPT-125M  
+	✨ poursuite de l'entraînement du même encodeur, ajout d'une nouvelle couche linéaire et de Qwen-0.5B et entraînement de tous les composants  
+	❄️ enfin, ils figent l'encodeur et procèdent à un finetuning 👇🏻
+	 """,
+    'tweet_5':
+        """
+	Les données d'entraînement générées par le moteur sont :  
+	📝 des données OCR simples  
+	📑 des mathpix markdown (tableaux, formules LaTeX, etc.)  
+	📊 des graphiques (sortie des graphiques en JSON)  
+	📐 des formes géométriques (dans TikZ)  
+	🎼 des partitions de musique
+	""",
+    'tweet_6':
+        """
+	Les auteurs ont rapporté différentes métriques et il semble qu'en dépit de sa petite taille, le modèle soit SOTA dans de nombreux benchmarks !
+	""",
+    'ressources':
+        """
+        Ressources :    
+        [General OCR Theory: Towards OCR-2.0 via a Unified End-to-end Model](https://arxiv.org/abs/2409.01704) 
+        de Haoran Wei, Chenglong Liu, Jinyue Chen, Jia Wang, Lingyu Kong, Yanming Xu, Zheng Ge, Liang Zhao, Jianjian Sun, Yuang Peng, Chunrui Han, Xiangyu Zhang (2024)  
+        [GitHub](https://github.com/Ucas-HaoranWei/GOT-OCR2.0/)  
+        [Modèle](https://huggingface.co/stepfun-ai/GOT-OCR2_0)
+        """
+    }
+}    
+
+
+def language_selector():
+    languages = {'EN': '🇬🇧', 'FR': '🇫🇷'}
+    selected_lang = st.selectbox('', options=list(languages.keys()), format_func=lambda x: languages[x], key='lang_selector')
+    return 'en' if selected_lang == 'EN' else 'fr'
+
+left_column, right_column = st.columns([5, 1])
+
+# Add a selector to the right column
+with right_column:
+    lang = language_selector()
+
+# Add a title to the left column
+with left_column:
+    st.title(translations[lang]["title"])
+    
+st.success(translations[lang]["original_tweet"], icon="ℹ️")
+st.markdown(""" """)
+
+st.markdown(translations[lang]["tweet_1"], unsafe_allow_html=True)
+st.markdown(""" """)
+
+st.image("pages/GOT/image_1.png", use_column_width=True)
+st.markdown(""" """)
+
+st.markdown(translations[lang]["tweet_2"], unsafe_allow_html=True)
+st.markdown(""" """)
+
+st.image("pages/GOT/image_2.png", use_column_width=True)
+st.markdown(""" """)
+
+st.markdown(translations[lang]["tweet_3"], unsafe_allow_html=True)
+st.markdown(""" """)
+
+st.markdown(translations[lang]["tweet_4"], unsafe_allow_html=True)
+st.markdown(""" """)
+
+st.image("pages/GOT/image_3.png", use_column_width=True)
+st.markdown(""" """)
+
+st.markdown(translations[lang]["tweet_5"], unsafe_allow_html=True)
+st.markdown(""" """)
+
+st.image("pages/GOT/image_4.png", use_column_width=True)
+st.markdown(""" """)
+
+st.markdown(translations[lang]["tweet_6"], unsafe_allow_html=True)
+st.markdown(""" """)
+
+st.image("pages/GOT/image_5.png", use_column_width=True)
+st.markdown(""" """)
+
+
+st.info(translations[lang]["ressources"], icon="📚")  
+
+st.markdown(""" """)
+st.markdown(""" """)
+st.markdown(""" """)
+col1, col2, col3= st.columns(3)
+with col1:
+    if lang == "en":
+        if st.button('Previous paper', use_container_width=True):
+            switch_page("NVLM")
+    else:
+        if st.button('Papier précédent', use_container_width=True):
+            switch_page("NVLM")
+with col2:
+    if lang == "en":
+        if st.button("Home", use_container_width=True):
+            switch_page("Home")
+    else:
+        if st.button("Accueil", use_container_width=True):
+            switch_page("Home")
+with col3:
+    if lang == "en":
+        if st.button("Next paper", use_container_width=True):
+            switch_page("Home")
+    else:
+        if st.button("Papier suivant", use_container_width=True):
+            switch_page("Home")