- simplify logic to retrieve results files
Browse files- split news sums tasks
- update latest_results with new models
- latest_results.tsv +30 -18
- src/about.py +2 -1
- src/leaderboard/read_evals.py +14 -14
latest_results.tsv
CHANGED
|
@@ -1,18 +1,30 @@
|
|
| 1 |
-
eval_name Precision Type T Weight type Architecture Model Avg NLU Avg CFK Avg BFS Avg ⬆️ Hub License #Params (B) Model sha Hub ❤️ Available on the hub Code Data AMI 2020 Agg AMI 2020 Miso ARC-C Belebele GeNTE Neutralizing HaSpeeDe2 HS HaSpeeDe2 Stereo HateCheck HONEST IronITA Irony IronITA Sarcasm ItaCoLA News Sum SENTIPOLC SQuAD it TruthfulQA XCOPA Hellaswag-it
|
| 2 |
-
|
| 3 |
-
|
| 4 |
-
|
| 5 |
-
|
| 6 |
-
|
| 7 |
-
|
| 8 |
-
|
| 9 |
-
|
| 10 |
-
|
| 11 |
-
|
| 12 |
-
|
| 13 |
-
|
| 14 |
-
1
|
| 15 |
-
|
| 16 |
-
|
| 17 |
-
|
| 18 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
eval_name Precision Type T Weight type Architecture Model Avg NLU Avg CFK Avg BFS Avg ⬆️ Hub License #Params (B) Model sha Hub ❤️ Available on the hub Code Data AMI 2020 Agg AMI 2020 Miso ARC-C Belebele GeNTE Neutralizing HaSpeeDe2 HS HaSpeeDe2 Stereo HateCheck HONEST IronITA Irony IronITA Sarcasm ItaCoLA News Sum (fanpage) News Sum (il post) SENTIPOLC SQuAD it TruthfulQA XCOPA Hellaswag-it
|
| 2 |
+
15 swap-uniba_LLaMAntino-3-ANITA-8B-Inst-DPO-ITA_bfloat16 bfloat16 fine-tuned 🔶 Adapter LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/swap-uniba/LLaMAntino-3-ANITA-8B-Inst-DPO-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">swap-uniba/LLaMAntino-3-ANITA-8B-Inst-DPO-ITA</a>" 48.30561075087029 66.8637539701687 69.6423469054011 61.60390387548003 Llama 3 Community License Agreement 8.0 0 True 👁 👁 {'value': np.float64(49.61934617107031), 'category': 'NLU'} {'value': np.float64(73.58604698054239), 'category': 'NLU'} {'value': np.float64(56.484641638225256), 'category': 'CFK'} {'value': np.float64(83.55555555555556), 'category': 'NLU'} {'value': np.float64(33.8255033557047), 'category': 'BFS'} {'value': np.float64(72.24399819126907), 'category': 'BFS'} {'value': np.float64(61.627116844508144), 'category': 'BFS'} {'value': np.float64(80.51511613552358), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(67.79529918401192), 'category': 'NLU'} {'value': np.float64(46.19514665929917), 'category': 'NLU'} {'value': np.float64(0.24261234404280246), 'category': 'NLU'} {'value': np.float64(34.11799937153588), 'category': 'NLU'} {'value': np.float64(33.1434928751281), 'category': 'NLU'} {'value': np.float64(46.49499761664646), 'category': 'NLU'} {'value': np.float64(71.27317142821833), 'category': 'CFK'} {'value': np.float64(68.09423700746308), 'category': 'CFK'} {'value': np.float64(73.4), 'category': 'CFK'} {'value': np.float64(65.06671977693686), 'category': 'CFK'}
|
| 3 |
+
19 mii-llm_maestrale-chat-v0.4-beta_bfloat16 bfloat16 fine-tuned 🔶 Unknown MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/mii-llm/maestrale-chat-v0.4-beta"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">mii-llm/maestrale-chat-v0.4-beta</a>" 51.83202232667886 61.37398534451438 71.1985815472284 61.46819640614055 CC-BY-NC 4.0 7.0 0 True 🙈 🙈 {'value': np.float64(59.150326797385624), 'category': 'NLU'} {'value': np.float64(69.87466459292264), 'category': 'NLU'} {'value': np.float64(45.81911262798635), 'category': 'CFK'} {'value': np.float64(82.88888888888889), 'category': 'NLU'} {'value': np.float64(31.140939597315437), 'category': 'BFS'} {'value': np.float64(72.33846393236428), 'category': 'BFS'} {'value': np.float64(66.53207391127643), 'category': 'BFS'} {'value': np.float64(85.98143029518587), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(70.41777967731595), 'category': 'NLU'} {'value': np.float64(60.772298414551116), 'category': 'NLU'} {'value': np.float64(0.37316622790807397), 'category': 'NLU'} {'value': np.float64(36.93410930386526), 'category': 'NLU'} {'value': np.float64(36.725567372854464), 'category': 'NLU'} {'value': np.float64(49.35139966441765), 'category': 'NLU'} {'value': np.float64(75.86044079267388), 'category': 'CFK'} {'value': np.float64(49.899475074466956), 'category': 'CFK'} {'value': np.float64(73.6), 'category': 'CFK'} {'value': np.float64(61.690898227444734), 'category': 'CFK'}
|
| 4 |
+
28 DeepMount00_Llama-3-8b-Ita_bfloat16 bfloat16 fine-tuned 🔶 Original LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/DeepMount00/Llama-3-8b-Ita"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">DeepMount00/Llama-3-8b-Ita</a>" 47.36290272448108 61.758272277910294 69.81487332954494 59.64534944397877 Llama 3 Community License Agreement 8.0 0 True 🙈 🙈 {'value': np.float64(46.144997988058414), 'category': 'NLU'} {'value': np.float64(75.84372609008976), 'category': 'NLU'} {'value': np.float64(51.791808873720136), 'category': 'CFK'} {'value': np.float64(86.22222222222223), 'category': 'NLU'} {'value': np.float64(36.10738255033557), 'category': 'BFS'} {'value': np.float64(70.31554456506412), 'category': 'BFS'} {'value': np.float64(58.630092648784235), 'category': 'BFS'} {'value': np.float64(84.02134688354074), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(65.31072882431363), 'category': 'NLU'} {'value': np.float64(41.09159654422506), 'category': 'NLU'} {'value': np.float64(0.3408333550606028), 'category': 'NLU'} {'value': np.float64(34.49955832579602), 'category': 'NLU'} {'value': np.float64(31.89782535977958), 'category': 'NLU'} {'value': np.float64(44.914635810784375), 'category': 'NLU'} {'value': np.float64(56.61547684079038), 'category': 'CFK'} {'value': np.float64(62.20674048284815), 'category': 'CFK'} {'value': np.float64(80.4), 'category': 'CFK'} {'value': np.float64(57.777335192192794), 'category': 'CFK'}
|
| 5 |
+
10 meta-llama_Meta-Llama-3-8B-Instruct_bfloat16 bfloat16 fine-tuned 🔶 Delta LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">meta-llama/Meta-Llama-3-8B-Instruct</a>" 49.08882288487394 59.50122697266721 69.34995290147747 59.31333425300621 Meta Llama 3 Community License 8.0 0 True 🙈 🙈 {'value': np.float64(55.185436572164505), 'category': 'NLU'} {'value': np.float64(71.738125676576), 'category': 'NLU'} {'value': np.float64(42.57679180887372), 'category': 'CFK'} {'value': np.float64(81.88888888888889), 'category': 'NLU'} {'value': np.float64(31.946308724832218), 'category': 'BFS'} {'value': np.float64(71.03906138403002), 'category': 'BFS'} {'value': np.float64(62.35341674190123), 'category': 'BFS'} {'value': np.float64(81.41097765662386), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(66.62802629024654), 'category': 'NLU'} {'value': np.float64(50.768256648374845), 'category': 'NLU'} {'value': np.float64(0.27675546075709384), 'category': 'NLU'} {'value': np.float64(36.24704112214342), 'category': 'NLU'} {'value': np.float64(35.26336202300577), 'category': 'NLU'} {'value': np.float64(43.80351328170839), 'category': 'NLU'} {'value': np.float64(76.38244391126472), 'category': 'CFK'} {'value': np.float64(51.68814590679052), 'category': 'CFK'} {'value': np.float64(71.8), 'category': 'CFK'} {'value': np.float64(55.058753236407085), 'category': 'CFK'}
|
| 6 |
+
6 mistralai_Mistral-7B-Instruct-v0.2_bfloat16 bfloat16 fine-tuned 🔶 Delta MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">mistralai/Mistral-7B-Instruct-v0.2</a>" 48.131198854451654 58.69183546703023 69.176267976939 58.66643409947363 Apache 2.0 7.0 0 True 🙈 🙈 {'value': np.float64(61.95096430524839), 'category': 'NLU'} {'value': np.float64(66.42194008585093), 'category': 'NLU'} {'value': np.float64(44.36860068259386), 'category': 'CFK'} {'value': np.float64(67.22222222222223), 'category': 'NLU'} {'value': np.float64(29.12751677852349), 'category': 'BFS'} {'value': np.float64(71.07491292799637), 'category': 'BFS'} {'value': np.float64(67.27017961567233), 'category': 'BFS'} {'value': np.float64(78.40873056250285), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(59.16469471738617), 'category': 'NLU'} {'value': np.float64(55.53851376330874), 'category': 'NLU'} {'value': np.float64(0.27708420363666786), 'category': 'NLU'} {'value': np.float64(36.5644261295324), 'category': 'NLU'} {'value': np.float64(36.02041761977175), 'category': 'NLU'} {'value': np.float64(50.02052664310759), 'category': 'NLU'} {'value': np.float64(68.04841543730598), 'category': 'CFK'} {'value': np.float64(59.24407318497844), 'category': 'CFK'} {'value': np.float64(64.2), 'category': 'CFK'} {'value': np.float64(57.598088030272855), 'category': 'CFK'}
|
| 7 |
+
18 mii-community_zefiro-7b-dpo-ITA_bfloat16 bfloat16 fine-tuned 🔶 Adapter MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/mii-community/zefiro-7b-dpo-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">mii-community/zefiro-7b-dpo-ITA</a>" 46.189413306519484 57.89491206679833 68.2055343559792 57.429953243099 Apache 2.0 7.0 0 True 🙈 👁 {'value': np.float64(59.97920997920998), 'category': 'NLU'} {'value': np.float64(66.14027143881808), 'category': 'NLU'} {'value': np.float64(44.19795221843004), 'category': 'CFK'} {'value': np.float64(65.88888888888889), 'category': 'NLU'} {'value': np.float64(29.798657718120808), 'category': 'BFS'} {'value': np.float64(66.93068606112085), 'category': 'BFS'} {'value': np.float64(61.46209894750329), 'category': 'BFS'} {'value': np.float64(82.83622905315102), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(58.523449206965395), 'category': 'NLU'} {'value': np.float64(54.918191698733956), 'category': 'NLU'} {'value': np.float64(0.22337556862808253), 'category': 'NLU'} {'value': np.float64(35.78766817066809), 'category': 'NLU'} {'value': np.float64(35.433945513579104), 'category': 'NLU'} {'value': np.float64(38.80971929318383), 'category': 'NLU'} {'value': np.float64(74.34293876621986), 'category': 'CFK'} {'value': np.float64(43.34227321311386), 'category': 'CFK'} {'value': np.float64(68.4), 'category': 'CFK'} {'value': np.float64(59.191396136227844), 'category': 'CFK'}
|
| 8 |
+
9 meta-llama_Meta-Llama-3-8B_bfloat16 bfloat16 pretrained 🟢 Original LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/meta-llama/Meta-Llama-3-8B"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">meta-llama/Meta-Llama-3-8B</a>" 46.56679050897081 57.42199318457142 66.8371135489557 56.94196574749932 Meta Llama 3 Community License 8.0 0 True 🙈 🙈 {'value': np.float64(60.02710027100271), 'category': 'NLU'} {'value': np.float64(63.14678395603251), 'category': 'NLU'} {'value': np.float64(40.529010238907844), 'category': 'CFK'} {'value': np.float64(76.0), 'category': 'NLU'} {'value': np.float64(29.53020134228188), 'category': 'BFS'} {'value': np.float64(65.30297764359561), 'category': 'BFS'} {'value': np.float64(59.541073390095356), 'category': 'BFS'} {'value': np.float64(79.81131536880565), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(57.31801541230962), 'category': 'NLU'} {'value': np.float64(56.750548188367965), 'category': 'NLU'} {'value': np.float64(0.2786244415689118), 'category': 'NLU'} {'value': np.float64(33.17963762883937), 'category': 'NLU'} {'value': np.float64(32.46904253967329), 'category': 'NLU'} {'value': np.float64(39.93136214294286), 'category': 'NLU'} {'value': np.float64(76.49082768675667), 'category': 'CFK'} {'value': np.float64(42.06877766857276), 'category': 'CFK'} {'value': np.float64(71.2), 'category': 'CFK'} {'value': np.float64(56.8213503286198), 'category': 'CFK'}
|
| 9 |
+
16 mii-community_zefiro-7b-base-ITA_bfloat16 bfloat16 fine-tuned 🔶 Delta MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/mii-community/zefiro-7b-base-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">mii-community/zefiro-7b-base-ITA</a>" 45.269551300227874 57.115645622716485 67.35862672334422 56.581274548762856 Apache 2.0 7.0 0 True 🙈 👁 {'value': np.float64(60.14362403797995), 'category': 'NLU'} {'value': np.float64(64.54082375784897), 'category': 'NLU'} {'value': np.float64(40.955631399317404), 'category': 'CFK'} {'value': np.float64(58.55555555555556), 'category': 'NLU'} {'value': np.float64(28.456375838926174), 'category': 'BFS'} {'value': np.float64(66.12858980217781), 'category': 'BFS'} {'value': np.float64(59.74063711314884), 'category': 'BFS'} {'value': np.float64(82.46753086246828), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(59.05311714498798), 'category': 'NLU'} {'value': np.float64(57.8863223808017), 'category': 'NLU'} {'value': np.float64(0.09963712635854956), 'category': 'NLU'} {'value': np.float64(34.679238266257826), 'category': 'NLU'} {'value': np.float64(33.277782890474725), 'category': 'NLU'} {'value': np.float64(39.18986054178559), 'category': 'NLU'} {'value': np.float64(75.6692177776856), 'category': 'CFK'} {'value': np.float64(46.18926820166605), 'category': 'CFK'} {'value': np.float64(66.60000000000001), 'category': 'CFK'} {'value': np.float64(56.164110734913365), 'category': 'CFK'}
|
| 10 |
+
17 mii-community_zefiro-7b-sft-ITA_bfloat16 bfloat16 fine-tuned 🔶 Adapter MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/mii-community/zefiro-7b-sft-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">mii-community/zefiro-7b-sft-ITA</a>" 45.486381984675305 56.40022559897527 67.23695288016117 56.374520154603914 Apache 2.0 7.0 0 True 🙈 👁 {'value': np.float64(60.458679319889285), 'category': 'NLU'} {'value': np.float64(63.51256529535591), 'category': 'NLU'} {'value': np.float64(42.32081911262799), 'category': 'CFK'} {'value': np.float64(67.77777777777779), 'category': 'NLU'} {'value': np.float64(27.248322147651006), 'category': 'BFS'} {'value': np.float64(65.72752014372092), 'category': 'BFS'} {'value': np.float64(60.158604473839915), 'category': 'BFS'} {'value': np.float64(83.05031763559394), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(52.69566548195397), 'category': 'NLU'} {'value': np.float64(51.630329924754), 'category': 'NLU'} {'value': np.float64(0.08940878967203518), 'category': 'NLU'} {'value': np.float64(34.969708660189006), 'category': 'NLU'} {'value': np.float64(34.492322470675305), 'category': 'NLU'} {'value': np.float64(43.75098014181036), 'category': 'NLU'} {'value': np.float64(74.55382319645513), 'category': 'CFK'} {'value': np.float64(42.52003278796414), 'category': 'CFK'} {'value': np.float64(67.0), 'category': 'CFK'} {'value': np.float64(55.606452897829115), 'category': 'CFK'}
|
| 11 |
+
5 mistralai_Mistral-7B-v0.1_bfloat16 bfloat16 pretrained 🟢 Original MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/mistralai/Mistral-7B-v0.1"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">mistralai/Mistral-7B-v0.1</a>" 45.34125442825157 56.099282379017794 65.68372283507196 55.7080865474471 Apache 2.0 7.0 0 True 🙈 🙈 {'value': np.float64(60.52050697114497), 'category': 'NLU'} {'value': np.float64(63.66158365032981), 'category': 'NLU'} {'value': np.float64(41.21160409556314), 'category': 'CFK'} {'value': np.float64(65.66666666666666), 'category': 'NLU'} {'value': np.float64(29.53020134228188), 'category': 'BFS'} {'value': np.float64(60.38816689466484), 'category': 'BFS'} {'value': np.float64(57.907599364752336), 'category': 'BFS'} {'value': np.float64(80.59264657366079), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(55.23299236027556), 'category': 'NLU'} {'value': np.float64(55.67900219124808), 'category': 'NLU'} {'value': np.float64(0.131895692851752), 'category': 'NLU'} {'value': np.float64(33.96645911653997), 'category': 'NLU'} {'value': np.float64(34.34077316577102), 'category': 'NLU'} {'value': np.float64(38.87141003943634), 'category': 'NLU'} {'value': np.float64(75.08500650762954), 'category': 'CFK'} {'value': np.float64(43.19251190731156), 'category': 'CFK'} {'value': np.float64(65.60000000000001), 'category': 'CFK'} {'value': np.float64(55.40728938458474), 'category': 'CFK'}
|
| 12 |
+
14 swap-uniba_LLaMAntino-2-chat-13b-hf-ITA_bfloat16 bfloat16 fine-tuned 🔶 Adapter LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/swap-uniba/LLaMAntino-2-chat-13b-hf-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">swap-uniba/LLaMAntino-2-chat-13b-hf-ITA</a>" 41.970283146802416 56.03239812713 66.71944637887557 54.90737588426933 Llama 2 Community License 13.0 0 True 🙈 👁 {'value': np.float64(61.41230947327803), 'category': 'NLU'} {'value': np.float64(64.77739009492042), 'category': 'NLU'} {'value': np.float64(39.07849829351536), 'category': 'CFK'} {'value': np.float64(60.44444444444444), 'category': 'NLU'} {'value': np.float64(25.503355704697988), 'category': 'BFS'} {'value': np.float64(67.1548291501024), 'category': 'BFS'} {'value': np.float64(59.101414060364085), 'category': 'BFS'} {'value': np.float64(81.83763297921335), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(57.92048929663609), 'category': 'NLU'} {'value': np.float64(52.2777996043644), 'category': 'NLU'} {'value': np.float64(0.1015435288181161), 'category': 'NLU'} {'value': np.float64(25.48185921268344), 'category': 'NLU'} {'value': np.float64(20.624383701889286), 'category': 'NLU'} {'value': np.float64(34.69232896418751), 'category': 'NLU'} {'value': np.float64(73.10003377486571), 'category': 'CFK'} {'value': np.float64(44.43667505800782), 'category': 'CFK'} {'value': np.float64(70.39999999999999), 'category': 'CFK'} {'value': np.float64(53.146783509261105), 'category': 'CFK'}
|
| 13 |
+
25 utter-project_EuroLLM-9B-Instruct_bfloat16 bfloat16 fine-tuned 🔶 Original LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/utter-project/EuroLLM-9B-Instruct"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">utter-project/EuroLLM-9B-Instruct</a>" 46.47145649591783 53.97328352456685 61.13814708019121 53.86096236689196 Apache 2.0 9.0 0 True 👁 👁 {'value': np.float64(59.47108964639737), 'category': 'NLU'} {'value': np.float64(69.65384349595736), 'category': 'NLU'} {'value': np.float64(39.249146757679185), 'category': 'CFK'} {'value': np.float64(73.11111111111111), 'category': 'NLU'} {'value': np.float64(27.38255033557047), 'category': 'BFS'} {'value': np.float64(59.23710239695501), 'category': 'BFS'} {'value': np.float64(49.33153578249635), 'category': 'BFS'} {'value': np.float64(69.73954688593422), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(55.21491782553729), 'category': 'NLU'} {'value': np.float64(54.691044906652394), 'category': 'NLU'} {'value': np.float64(0.3893055260262671), 'category': 'NLU'} {'value': np.float64(34.330433505590925), 'category': 'NLU'} {'value': np.float64(29.809193495015446), 'category': 'NLU'} {'value': np.float64(41.57216895097227), 'category': 'NLU'} {'value': np.float64(52.08035526963981), 'category': 'CFK'} {'value': np.float64(49.57766445032506), 'category': 'CFK'} {'value': np.float64(76.4), 'category': 'CFK'} {'value': np.float64(52.5592511451902), 'category': 'CFK'}
|
| 14 |
+
1 RiTA-nlp_tweety-Mistral-7B-v0.1-italian-sft-uf_ita_bfloat16 bfloat16 fine-tuned 🔶 Delta ? "<a target=""_blank"" href=""https://huggingface.co/RiTA-nlp/tweety-Mistral-7B-v0.1-italian-sft-uf_ita"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">RiTA-nlp/tweety-Mistral-7B-v0.1-italian-sft-uf_ita</a>" 41.702497507922395 55.82283676715868 63.59603096781787 53.70712174763298 Apache 2.0 7.0 0 False 👁 👁 {'value': np.float64(55.41601107758793), 'category': 'NLU'} {'value': np.float64(57.3004099160648), 'category': 'NLU'} {'value': np.float64(44.19795221843004), 'category': 'CFK'} {'value': np.float64(65.88888888888889), 'category': 'NLU'} {'value': np.float64(28.187919463087248), 'category': 'BFS'} {'value': np.float64(60.59060214594565), 'category': 'BFS'} {'value': np.float64(57.07941820704192), 'category': 'BFS'} {'value': np.float64(72.12221502301452), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(57.244902948868926), 'category': 'NLU'} {'value': np.float64(53.76030031900477), 'category': 'NLU'} {'value': np.float64(0.09348377351619035), 'category': 'NLU'} {'value': np.float64(31.274200012586512), 'category': 'NLU'} {'value': np.float64(30.264764988423188), 'category': 'NLU'} {'value': np.float64(24.079515646360328), 'category': 'NLU'} {'value': np.float64(63.98256226802162), 'category': 'CFK'} {'value': np.float64(43.34227321311386), 'category': 'CFK'} {'value': np.float64(68.4), 'category': 'CFK'} {'value': np.float64(59.191396136227844), 'category': 'CFK'}
|
| 15 |
+
3 RiTA-nlp_llama3-tweety-8b-italian-sft-tagengo-merged_bfloat16 bfloat16 fine-tuned 🔶 Delta LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/RiTA-nlp/llama3-tweety-8b-italian-sft-tagengo-merged"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">RiTA-nlp/llama3-tweety-8b-italian-sft-tagengo-merged</a>" 36.14960993706041 57.23994087617156 67.59183411184553 53.66046164169251 Apache 2.0 8.0 0 True 👁 👁 {'value': np.float64(52.657814277204686), 'category': 'NLU'} {'value': np.float64(56.87822654114789), 'category': 'NLU'} {'value': np.float64(36.774744027303754), 'category': 'CFK'} {'value': np.float64(24.444444444444443), 'category': 'NLU'} {'value': np.float64(29.798657718120808), 'category': 'BFS'} {'value': np.float64(66.66587213877352), 'category': 'BFS'} {'value': np.float64(60.83860122549424), 'category': 'BFS'} {'value': np.float64(80.65603947683907), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(47.818461903069085), 'category': 'NLU'} {'value': np.float64(48.16547688835077), 'category': 'NLU'} {'value': np.float64(0.30234248529919133), 'category': 'NLU'} {'value': np.float64(31.14750699283743), 'category': 'NLU'} {'value': np.float64(29.445396960705033), 'category': 'NLU'} {'value': np.float64(34.48681894048518), 'category': 'NLU'} {'value': np.float64(69.96340463322181), 'category': 'CFK'} {'value': np.float64(48.98380228476164), 'category': 'CFK'} {'value': np.float64(72.8), 'category': 'CFK'} {'value': np.float64(57.6777534355706), 'category': 'CFK'}
|
| 16 |
+
4 RiTA-nlp_llama3-tweety-8b-italian-sft-uf_ita-merged_bfloat16 bfloat16 fine-tuned 🔶 Delta LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/RiTA-nlp/llama3-tweety-8b-italian-sft-uf_ita-merged"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">RiTA-nlp/llama3-tweety-8b-italian-sft-uf_ita-merged</a>" 40.312978427314775 55.62581755600671 64.21599169544818 53.38492922625655 Apache 2.0 8.0 0 True 👁 👁 {'value': np.float64(50.970272502064404), 'category': 'NLU'} {'value': np.float64(53.86433030056453), 'category': 'NLU'} {'value': np.float64(37.71331058020478), 'category': 'CFK'} {'value': np.float64(60.77777777777777), 'category': 'NLU'} {'value': np.float64(33.557046979865774), 'category': 'BFS'} {'value': np.float64(61.86187344128242), 'category': 'BFS'} {'value': np.float64(51.700547923449534), 'category': 'BFS'} {'value': np.float64(73.96049013264316), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(49.09515469935785), 'category': 'NLU'} {'value': np.float64(47.64174641881211), 'category': 'NLU'} {'value': np.float64(0.16721772503846072), 'category': 'NLU'} {'value': np.float64(29.757933526345877), 'category': 'NLU'} {'value': np.float64(27.30247603817605), 'category': 'NLU'} {'value': np.float64(43.23989685769588), 'category': 'NLU'} {'value': np.float64(70.29933362295704), 'category': 'CFK'} {'value': np.float64(45.26019980073151), 'category': 'CFK'} {'value': np.float64(69.19999999999999), 'category': 'CFK'} {'value': np.float64(55.656243776140215), 'category': 'CFK'}
|
| 17 |
+
8 meta-llama_Llama-2-13b-hf_bfloat16 bfloat16 pretrained 🟢 Original LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/meta-llama/Llama-2-13b-hf"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">meta-llama/Llama-2-13b-hf</a>" 41.13613368549096 56.39967689118707 61.493331674248495 53.00971408364217 Llama 2 Community License 13.0 0 True 🙈 🙈 {'value': np.float64(53.24565637065637), 'category': 'NLU'} {'value': np.float64(59.32319654843206), 'category': 'NLU'} {'value': np.float64(39.93174061433447), 'category': 'CFK'} {'value': np.float64(49.666666666666664), 'category': 'NLU'} {'value': np.float64(24.295302013422816), 'category': 'BFS'} {'value': np.float64(54.13600451447075), 'category': 'BFS'} {'value': np.float64(54.88702987697715), 'category': 'BFS'} {'value': np.float64(74.1483219663718), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(50.34584608393744), 'category': 'NLU'} {'value': np.float64(49.636673785442774), 'category': 'NLU'} {'value': np.float64(0.11758183179468357), 'category': 'NLU'} {'value': np.float64(34.74496759381444), 'category': 'NLU'} {'value': np.float64(35.77201874088496), 'category': 'NLU'} {'value': np.float64(37.37259554778931), 'category': 'NLU'} {'value': np.float64(75.22840229480128), 'category': 'CFK'} {'value': np.float64(42.91722979615231), 'category': 'CFK'} {'value': np.float64(69.39999999999999), 'category': 'CFK'} {'value': np.float64(54.52101175064728), 'category': 'CFK'}
|
| 18 |
+
23 CohereForAI_aya-23-8B_bfloat16 bfloat16 pretrained 🟢 Original ? "<a target=""_blank"" href=""https://huggingface.co/CohereForAI/aya-23-8B"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">CohereForAI/aya-23-8B</a>" 43.903323059478815 55.53937350002161 59.312965821783294 52.91855412709458 CC-BY-NC 4.0 License with Acceptable Use Addendum 8.0 0 False 🙈 👁 {'value': np.float64(47.93497657073945), 'category': 'NLU'} {'value': np.float64(57.15796660999023), 'category': 'NLU'} {'value': np.float64(37.54266211604095), 'category': 'CFK'} {'value': np.float64(77.33333333333333), 'category': 'NLU'} {'value': np.float64(29.261744966442954), 'category': 'BFS'} {'value': np.float64(52.45415318230853), 'category': 'BFS'} {'value': np.float64(49.95387126534667), 'category': 'BFS'} {'value': np.float64(64.89505969481834), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(47.87790151575136), 'category': 'NLU'} {'value': np.float64(51.50824652777778), 'category': 'NLU'} {'value': np.float64(0.25083063286819474), 'category': 'NLU'} {'value': np.float64(36.185897458809194), 'category': 'NLU'} {'value': np.float64(36.10641437869741), 'category': 'NLU'} {'value': np.float64(40.77434050734231), 'category': 'NLU'} {'value': np.float64(76.9375594393511), 'category': 'CFK'} {'value': np.float64(44.91069095567003), 'category': 'CFK'} {'value': np.float64(60.199999999999996), 'category': 'CFK'} {'value': np.float64(58.105954989046005), 'category': 'CFK'}
|
| 19 |
+
12 swap-uniba_LLaMAntino-2-13b-hf-ITA_bfloat16 bfloat16 fine-tuned 🔶 Adapter LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/swap-uniba/LLaMAntino-2-13b-hf-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">swap-uniba/LLaMAntino-2-13b-hf-ITA</a>" 40.320410607598326 56.134928395066495 60.86087434667943 52.43873778311475 Llama 2 Community License 13.0 0 True 🙈 👁 {'value': np.float64(56.79723502304148), 'category': 'NLU'} {'value': np.float64(60.93495016444478), 'category': 'NLU'} {'value': np.float64(38.56655290102389), 'category': 'CFK'} {'value': np.float64(52.33333333333333), 'category': 'NLU'} {'value': np.float64(24.697986577181208), 'category': 'BFS'} {'value': np.float64(57.1976786986929), 'category': 'BFS'} {'value': np.float64(54.2447910290625), 'category': 'BFS'} {'value': np.float64(68.16391542846057), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(56.51605280366516), 'category': 'NLU'} {'value': np.float64(51.571111501558086), 'category': 'NLU'} {'value': np.float64(0.16387751408972254), 'category': 'NLU'} {'value': np.float64(24.61370148615753), 'category': 'NLU'} {'value': np.float64(21.35085313487798), 'category': 'NLU'} {'value': np.float64(38.60258050721683), 'category': 'NLU'} {'value': np.float64(74.20709928774112), 'category': 'CFK'} {'value': np.float64(42.12767769734222), 'category': 'CFK'} {'value': np.float64(71.8), 'category': 'CFK'} {'value': np.float64(53.97331208922525), 'category': 'CFK'}
|
| 20 |
+
0 RiTA-nlp_tweety-Mistral-7B-v0.1-italian_bfloat16 bfloat16 fine-tuned 🔶 Delta ? "<a target=""_blank"" href=""https://huggingface.co/RiTA-nlp/tweety-Mistral-7B-v0.1-italian"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">RiTA-nlp/tweety-Mistral-7B-v0.1-italian</a>" 36.29853932847322 54.395439989754266 59.92245878392879 50.20547936738543 Apache 2.0 7.0 0 False 👁 👁 {'value': np.float64(56.17170479302832), 'category': 'NLU'} {'value': np.float64(56.423255312264054), 'category': 'NLU'} {'value': np.float64(37.96928327645051), 'category': 'CFK'} {'value': np.float64(49.666666666666664), 'category': 'NLU'} {'value': np.float64(27.91946308724832), 'category': 'BFS'} {'value': np.float64(53.70259637851317), 'category': 'BFS'} {'value': np.float64(53.57434872305199), 'category': 'BFS'} {'value': np.float64(64.41588573083048), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(50.21506876304183), 'category': 'NLU'} {'value': np.float64(49.42973129711966), 'category': 'NLU'} {'value': np.float64(0.11006633622278786), 'category': 'NLU'} {'value': np.float64(20.35216856147955), 'category': 'NLU'} {'value': np.float64(15.853930176959196), 'category': 'NLU'} {'value': np.float64(28.46426204947685), 'category': 'NLU'} {'value': np.float64(64.39794432633592), 'category': 'CFK'} {'value': np.float64(37.75548120876122), 'category': 'CFK'} {'value': np.float64(73.4), 'category': 'CFK'} {'value': np.float64(58.45449113722366), 'category': 'CFK'}
|
| 21 |
+
7 meta-llama_Llama-2-7b-hf_bfloat16 bfloat16 pretrained 🟢 Original LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/meta-llama/Llama-2-7b-hf"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">meta-llama/Llama-2-7b-hf</a>" 37.21467530908902 51.72929042818041 58.70465604622213 49.216207261163845 Llama 2 Community License 7.0 0 True 🙈 🙈 {'value': np.float64(50.26836062232489), 'category': 'NLU'} {'value': np.float64(57.089775606014214), 'category': 'NLU'} {'value': np.float64(35.153583617747444), 'category': 'CFK'} {'value': np.float64(36.11111111111111), 'category': 'NLU'} {'value': np.float64(25.100671140939596), 'category': 'BFS'} {'value': np.float64(49.33536331841416), 'category': 'BFS'} {'value': np.float64(51.73318260900284), 'category': 'BFS'} {'value': np.float64(67.35406316275402), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(47.63910390674802), 'category': 'NLU'} {'value': np.float64(48.347086153434084), 'category': 'NLU'} {'value': np.float64(0.036528464070504335), 'category': 'NLU'} {'value': np.float64(33.64275146275869), 'category': 'NLU'} {'value': np.float64(33.97447351457297), 'category': 'NLU'} {'value': np.float64(27.82288694076669), 'category': 'NLU'} {'value': np.float64(68.6449557225095), 'category': 'CFK'} {'value': np.float64(39.16657442183614), 'category': 'CFK'} {'value': np.float64(66.0), 'category': 'CFK'} {'value': np.float64(49.681338378809), 'category': 'CFK'}
|
| 22 |
+
2 RiTA-nlp_llama3-tweety-8b-italian_bfloat16 bfloat16 fine-tuned 🔶 Delta LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/RiTA-nlp/llama3-tweety-8b-italian"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">RiTA-nlp/llama3-tweety-8b-italian</a>" 34.80925168546899 45.959661222607295 62.62163881863503 47.79685057557044 Apache 2.0 8.0 0 True 👁 👁 {'value': np.float64(52.75696834716879), 'category': 'NLU'} {'value': np.float64(55.40837736039839), 'category': 'NLU'} {'value': np.float64(40.01706484641638), 'category': 'CFK'} {'value': np.float64(22.88888888888889), 'category': 'NLU'} {'value': np.float64(31.543624161073826), 'category': 'BFS'} {'value': np.float64(57.48673640511788), 'category': 'BFS'} {'value': np.float64(54.750583637815396), 'category': 'BFS'} {'value': np.float64(69.32724988916803), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(53.59863602056829), 'category': 'NLU'} {'value': np.float64(51.95306101174963), 'category': 'NLU'} {'value': np.float64(0.18364277610472463), 'category': 'NLU'} {'value': np.float64(20.352230205876563), 'category': 'NLU'} {'value': np.float64(22.960089857781814), 'category': 'NLU'} {'value': np.float64(33.18137070068386), 'category': 'NLU'} {'value': np.float64(18.487048203126186), 'category': 'CFK'} {'value': np.float64(42.271169761362884), 'category': 'CFK'} {'value': np.float64(72.6), 'category': 'CFK'} {'value': np.float64(56.42302330213105), 'category': 'CFK'}
|
| 23 |
+
11 swap-uniba_LLaMAntino-2-7b-hf-ITA_bfloat16 bfloat16 fine-tuned 🔶 Adapter LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/swap-uniba/LLaMAntino-2-7b-hf-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">swap-uniba/LLaMAntino-2-7b-hf-ITA</a>" 33.72646162039438 52.13761513263328 55.65104269523598 47.17170648275455 Llama 2 Community License 7.0 0 True 🙈 👁 {'value': np.float64(51.11111111111111), 'category': 'NLU'} {'value': np.float64(53.267951636107355), 'category': 'NLU'} {'value': np.float64(33.70307167235495), 'category': 'CFK'} {'value': np.float64(34.66666666666667), 'category': 'NLU'} {'value': np.float64(24.295302013422816), 'category': 'BFS'} {'value': np.float64(45.514286626950536), 'category': 'BFS'} {'value': np.float64(47.59019966407009), 'category': 'BFS'} {'value': np.float64(60.855425171736485), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(47.55193616643805), 'category': 'NLU'} {'value': np.float64(46.04838972288254), 'category': 'NLU'} {'value': np.float64(0.043130721156949686), 'category': 'NLU'} {'value': np.float64(25.210494068156496), 'category': 'NLU'} {'value': np.float64(23.378459312035954), 'category': 'NLU'} {'value': np.float64(22.260015178994326), 'category': 'NLU'} {'value': np.float64(69.30864535653794), 'category': 'CFK'} {'value': np.float64(40.48297086291322), 'category': 'CFK'} {'value': np.float64(68.0), 'category': 'CFK'} {'value': np.float64(49.193387771360285), 'category': 'CFK'}
|
| 24 |
+
22 sapienzanlp_Minerva-3B-base-v1.0_bfloat16 bfloat16 pretrained 🟢 Original MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/sapienzanlp/Minerva-3B-base-v1.0"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">sapienzanlp/Minerva-3B-base-v1.0</a>" 31.17509786876875 45.62270743274333 53.03397360999342 43.2772596371685 Apache 2.0 3.0 0 True 🙈 👁 {'value': np.float64(49.875480140137604), 'category': 'NLU'} {'value': np.float64(52.15633707230505), 'category': 'NLU'} {'value': np.float64(30.97269624573379), 'category': 'CFK'} {'value': np.float64(24.333333333333336), 'category': 'NLU'} {'value': np.float64(23.08724832214765), 'category': 'BFS'} {'value': np.float64(48.93622623624203), 'category': 'BFS'} {'value': np.float64(45.71528801169143), 'category': 'BFS'} {'value': np.float64(47.43110547988597), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(43.13118956315911), 'category': 'NLU'} {'value': np.float64(45.77114427860697), 'category': 'NLU'} {'value': np.float64(-0.015363788820154219), 'category': 'NLU'} {'value': np.float64(23.43588415972712), 'category': 'NLU'} {'value': np.float64(18.867630906186005), 'category': 'NLU'} {'value': np.float64(23.020245154283693), 'category': 'NLU'} {'value': np.float64(42.99174436502196), 'category': 'CFK'} {'value': np.float64(37.371442699146954), 'category': 'CFK'} {'value': np.float64(68.60000000000001), 'category': 'CFK'} {'value': np.float64(48.17765385381398), 'category': 'CFK'}
|
| 25 |
+
24 utter-project_EuroLLM-1.7B-Instruct_bfloat16 bfloat16 fine-tuned 🔶 Original LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/utter-project/EuroLLM-1.7B-Instruct"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">utter-project/EuroLLM-1.7B-Instruct</a>" 29.026062805640606 48.90677371440201 48.40282929335186 42.11188860446482 Apache 2.0 1.7 0 True 👁 👁 {'value': np.float64(31.985667907752934), 'category': 'NLU'} {'value': np.float64(42.690626517727054), 'category': 'NLU'} {'value': np.float64(32.081911262798634), 'category': 'CFK'} {'value': np.float64(26.444444444444443), 'category': 'NLU'} {'value': np.float64(23.08724832214765), 'category': 'BFS'} {'value': np.float64(38.52675937129336), 'category': 'BFS'} {'value': np.float64(38.36815973912748), 'category': 'BFS'} {'value': np.float64(42.0319790341908), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(41.263199495747166), 'category': 'NLU'} {'value': np.float64(42.752293577981646), 'category': 'NLU'} {'value': np.float64(0.0), 'category': 'NLU'} {'value': np.float64(29.71568006510892), 'category': 'NLU'} {'value': np.float64(28.268396958909843), 'category': 'NLU'} {'value': np.float64(18.114256283093443), 'category': 'NLU'} {'value': np.float64(56.35864026344707), 'category': 'CFK'} {'value': np.float64(42.233488326385704), 'category': 'CFK'} {'value': np.float64(66.2), 'category': 'CFK'} {'value': np.float64(47.65982871937861), 'category': 'CFK'}
|
| 26 |
+
13 swap-uniba_LLaMAntino-2-chat-7b-hf-ITA_bfloat16 bfloat16 fine-tuned 🔶 Adapter LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/swap-uniba/LLaMAntino-2-chat-7b-hf-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">swap-uniba/LLaMAntino-2-chat-7b-hf-ITA</a>" 25.62900900485081 46.472723322751754 50.321561903359665 40.807764743654076 Llama 2 Community License 7.0 0 True 🙈 👁 {'value': np.float64(47.32809806550469), 'category': 'NLU'} {'value': np.float64(43.776841477788466), 'category': 'NLU'} {'value': np.float64(29.180887372013654), 'category': 'CFK'} {'value': np.float64(28.111111111111107), 'category': 'NLU'} {'value': np.float64(23.48993288590604), 'category': 'BFS'} {'value': np.float64(41.57668822526659), 'category': 'BFS'} {'value': np.float64(41.556830771361305), 'category': 'BFS'} {'value': np.float64(44.984357634264406), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(41.716872329343005), 'category': 'NLU'} {'value': np.float64(43.53102430893341), 'category': 'NLU'} {'value': np.float64(-0.02574637563194932), 'category': 'NLU'} {'value': np.float64(7.893416571316863), 'category': 'NLU'} {'value': np.float64(8.990083329762001), 'category': 'NLU'} {'value': np.float64(9.339380225529704), 'category': 'NLU'} {'value': np.float64(58.43272201840739), 'category': 'CFK'} {'value': np.float64(39.880897484241935), 'category': 'CFK'} {'value': np.float64(61.8), 'category': 'CFK'} {'value': np.float64(43.06910973909579), 'category': 'CFK'}
|
| 27 |
+
27 mudler_Asinello-Minerva-3B-v0.1_bfloat16 bfloat16 fine-tuned 🔶 Original MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/mudler/Asinello-Minerva-3B-v0.1"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">mudler/Asinello-Minerva-3B-v0.1</a>" 21.543223489019738 40.295594231626076 60.18505836687025 40.67462536250536 Apache 2.0 3.0 0 True 🙈 🙈 {'value': np.float64(45.09996030304822), 'category': 'NLU'} {'value': np.float64(39.99523626303157), 'category': 'NLU'} {'value': np.float64(31.313993174061434), 'category': 'CFK'} {'value': np.float64(22.11111111111111), 'category': 'NLU'} {'value': np.float64(68.32214765100672), 'category': 'BFS'} {'value': np.float64(47.55397203410558), 'category': 'BFS'} {'value': np.float64(45.30802340259594), 'category': 'BFS'} {'value': np.float64(39.74114874664304), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(39.15953907691152), 'category': 'NLU'} {'value': np.float64(24.75483870967742), 'category': 'NLU'} {'value': np.float64(0.040248148749341475), 'category': 'NLU'} {'value': np.float64(-7.95587761012867), 'category': 'NLU'} {'value': np.float64(15.012825978935076), 'category': 'NLU'} {'value': np.float64(15.671129419842087), 'category': 'NLU'} {'value': np.float64(16.540866683348263), 'category': 'CFK'} {'value': np.float64(40.559100147563925), 'category': 'CFK'} {'value': np.float64(66.4), 'category': 'CFK'} {'value': np.float64(46.66401115315674), 'category': 'CFK'}
|
| 28 |
+
21 sapienzanlp_Minerva-1B-base-v1.0_bfloat16 bfloat16 pretrained 🟢 Original MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/sapienzanlp/Minerva-1B-base-v1.0"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">sapienzanlp/Minerva-1B-base-v1.0</a>" 29.37689492680925 35.95468750733228 53.9028524289684 39.74481162103664 Apache 2.0 1.0 0 True 🙈 👁 {'value': np.float64(50.76172656624852), 'category': 'NLU'} {'value': np.float64(53.84641914146224), 'category': 'NLU'} {'value': np.float64(24.573378839590443), 'category': 'CFK'} {'value': np.float64(22.666666666666664), 'category': 'NLU'} {'value': np.float64(26.57718120805369), 'category': 'BFS'} {'value': np.float64(48.25128927047713), 'category': 'BFS'} {'value': np.float64(44.581537708222804), 'category': 'BFS'} {'value': np.float64(50.10425395808837), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(46.49541549308013), 'category': 'NLU'} {'value': np.float64(45.46046920890855), 'category': 'NLU'} {'value': np.float64(0.022249590030925144), 'category': 'NLU'} {'value': np.float64(14.249015813966443), 'category': 'NLU'} {'value': np.float64(14.318627170406216), 'category': 'NLU'} {'value': np.float64(16.571464690513597), 'category': 'NLU'} {'value': np.float64(17.48160254077023), 'category': 'CFK'} {'value': np.float64(39.747932356260876), 'category': 'CFK'} {'value': np.float64(60.0), 'category': 'CFK'} {'value': np.float64(37.970523800039835), 'category': 'CFK'}
|
| 29 |
+
20 sapienzanlp_Minerva-350M-base-v1.0_bfloat16 bfloat16 pretrained 🟢 Original MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/sapienzanlp/Minerva-350M-base-v1.0"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">sapienzanlp/Minerva-350M-base-v1.0</a>" 25.224199901777368 32.348128725709046 56.325635671949826 37.96598809981208 Apache 2.0 0.35 0 True 🙈 👁 {'value': np.float64(45.17543859649123), 'category': 'NLU'} {'value': np.float64(35.72145622912868), 'category': 'NLU'} {'value': np.float64(24.40273037542662), 'category': 'CFK'} {'value': np.float64(22.88888888888889), 'category': 'NLU'} {'value': np.float64(52.75167785234899), 'category': 'BFS'} {'value': np.float64(41.92832319168979), 'category': 'BFS'} {'value': np.float64(40.67042217927179), 'category': 'BFS'} {'value': np.float64(46.277755136438564), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(36.23277134884009), 'category': 'NLU'} {'value': np.float64(43.223117993157416), 'category': 'NLU'} {'value': np.float64(-0.036868413829916326), 'category': 'NLU'} {'value': np.float64(10.516645269272637), 'category': 'NLU'} {'value': np.float64(9.907975858757172), 'category': 'NLU'} {'value': np.float64(23.388373345290127), 'category': 'NLU'} {'value': np.float64(4.903980027793706), 'category': 'CFK'} {'value': np.float64(43.7486912416563), 'category': 'CFK'} {'value': np.float64(56.599999999999994), 'category': 'CFK'} {'value': np.float64(32.085241983668595), 'category': 'CFK'}
|
| 30 |
+
26 mudler_Minerva-3B-Llama3-Instruct-v0.1_bfloat16 bfloat16 fine-tuned 🔶 Original MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/mudler/Minerva-3B-Llama3-Instruct-v0.1"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">mudler/Minerva-3B-Llama3-Instruct-v0.1</a>" 25.85871212875818 39.419192381843075 45.18868137950004 36.822195296700436 Apache 2.0 3.0 0 True 🙈 🙈 {'value': np.float64(45.17543859649123), 'category': 'NLU'} {'value': np.float64(33.33333333333333), 'category': 'NLU'} {'value': np.float64(31.399317406143346), 'category': 'CFK'} {'value': np.float64(24.555555555555557), 'category': 'NLU'} {'value': np.float64(31.00671140939597), 'category': 'BFS'} {'value': np.float64(35.231447465099194), 'category': 'BFS'} {'value': np.float64(36.62832494608195), 'category': 'BFS'} {'value': np.float64(23.076923076923077), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(33.432794199665366), 'category': 'NLU'} {'value': np.float64(44.34307975041542), 'category': 'NLU'} {'value': np.float64(0.0), 'category': 'NLU'} {'value': np.float64(9.18547745004222), 'category': 'NLU'} {'value': np.float64(26.88514880742613), 'category': 'NLU'} {'value': np.float64(15.817581465894351), 'category': 'NLU'} {'value': np.float64(13.414960805345139), 'category': 'CFK'} {'value': np.float64(42.266626936125604), 'category': 'CFK'} {'value': np.float64(63.6), 'category': 'CFK'} {'value': np.float64(46.41505676160128), 'category': 'CFK'}
|
src/about.py
CHANGED
|
@@ -28,7 +28,8 @@ class Tasks(Enum):
|
|
| 28 |
task14 = Task("ironita_irony", "f1,none", "IronITA Irony", "NLU")
|
| 29 |
task15 = Task("ironita_sarcasm", "f1,none", "IronITA Sarcasm", "NLU")
|
| 30 |
task7 = Task("itacola", "mcc,none", "ItaCoLA", "NLU", scale_by_100=False)
|
| 31 |
-
task8 = Task("
|
|
|
|
| 32 |
task16 = Task("sentipolc", "f1,none", "SENTIPOLC", "NLU")
|
| 33 |
task9 = Task("squad_it", "squad_f1,get-answer", "SQuAD it", "CFK")
|
| 34 |
task10 = Task("truthfulqa_mc2_ita", "acc,none", "TruthfulQA", "CFK")
|
|
|
|
| 28 |
task14 = Task("ironita_irony", "f1,none", "IronITA Irony", "NLU")
|
| 29 |
task15 = Task("ironita_sarcasm", "f1,none", "IronITA Sarcasm", "NLU")
|
| 30 |
task7 = Task("itacola", "mcc,none", "ItaCoLA", "NLU", scale_by_100=False)
|
| 31 |
+
task8 = Task("news_sum_fanpage", "bertscore,none", "News Sum (fanpage)", "NLU")
|
| 32 |
+
task18 = Task("news_sum_ilpost", "bertscore,none", "News Sum (il post)", "NLU")
|
| 33 |
task16 = Task("sentipolc", "f1,none", "SENTIPOLC", "NLU")
|
| 34 |
task9 = Task("squad_it", "squad_f1,get-answer", "SQuAD it", "CFK")
|
| 35 |
task10 = Task("truthfulqa_mc2_ita", "acc,none", "TruthfulQA", "CFK")
|
src/leaderboard/read_evals.py
CHANGED
|
@@ -12,6 +12,7 @@ from src.display.utils import AutoEvalColumn, ModelType, Tasks, Precision, Weigh
|
|
| 12 |
from src.submission.check_validity import is_model_on_hub
|
| 13 |
|
| 14 |
import pdb
|
|
|
|
| 15 |
|
| 16 |
|
| 17 |
@dataclass
|
|
@@ -55,6 +56,11 @@ class EvalResult:
|
|
| 55 |
"training_data": DisclosedType.from_str(config.get("training_data", "")),
|
| 56 |
}
|
| 57 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 58 |
# Precision
|
| 59 |
precision = Precision.from_str(config.get("model_dtype"))
|
| 60 |
|
|
@@ -202,22 +208,16 @@ def get_raw_eval_results(results_path: str, requests_path: str) -> list[EvalResu
|
|
| 202 |
"""From the path of the results folder root, extract all needed info for results"""
|
| 203 |
model_result_filepaths = []
|
| 204 |
|
| 205 |
-
|
| 206 |
-
|
| 207 |
-
|
| 208 |
-
continue
|
| 209 |
-
|
| 210 |
-
# Sort the files by date
|
| 211 |
-
try:
|
| 212 |
-
files.sort(key=lambda x: x.removesuffix(".json").removeprefix("results_")[:-7])
|
| 213 |
-
except dateutil.parser._parser.ParserError:
|
| 214 |
-
files = [files[-1]]
|
| 215 |
|
| 216 |
-
|
| 217 |
-
|
| 218 |
|
| 219 |
-
|
| 220 |
-
|
|
|
|
| 221 |
|
| 222 |
eval_results = {}
|
| 223 |
for model_result_filepath in model_result_filepaths:
|
|
|
|
| 12 |
from src.submission.check_validity import is_model_on_hub
|
| 13 |
|
| 14 |
import pdb
|
| 15 |
+
import yaml
|
| 16 |
|
| 17 |
|
| 18 |
@dataclass
|
|
|
|
| 56 |
"training_data": DisclosedType.from_str(config.get("training_data", "")),
|
| 57 |
}
|
| 58 |
|
| 59 |
+
if config.get("model_name", None) == "DeepMount00/Llama-3-8b-Ita":
|
| 60 |
+
import pdb
|
| 61 |
+
|
| 62 |
+
pdb.set_trace()
|
| 63 |
+
|
| 64 |
# Precision
|
| 65 |
precision = Precision.from_str(config.get("model_dtype"))
|
| 66 |
|
|
|
|
| 208 |
"""From the path of the results folder root, extract all needed info for results"""
|
| 209 |
model_result_filepaths = []
|
| 210 |
|
| 211 |
+
model_info_path = os.path.join(results_path, "model_info.yaml")
|
| 212 |
+
with open(model_info_path, "r") as f:
|
| 213 |
+
model_info = yaml.safe_load(f)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 214 |
|
| 215 |
+
model_name_list = model_info.keys()
|
| 216 |
+
model_folders = [m.replace("/", "__") for m in model_name_list]
|
| 217 |
|
| 218 |
+
for model_folder in model_folders:
|
| 219 |
+
print(f"Reading data from {model_folder}")
|
| 220 |
+
model_result_filepaths += glob.glob(os.path.join(results_path, model_folder, "results_*.json"))
|
| 221 |
|
| 222 |
eval_results = {}
|
| 223 |
for model_result_filepath in model_result_filepaths:
|