g8a9 commited on
Commit
ec1a7eb
Β·
1 Parent(s): 5d2051e

- simplify logic to retrieve results files

Browse files

- split news sums tasks
- update latest_results with new models

Files changed (3) hide show
  1. latest_results.tsv +30 -18
  2. src/about.py +2 -1
  3. src/leaderboard/read_evals.py +14 -14
latest_results.tsv CHANGED
@@ -1,18 +1,30 @@
1
- eval_name Precision Type T Weight type Architecture Model Avg NLU Avg CFK Avg BFS Avg ⬆️ Hub License #Params (B) Model sha Hub ❀️ Available on the hub Code Data AMI 2020 Agg AMI 2020 Miso ARC-C Belebele GeNTE Neutralizing HaSpeeDe2 HS HaSpeeDe2 Stereo HateCheck HONEST IronITA Irony IronITA Sarcasm ItaCoLA News Sum SENTIPOLC SQuAD it TruthfulQA XCOPA Hellaswag-it
2
- 6 swap-uniba_LLaMAntino-3-ANITA-8B-Inst-DPO-ITA_bfloat16 bfloat16 fine-tuned πŸ”Ά Adapter LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/swap-uniba/LLaMAntino-3-ANITA-8B-Inst-DPO-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">swap-uniba/LLaMAntino-3-ANITA-8B-Inst-DPO-ITA</a>" 50.15912285053053 66.8637539701687 69.6423469054011 62.22174124203344 Llama 3 Community License Agreement 8.0 0 True πŸ‘ πŸ‘ {'value': 49.61934617107031, 'category': 'NLU'} {'value': 73.58604698054239, 'category': 'NLU'} {'value': 56.484641638225256, 'category': 'CFK'} {'value': 83.55555555555556, 'category': 'NLU'} {'value': 33.8255033557047, 'category': 'BFS'} {'value': 72.24399819126907, 'category': 'BFS'} {'value': 61.627116844508144, 'category': 'BFS'} {'value': 80.51511613552358, 'category': 'BFS'} {'value': 100.0, 'category': 'BFS'} {'value': 67.79529918401192, 'category': 'NLU'} {'value': 46.19514665929917, 'category': 'NLU'} {'value': 0.24261234404280246, 'category': 'NLU'} {'value': 33.783978293075634, 'category': 'NLU'} {'value': 46.49499761664646, 'category': 'NLU'} {'value': 71.27317142821833, 'category': 'CFK'} {'value': 68.09423700746308, 'category': 'CFK'} {'value': 73.4, 'category': 'CFK'} {'value': 65.06671977693686, 'category': 'CFK'}
3
- 13 mistralai_Mistral-7B-Instruct-v0.2_bfloat16 bfloat16 fine-tuned πŸ”Ά Delta MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">mistralai/Mistral-7B-Instruct-v0.2</a>" 49.62173851779433 58.69183546703023 69.176267976939 59.163280653921184 Apache 2.0 7.0 0 True πŸ™ˆ πŸ™ˆ {'value': 61.95096430524839, 'category': 'NLU'} {'value': 66.42194008585093, 'category': 'NLU'} {'value': 44.36860068259386, 'category': 'CFK'} {'value': 67.22222222222223, 'category': 'NLU'} {'value': 29.12751677852349, 'category': 'BFS'} {'value': 71.07491292799637, 'category': 'BFS'} {'value': 67.27017961567233, 'category': 'BFS'} {'value': 78.40873056250285, 'category': 'BFS'} {'value': 100.0, 'category': 'BFS'} {'value': 59.16469471738617, 'category': 'NLU'} {'value': 55.53851376330874, 'category': 'NLU'} {'value': 0.27708420363666786, 'category': 'NLU'} {'value': 36.377962201593874, 'category': 'NLU'} {'value': 50.02052664310759, 'category': 'NLU'} {'value': 68.04841543730598, 'category': 'CFK'} {'value': 59.24407318497844, 'category': 'CFK'} {'value': 64.2, 'category': 'CFK'} {'value': 57.598088030272855, 'category': 'CFK'}
4
- 8 mii-community_zefiro-7b-dpo-ITA_bfloat16 bfloat16 fine-tuned πŸ”Ά Adapter MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/mii-community/zefiro-7b-dpo-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">mii-community/zefiro-7b-dpo-ITA</a>" 47.51869156825104 57.89491206679833 68.2055343559792 57.87304599700952 Apache 2.0 7.0 0 True πŸ™ˆ πŸ‘ {'value': 59.97920997920998, 'category': 'NLU'} {'value': 66.14027143881808, 'category': 'NLU'} {'value': 44.19795221843004, 'category': 'CFK'} {'value': 65.88888888888889, 'category': 'NLU'} {'value': 29.798657718120808, 'category': 'BFS'} {'value': 66.93068606112085, 'category': 'BFS'} {'value': 61.46209894750329, 'category': 'BFS'} {'value': 82.83622905315102, 'category': 'BFS'} {'value': 100.0, 'category': 'BFS'} {'value': 58.523449206965395, 'category': 'NLU'} {'value': 54.918191698733956, 'category': 'NLU'} {'value': 0.22337556862808253, 'category': 'NLU'} {'value': 35.66642647158017, 'category': 'NLU'} {'value': 38.80971929318383, 'category': 'NLU'} {'value': 74.34293876621986, 'category': 'CFK'} {'value': 43.34227321311386, 'category': 'CFK'} {'value': 68.4, 'category': 'CFK'} {'value': 59.191396136227844, 'category': 'CFK'}
5
- 5 meta-llama_Meta-Llama-3-8B_bfloat16 bfloat16 pretrained 🟒 Original LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/meta-llama/Meta-Llama-3-8B"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">meta-llama/Meta-Llama-3-8B</a>" 48.29856362856205 57.42199318457142 66.8371135489557 57.51922345402972 Meta Llama 3 Community License 8.0 0 True πŸ™ˆ πŸ™ˆ {'value': 60.02710027100271, 'category': 'NLU'} {'value': 63.14678395603251, 'category': 'NLU'} {'value': 40.529010238907844, 'category': 'CFK'} {'value': 76.0, 'category': 'NLU'} {'value': 29.53020134228188, 'category': 'BFS'} {'value': 65.30297764359561, 'category': 'BFS'} {'value': 59.541073390095356, 'category': 'BFS'} {'value': 79.81131536880565, 'category': 'BFS'} {'value': 100.0, 'category': 'BFS'} {'value': 57.31801541230962, 'category': 'NLU'} {'value': 56.750548188367965, 'category': 'NLU'} {'value': 0.2786244415689118, 'category': 'NLU'} {'value': 32.93607461627173, 'category': 'NLU'} {'value': 39.93136214294286, 'category': 'NLU'} {'value': 76.49082768675667, 'category': 'CFK'} {'value': 42.06877766857276, 'category': 'CFK'} {'value': 71.2, 'category': 'CFK'} {'value': 56.8213503286198, 'category': 'CFK'}
6
- 15 mii-community_zefiro-7b-base-ITA_bfloat16 bfloat16 fine-tuned πŸ”Ά Delta MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/mii-community/zefiro-7b-base-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">mii-community/zefiro-7b-base-ITA</a>" 46.70847713397559 57.115645622716485 67.35862672334422 57.06091649334544 Apache 2.0 7.0 0 True πŸ™ˆ πŸ‘ {'value': 60.14362403797995, 'category': 'NLU'} {'value': 64.54082375784897, 'category': 'NLU'} {'value': 40.955631399317404, 'category': 'CFK'} {'value': 58.55555555555556, 'category': 'NLU'} {'value': 28.456375838926174, 'category': 'BFS'} {'value': 66.12858980217781, 'category': 'BFS'} {'value': 59.74063711314884, 'category': 'BFS'} {'value': 82.46753086246828, 'category': 'BFS'} {'value': 100.0, 'category': 'BFS'} {'value': 59.05311714498798, 'category': 'NLU'} {'value': 57.8863223808017, 'category': 'NLU'} {'value': 0.09963712635854956, 'category': 'NLU'} {'value': 34.19887652648641, 'category': 'NLU'} {'value': 39.18986054178559, 'category': 'NLU'} {'value': 75.6692177776856, 'category': 'CFK'} {'value': 46.18926820166605, 'category': 'CFK'} {'value': 66.60000000000001, 'category': 'CFK'} {'value': 56.164110734913365, 'category': 'CFK'}
7
- 10 mii-community_zefiro-7b-sft-ITA_bfloat16 bfloat16 fine-tuned πŸ”Ά Adapter MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/mii-community/zefiro-7b-sft-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">mii-community/zefiro-7b-sft-ITA</a>" 46.84018585967878 56.40022559897527 67.23695288016117 56.825788112938405 Apache 2.0 7.0 0 True πŸ™ˆ πŸ‘ {'value': 60.458679319889285, 'category': 'NLU'} {'value': 63.51256529535591, 'category': 'NLU'} {'value': 42.32081911262799, 'category': 'CFK'} {'value': 67.77777777777779, 'category': 'NLU'} {'value': 27.248322147651006, 'category': 'BFS'} {'value': 65.72752014372092, 'category': 'BFS'} {'value': 60.158604473839915, 'category': 'BFS'} {'value': 83.05031763559394, 'category': 'BFS'} {'value': 100.0, 'category': 'BFS'} {'value': 52.69566548195397, 'category': 'NLU'} {'value': 51.630329924754, 'category': 'NLU'} {'value': 0.08940878967203518, 'category': 'NLU'} {'value': 34.80608014621687, 'category': 'NLU'} {'value': 43.75098014181036, 'category': 'NLU'} {'value': 74.55382319645513, 'category': 'CFK'} {'value': 42.52003278796414, 'category': 'CFK'} {'value': 67.0, 'category': 'CFK'} {'value': 55.606452897829115, 'category': 'CFK'}
8
- 11 mistralai_Mistral-7B-v0.1_bfloat16 bfloat16 pretrained 🟒 Original MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/mistralai/Mistral-7B-v0.1"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">mistralai/Mistral-7B-v0.1</a>" 46.732352034614806 56.099282379017794 65.68372283507196 56.17178574956819 Apache 2.0 7.0 0 True πŸ™ˆ πŸ™ˆ {'value': 60.52050697114497, 'category': 'NLU'} {'value': 63.66158365032981, 'category': 'NLU'} {'value': 41.21160409556314, 'category': 'CFK'} {'value': 65.66666666666666, 'category': 'NLU'} {'value': 29.53020134228188, 'category': 'BFS'} {'value': 60.38816689466484, 'category': 'BFS'} {'value': 57.907599364752336, 'category': 'BFS'} {'value': 80.59264657366079, 'category': 'BFS'} {'value': 100.0, 'category': 'BFS'} {'value': 55.23299236027556, 'category': 'NLU'} {'value': 55.67900219124808, 'category': 'NLU'} {'value': 0.131895692851752, 'category': 'NLU'} {'value': 34.09475870496535, 'category': 'NLU'} {'value': 38.87141003943634, 'category': 'NLU'} {'value': 75.08500650762954, 'category': 'CFK'} {'value': 43.19251190731156, 'category': 'CFK'} {'value': 65.60000000000001, 'category': 'CFK'} {'value': 55.40728938458474, 'category': 'CFK'}
9
- 9 swap-uniba_LLaMAntino-2-chat-13b-hf-ITA_bfloat16 bfloat16 fine-tuned πŸ”Ά Adapter LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/swap-uniba/LLaMAntino-2-chat-13b-hf-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">swap-uniba/LLaMAntino-2-chat-13b-hf-ITA</a>" 44.43040251782813 56.03239812713 66.71944637887557 55.72741567461123 Llama 2 Community License 13.0 0 True πŸ™ˆ πŸ‘ {'value': 61.41230947327803, 'category': 'NLU'} {'value': 64.77739009492042, 'category': 'NLU'} {'value': 39.07849829351536, 'category': 'CFK'} {'value': 60.44444444444444, 'category': 'NLU'} {'value': 25.503355704697988, 'category': 'BFS'} {'value': 67.1548291501024, 'category': 'BFS'} {'value': 59.101414060364085, 'category': 'BFS'} {'value': 81.83763297921335, 'category': 'BFS'} {'value': 100.0, 'category': 'BFS'} {'value': 57.92048929663609, 'category': 'NLU'} {'value': 52.2777996043644, 'category': 'NLU'} {'value': 0.1015435288181161, 'category': 'NLU'} {'value': 23.81691473597593, 'category': 'NLU'} {'value': 34.69232896418751, 'category': 'NLU'} {'value': 73.10003377486571, 'category': 'CFK'} {'value': 44.43667505800782, 'category': 'CFK'} {'value': 70.39999999999999, 'category': 'CFK'} {'value': 53.146783509261105, 'category': 'CFK'}
10
- 0 meta-llama_Llama-2-13b-hf_bfloat16 bfloat16 pretrained 🟒 Original LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/meta-llama/Llama-2-13b-hf"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">meta-llama/Llama-2-13b-hf</a>" 41.85065195875397 56.39967689118707 61.493331674248495 53.24788684139651 Llama 2 Community License 13.0 0 True πŸ™ˆ πŸ™ˆ {'value': 53.24565637065637, 'category': 'NLU'} {'value': 59.32319654843206, 'category': 'NLU'} {'value': 39.93174061433447, 'category': 'CFK'} {'value': 49.666666666666664, 'category': 'NLU'} {'value': 24.295302013422816, 'category': 'BFS'} {'value': 54.13600451447075, 'category': 'BFS'} {'value': 54.88702987697715, 'category': 'BFS'} {'value': 74.1483219663718, 'category': 'BFS'} {'value': 100.0, 'category': 'BFS'} {'value': 50.34584608393744, 'category': 'NLU'} {'value': 49.636673785442774, 'category': 'NLU'} {'value': 0.11758183179468357, 'category': 'NLU'} {'value': 35.09699883531247, 'category': 'NLU'} {'value': 37.37259554778931, 'category': 'NLU'} {'value': 75.22840229480128, 'category': 'CFK'} {'value': 42.91722979615231, 'category': 'CFK'} {'value': 69.39999999999999, 'category': 'CFK'} {'value': 54.52101175064728, 'category': 'CFK'}
11
- 3 swap-uniba_LLaMAntino-2-13b-hf-ITA_bfloat16 bfloat16 fine-tuned πŸ”Ά Adapter LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/swap-uniba/LLaMAntino-2-13b-hf-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">swap-uniba/LLaMAntino-2-13b-hf-ITA</a>" 42.55180887560955 56.134928395066495 60.86087434667943 53.18253720578516 Llama 2 Community License 13.0 0 True πŸ™ˆ πŸ‘ {'value': 56.79723502304148, 'category': 'NLU'} {'value': 60.93495016444478, 'category': 'NLU'} {'value': 38.56655290102389, 'category': 'CFK'} {'value': 52.33333333333333, 'category': 'NLU'} {'value': 24.697986577181208, 'category': 'BFS'} {'value': 57.1976786986929, 'category': 'BFS'} {'value': 54.2447910290625, 'category': 'BFS'} {'value': 68.16391542846057, 'category': 'BFS'} {'value': 100.0, 'category': 'BFS'} {'value': 56.51605280366516, 'category': 'NLU'} {'value': 51.571111501558086, 'category': 'NLU'} {'value': 0.16387751408972254, 'category': 'NLU'} {'value': 23.495330157527007, 'category': 'NLU'} {'value': 38.60258050721683, 'category': 'NLU'} {'value': 74.20709928774112, 'category': 'CFK'} {'value': 42.12767769734222, 'category': 'CFK'} {'value': 71.8, 'category': 'CFK'} {'value': 53.97331208922525, 'category': 'CFK'}
12
- 2 g8a9_tweety-mistral-7b_bfloat16 bfloat16 fine-tuned πŸ”Ά Delta MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/g8a9/tweety-mistral-7b"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">g8a9/tweety-mistral-7b</a>" 38.661388892098834 54.395439989754266 59.92245878392879 50.99309588859396 Apache 2.0 7.0 0 True πŸ‘ πŸ‘ {'value': 56.17170479302832, 'category': 'NLU'} {'value': 56.423255312264054, 'category': 'NLU'} {'value': 37.96928327645051, 'category': 'CFK'} {'value': 49.666666666666664, 'category': 'NLU'} {'value': 27.91946308724832, 'category': 'BFS'} {'value': 53.70259637851317, 'category': 'BFS'} {'value': 53.57434872305199, 'category': 'BFS'} {'value': 64.41588573083048, 'category': 'BFS'} {'value': 100.0, 'category': 'BFS'} {'value': 50.21506876304183, 'category': 'NLU'} {'value': 49.42973129711966, 'category': 'NLU'} {'value': 0.11006633622278786, 'category': 'NLU'} {'value': 18.81035591897043, 'category': 'NLU'} {'value': 28.46426204947685, 'category': 'NLU'} {'value': 64.39794432633592, 'category': 'CFK'} {'value': 37.75548120876122, 'category': 'CFK'} {'value': 73.4, 'category': 'CFK'} {'value': 58.45449113722366, 'category': 'CFK'}
13
- 14 meta-llama_Llama-2-7b-hf_bfloat16 bfloat16 pretrained 🟒 Original LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/meta-llama/Llama-2-7b-hf"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">meta-llama/Llama-2-7b-hf</a>" 37.63391313202453 51.72929042818041 58.70465604622213 49.35595320214236 Llama 2 Community License 7.0 0 True πŸ™ˆ πŸ™ˆ {'value': 50.26836062232489, 'category': 'NLU'} {'value': 57.089775606014214, 'category': 'NLU'} {'value': 35.153583617747444, 'category': 'CFK'} {'value': 36.11111111111111, 'category': 'NLU'} {'value': 25.100671140939596, 'category': 'BFS'} {'value': 49.33536331841416, 'category': 'BFS'} {'value': 51.73318260900284, 'category': 'BFS'} {'value': 67.35406316275402, 'category': 'BFS'} {'value': 100.0, 'category': 'BFS'} {'value': 47.63910390674802, 'category': 'NLU'} {'value': 48.347086153434084, 'category': 'NLU'} {'value': 0.036528464070504335, 'category': 'NLU'} {'value': 33.756452251726735, 'category': 'NLU'} {'value': 27.82288694076669, 'category': 'NLU'} {'value': 68.6449557225095, 'category': 'CFK'} {'value': 39.16657442183614, 'category': 'CFK'} {'value': 66.0, 'category': 'CFK'} {'value': 49.681338378809, 'category': 'CFK'}
14
- 1 swap-uniba_LLaMAntino-2-7b-hf-ITA_bfloat16 bfloat16 fine-tuned πŸ”Ά Adapter LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/swap-uniba/LLaMAntino-2-7b-hf-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">swap-uniba/LLaMAntino-2-7b-hf-ITA</a>" 34.9414685603479 52.13761513263328 55.65104269523598 47.57670879607239 Llama 2 Community License 7.0 0 True πŸ™ˆ πŸ‘ {'value': 51.11111111111111, 'category': 'NLU'} {'value': 53.267951636107355, 'category': 'NLU'} {'value': 33.70307167235495, 'category': 'CFK'} {'value': 34.66666666666667, 'category': 'NLU'} {'value': 24.295302013422816, 'category': 'BFS'} {'value': 45.514286626950536, 'category': 'BFS'} {'value': 47.59019966407009, 'category': 'BFS'} {'value': 60.855425171736485, 'category': 'BFS'} {'value': 100.0, 'category': 'BFS'} {'value': 47.55193616643805, 'category': 'NLU'} {'value': 46.04838972288254, 'category': 'NLU'} {'value': 0.043130721156949686, 'category': 'NLU'} {'value': 24.582547279426233, 'category': 'NLU'} {'value': 22.260015178994326, 'category': 'NLU'} {'value': 69.30864535653794, 'category': 'CFK'} {'value': 40.48297086291322, 'category': 'CFK'} {'value': 68.0, 'category': 'CFK'} {'value': 49.193387771360285, 'category': 'CFK'}
15
- 7 sapienzanlp_Minerva-3B-base-v1.0_bfloat16 bfloat16 pretrained 🟒 Original MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/sapienzanlp/Minerva-3B-base-v1.0"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">sapienzanlp/Minerva-3B-base-v1.0</a>" 32.51780487861425 45.62270743274333 53.03397360999342 43.72482864045033 Apache 2.0 3.0 0 True πŸ™ˆ πŸ‘ {'value': 49.875480140137604, 'category': 'NLU'} {'value': 52.15633707230505, 'category': 'NLU'} {'value': 30.97269624573379, 'category': 'CFK'} {'value': 24.333333333333336, 'category': 'NLU'} {'value': 23.08724832214765, 'category': 'BFS'} {'value': 48.93622623624203, 'category': 'BFS'} {'value': 45.71528801169143, 'category': 'BFS'} {'value': 47.43110547988597, 'category': 'BFS'} {'value': 100.0, 'category': 'BFS'} {'value': 43.13118956315911, 'category': 'NLU'} {'value': 45.77114427860697, 'category': 'NLU'} {'value': -0.015363788820154219, 'category': 'NLU'} {'value': 21.8700732759084, 'category': 'NLU'} {'value': 23.020245154283693, 'category': 'NLU'} {'value': 42.99174436502196, 'category': 'CFK'} {'value': 37.371442699146954, 'category': 'CFK'} {'value': 68.60000000000001, 'category': 'CFK'} {'value': 48.17765385381398, 'category': 'CFK'}
16
- 12 swap-uniba_LLaMAntino-2-chat-7b-hf-ITA_bfloat16 bfloat16 fine-tuned πŸ”Ά Adapter LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/swap-uniba/LLaMAntino-2-chat-7b-hf-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">swap-uniba/LLaMAntino-2-chat-7b-hf-ITA</a>" 27.755861293433362 46.472723322751754 50.321561903359665 41.51671550651493 Llama 2 Community License 7.0 0 True πŸ™ˆ πŸ‘ {'value': 47.32809806550469, 'category': 'NLU'} {'value': 43.776841477788466, 'category': 'NLU'} {'value': 29.180887372013654, 'category': 'CFK'} {'value': 28.111111111111107, 'category': 'NLU'} {'value': 23.48993288590604, 'category': 'BFS'} {'value': 41.57668822526659, 'category': 'BFS'} {'value': 41.556830771361305, 'category': 'BFS'} {'value': 44.984357634264406, 'category': 'BFS'} {'value': 100.0, 'category': 'BFS'} {'value': 41.716872329343005, 'category': 'NLU'} {'value': 43.53102430893341, 'category': 'NLU'} {'value': -0.02574637563194932, 'category': 'NLU'} {'value': 8.269309204888462, 'category': 'NLU'} {'value': 9.339380225529704, 'category': 'NLU'} {'value': 58.43272201840739, 'category': 'CFK'} {'value': 39.880897484241935, 'category': 'CFK'} {'value': 61.8, 'category': 'CFK'} {'value': 43.06910973909579, 'category': 'CFK'}
17
- 4 sapienzanlp_Minerva-1B-base-v1.0_bfloat16 bfloat16 pretrained 🟒 Original MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/sapienzanlp/Minerva-1B-base-v1.0"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">sapienzanlp/Minerva-1B-base-v1.0</a>" 31.262160888066564 35.95468750733228 53.9028524289684 40.37323360812241 Apache 2.0 1.0 0 True πŸ™ˆ πŸ‘ {'value': 50.76172656624852, 'category': 'NLU'} {'value': 53.84641914146224, 'category': 'NLU'} {'value': 24.573378839590443, 'category': 'CFK'} {'value': 22.666666666666664, 'category': 'NLU'} {'value': 26.57718120805369, 'category': 'BFS'} {'value': 48.25128927047713, 'category': 'BFS'} {'value': 44.581537708222804, 'category': 'BFS'} {'value': 50.10425395808837, 'category': 'BFS'} {'value': 100.0, 'category': 'BFS'} {'value': 46.49541549308013, 'category': 'NLU'} {'value': 45.46046920890855, 'category': 'NLU'} {'value': 0.022249590030925144, 'category': 'NLU'} {'value': 14.27287574762189, 'category': 'NLU'} {'value': 16.571464690513597, 'category': 'NLU'} {'value': 17.48160254077023, 'category': 'CFK'} {'value': 39.747932356260876, 'category': 'CFK'} {'value': 60.0, 'category': 'CFK'} {'value': 37.970523800039835, 'category': 'CFK'}
18
- 16 sapienzanlp_Minerva-350M-base-v1.0_bfloat16 bfloat16 pretrained 🟒 Original MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/sapienzanlp/Minerva-350M-base-v1.0"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">sapienzanlp/Minerva-350M-base-v1.0</a>" 27.112649526241633 32.348128725709046 56.325635671949826 38.59547130796684 Apache 2.0 0.35 0 True πŸ™ˆ πŸ‘ {'value': 45.17543859649123, 'category': 'NLU'} {'value': 35.72145622912868, 'category': 'NLU'} {'value': 24.40273037542662, 'category': 'CFK'} {'value': 22.88888888888889, 'category': 'NLU'} {'value': 52.75167785234899, 'category': 'BFS'} {'value': 41.92832319168979, 'category': 'BFS'} {'value': 40.67042217927179, 'category': 'BFS'} {'value': 46.277755136438564, 'category': 'BFS'} {'value': 100.0, 'category': 'BFS'} {'value': 36.23277134884009, 'category': 'NLU'} {'value': 43.223117993157416, 'category': 'NLU'} {'value': -0.036868413829916326, 'category': 'NLU'} {'value': 10.308018221966565, 'category': 'NLU'} {'value': 23.388373345290127, 'category': 'NLU'} {'value': 4.903980027793706, 'category': 'CFK'} {'value': 43.7486912416563, 'category': 'CFK'} {'value': 56.599999999999994, 'category': 'CFK'} {'value': 32.085241983668595, 'category': 'CFK'}
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ eval_name Precision Type T Weight type Architecture Model Avg NLU Avg CFK Avg BFS Avg ⬆️ Hub License #Params (B) Model sha Hub ❀️ Available on the hub Code Data AMI 2020 Agg AMI 2020 Miso ARC-C Belebele GeNTE Neutralizing HaSpeeDe2 HS HaSpeeDe2 Stereo HateCheck HONEST IronITA Irony IronITA Sarcasm ItaCoLA News Sum (fanpage) News Sum (il post) SENTIPOLC SQuAD it TruthfulQA XCOPA Hellaswag-it
2
+ 15 swap-uniba_LLaMAntino-3-ANITA-8B-Inst-DPO-ITA_bfloat16 bfloat16 fine-tuned πŸ”Ά Adapter LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/swap-uniba/LLaMAntino-3-ANITA-8B-Inst-DPO-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">swap-uniba/LLaMAntino-3-ANITA-8B-Inst-DPO-ITA</a>" 48.30561075087029 66.8637539701687 69.6423469054011 61.60390387548003 Llama 3 Community License Agreement 8.0 0 True πŸ‘ πŸ‘ {'value': np.float64(49.61934617107031), 'category': 'NLU'} {'value': np.float64(73.58604698054239), 'category': 'NLU'} {'value': np.float64(56.484641638225256), 'category': 'CFK'} {'value': np.float64(83.55555555555556), 'category': 'NLU'} {'value': np.float64(33.8255033557047), 'category': 'BFS'} {'value': np.float64(72.24399819126907), 'category': 'BFS'} {'value': np.float64(61.627116844508144), 'category': 'BFS'} {'value': np.float64(80.51511613552358), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(67.79529918401192), 'category': 'NLU'} {'value': np.float64(46.19514665929917), 'category': 'NLU'} {'value': np.float64(0.24261234404280246), 'category': 'NLU'} {'value': np.float64(34.11799937153588), 'category': 'NLU'} {'value': np.float64(33.1434928751281), 'category': 'NLU'} {'value': np.float64(46.49499761664646), 'category': 'NLU'} {'value': np.float64(71.27317142821833), 'category': 'CFK'} {'value': np.float64(68.09423700746308), 'category': 'CFK'} {'value': np.float64(73.4), 'category': 'CFK'} {'value': np.float64(65.06671977693686), 'category': 'CFK'}
3
+ 19 mii-llm_maestrale-chat-v0.4-beta_bfloat16 bfloat16 fine-tuned πŸ”Ά Unknown MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/mii-llm/maestrale-chat-v0.4-beta"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">mii-llm/maestrale-chat-v0.4-beta</a>" 51.83202232667886 61.37398534451438 71.1985815472284 61.46819640614055 CC-BY-NC 4.0 7.0 0 True πŸ™ˆ πŸ™ˆ {'value': np.float64(59.150326797385624), 'category': 'NLU'} {'value': np.float64(69.87466459292264), 'category': 'NLU'} {'value': np.float64(45.81911262798635), 'category': 'CFK'} {'value': np.float64(82.88888888888889), 'category': 'NLU'} {'value': np.float64(31.140939597315437), 'category': 'BFS'} {'value': np.float64(72.33846393236428), 'category': 'BFS'} {'value': np.float64(66.53207391127643), 'category': 'BFS'} {'value': np.float64(85.98143029518587), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(70.41777967731595), 'category': 'NLU'} {'value': np.float64(60.772298414551116), 'category': 'NLU'} {'value': np.float64(0.37316622790807397), 'category': 'NLU'} {'value': np.float64(36.93410930386526), 'category': 'NLU'} {'value': np.float64(36.725567372854464), 'category': 'NLU'} {'value': np.float64(49.35139966441765), 'category': 'NLU'} {'value': np.float64(75.86044079267388), 'category': 'CFK'} {'value': np.float64(49.899475074466956), 'category': 'CFK'} {'value': np.float64(73.6), 'category': 'CFK'} {'value': np.float64(61.690898227444734), 'category': 'CFK'}
4
+ 28 DeepMount00_Llama-3-8b-Ita_bfloat16 bfloat16 fine-tuned πŸ”Ά Original LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/DeepMount00/Llama-3-8b-Ita"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">DeepMount00/Llama-3-8b-Ita</a>" 47.36290272448108 61.758272277910294 69.81487332954494 59.64534944397877 Llama 3 Community License Agreement 8.0 0 True πŸ™ˆ πŸ™ˆ {'value': np.float64(46.144997988058414), 'category': 'NLU'} {'value': np.float64(75.84372609008976), 'category': 'NLU'} {'value': np.float64(51.791808873720136), 'category': 'CFK'} {'value': np.float64(86.22222222222223), 'category': 'NLU'} {'value': np.float64(36.10738255033557), 'category': 'BFS'} {'value': np.float64(70.31554456506412), 'category': 'BFS'} {'value': np.float64(58.630092648784235), 'category': 'BFS'} {'value': np.float64(84.02134688354074), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(65.31072882431363), 'category': 'NLU'} {'value': np.float64(41.09159654422506), 'category': 'NLU'} {'value': np.float64(0.3408333550606028), 'category': 'NLU'} {'value': np.float64(34.49955832579602), 'category': 'NLU'} {'value': np.float64(31.89782535977958), 'category': 'NLU'} {'value': np.float64(44.914635810784375), 'category': 'NLU'} {'value': np.float64(56.61547684079038), 'category': 'CFK'} {'value': np.float64(62.20674048284815), 'category': 'CFK'} {'value': np.float64(80.4), 'category': 'CFK'} {'value': np.float64(57.777335192192794), 'category': 'CFK'}
5
+ 10 meta-llama_Meta-Llama-3-8B-Instruct_bfloat16 bfloat16 fine-tuned πŸ”Ά Delta LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">meta-llama/Meta-Llama-3-8B-Instruct</a>" 49.08882288487394 59.50122697266721 69.34995290147747 59.31333425300621 Meta Llama 3 Community License 8.0 0 True πŸ™ˆ πŸ™ˆ {'value': np.float64(55.185436572164505), 'category': 'NLU'} {'value': np.float64(71.738125676576), 'category': 'NLU'} {'value': np.float64(42.57679180887372), 'category': 'CFK'} {'value': np.float64(81.88888888888889), 'category': 'NLU'} {'value': np.float64(31.946308724832218), 'category': 'BFS'} {'value': np.float64(71.03906138403002), 'category': 'BFS'} {'value': np.float64(62.35341674190123), 'category': 'BFS'} {'value': np.float64(81.41097765662386), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(66.62802629024654), 'category': 'NLU'} {'value': np.float64(50.768256648374845), 'category': 'NLU'} {'value': np.float64(0.27675546075709384), 'category': 'NLU'} {'value': np.float64(36.24704112214342), 'category': 'NLU'} {'value': np.float64(35.26336202300577), 'category': 'NLU'} {'value': np.float64(43.80351328170839), 'category': 'NLU'} {'value': np.float64(76.38244391126472), 'category': 'CFK'} {'value': np.float64(51.68814590679052), 'category': 'CFK'} {'value': np.float64(71.8), 'category': 'CFK'} {'value': np.float64(55.058753236407085), 'category': 'CFK'}
6
+ 6 mistralai_Mistral-7B-Instruct-v0.2_bfloat16 bfloat16 fine-tuned πŸ”Ά Delta MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">mistralai/Mistral-7B-Instruct-v0.2</a>" 48.131198854451654 58.69183546703023 69.176267976939 58.66643409947363 Apache 2.0 7.0 0 True πŸ™ˆ πŸ™ˆ {'value': np.float64(61.95096430524839), 'category': 'NLU'} {'value': np.float64(66.42194008585093), 'category': 'NLU'} {'value': np.float64(44.36860068259386), 'category': 'CFK'} {'value': np.float64(67.22222222222223), 'category': 'NLU'} {'value': np.float64(29.12751677852349), 'category': 'BFS'} {'value': np.float64(71.07491292799637), 'category': 'BFS'} {'value': np.float64(67.27017961567233), 'category': 'BFS'} {'value': np.float64(78.40873056250285), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(59.16469471738617), 'category': 'NLU'} {'value': np.float64(55.53851376330874), 'category': 'NLU'} {'value': np.float64(0.27708420363666786), 'category': 'NLU'} {'value': np.float64(36.5644261295324), 'category': 'NLU'} {'value': np.float64(36.02041761977175), 'category': 'NLU'} {'value': np.float64(50.02052664310759), 'category': 'NLU'} {'value': np.float64(68.04841543730598), 'category': 'CFK'} {'value': np.float64(59.24407318497844), 'category': 'CFK'} {'value': np.float64(64.2), 'category': 'CFK'} {'value': np.float64(57.598088030272855), 'category': 'CFK'}
7
+ 18 mii-community_zefiro-7b-dpo-ITA_bfloat16 bfloat16 fine-tuned πŸ”Ά Adapter MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/mii-community/zefiro-7b-dpo-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">mii-community/zefiro-7b-dpo-ITA</a>" 46.189413306519484 57.89491206679833 68.2055343559792 57.429953243099 Apache 2.0 7.0 0 True πŸ™ˆ πŸ‘ {'value': np.float64(59.97920997920998), 'category': 'NLU'} {'value': np.float64(66.14027143881808), 'category': 'NLU'} {'value': np.float64(44.19795221843004), 'category': 'CFK'} {'value': np.float64(65.88888888888889), 'category': 'NLU'} {'value': np.float64(29.798657718120808), 'category': 'BFS'} {'value': np.float64(66.93068606112085), 'category': 'BFS'} {'value': np.float64(61.46209894750329), 'category': 'BFS'} {'value': np.float64(82.83622905315102), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(58.523449206965395), 'category': 'NLU'} {'value': np.float64(54.918191698733956), 'category': 'NLU'} {'value': np.float64(0.22337556862808253), 'category': 'NLU'} {'value': np.float64(35.78766817066809), 'category': 'NLU'} {'value': np.float64(35.433945513579104), 'category': 'NLU'} {'value': np.float64(38.80971929318383), 'category': 'NLU'} {'value': np.float64(74.34293876621986), 'category': 'CFK'} {'value': np.float64(43.34227321311386), 'category': 'CFK'} {'value': np.float64(68.4), 'category': 'CFK'} {'value': np.float64(59.191396136227844), 'category': 'CFK'}
8
+ 9 meta-llama_Meta-Llama-3-8B_bfloat16 bfloat16 pretrained 🟒 Original LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/meta-llama/Meta-Llama-3-8B"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">meta-llama/Meta-Llama-3-8B</a>" 46.56679050897081 57.42199318457142 66.8371135489557 56.94196574749932 Meta Llama 3 Community License 8.0 0 True πŸ™ˆ πŸ™ˆ {'value': np.float64(60.02710027100271), 'category': 'NLU'} {'value': np.float64(63.14678395603251), 'category': 'NLU'} {'value': np.float64(40.529010238907844), 'category': 'CFK'} {'value': np.float64(76.0), 'category': 'NLU'} {'value': np.float64(29.53020134228188), 'category': 'BFS'} {'value': np.float64(65.30297764359561), 'category': 'BFS'} {'value': np.float64(59.541073390095356), 'category': 'BFS'} {'value': np.float64(79.81131536880565), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(57.31801541230962), 'category': 'NLU'} {'value': np.float64(56.750548188367965), 'category': 'NLU'} {'value': np.float64(0.2786244415689118), 'category': 'NLU'} {'value': np.float64(33.17963762883937), 'category': 'NLU'} {'value': np.float64(32.46904253967329), 'category': 'NLU'} {'value': np.float64(39.93136214294286), 'category': 'NLU'} {'value': np.float64(76.49082768675667), 'category': 'CFK'} {'value': np.float64(42.06877766857276), 'category': 'CFK'} {'value': np.float64(71.2), 'category': 'CFK'} {'value': np.float64(56.8213503286198), 'category': 'CFK'}
9
+ 16 mii-community_zefiro-7b-base-ITA_bfloat16 bfloat16 fine-tuned πŸ”Ά Delta MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/mii-community/zefiro-7b-base-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">mii-community/zefiro-7b-base-ITA</a>" 45.269551300227874 57.115645622716485 67.35862672334422 56.581274548762856 Apache 2.0 7.0 0 True πŸ™ˆ πŸ‘ {'value': np.float64(60.14362403797995), 'category': 'NLU'} {'value': np.float64(64.54082375784897), 'category': 'NLU'} {'value': np.float64(40.955631399317404), 'category': 'CFK'} {'value': np.float64(58.55555555555556), 'category': 'NLU'} {'value': np.float64(28.456375838926174), 'category': 'BFS'} {'value': np.float64(66.12858980217781), 'category': 'BFS'} {'value': np.float64(59.74063711314884), 'category': 'BFS'} {'value': np.float64(82.46753086246828), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(59.05311714498798), 'category': 'NLU'} {'value': np.float64(57.8863223808017), 'category': 'NLU'} {'value': np.float64(0.09963712635854956), 'category': 'NLU'} {'value': np.float64(34.679238266257826), 'category': 'NLU'} {'value': np.float64(33.277782890474725), 'category': 'NLU'} {'value': np.float64(39.18986054178559), 'category': 'NLU'} {'value': np.float64(75.6692177776856), 'category': 'CFK'} {'value': np.float64(46.18926820166605), 'category': 'CFK'} {'value': np.float64(66.60000000000001), 'category': 'CFK'} {'value': np.float64(56.164110734913365), 'category': 'CFK'}
10
+ 17 mii-community_zefiro-7b-sft-ITA_bfloat16 bfloat16 fine-tuned πŸ”Ά Adapter MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/mii-community/zefiro-7b-sft-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">mii-community/zefiro-7b-sft-ITA</a>" 45.486381984675305 56.40022559897527 67.23695288016117 56.374520154603914 Apache 2.0 7.0 0 True πŸ™ˆ πŸ‘ {'value': np.float64(60.458679319889285), 'category': 'NLU'} {'value': np.float64(63.51256529535591), 'category': 'NLU'} {'value': np.float64(42.32081911262799), 'category': 'CFK'} {'value': np.float64(67.77777777777779), 'category': 'NLU'} {'value': np.float64(27.248322147651006), 'category': 'BFS'} {'value': np.float64(65.72752014372092), 'category': 'BFS'} {'value': np.float64(60.158604473839915), 'category': 'BFS'} {'value': np.float64(83.05031763559394), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(52.69566548195397), 'category': 'NLU'} {'value': np.float64(51.630329924754), 'category': 'NLU'} {'value': np.float64(0.08940878967203518), 'category': 'NLU'} {'value': np.float64(34.969708660189006), 'category': 'NLU'} {'value': np.float64(34.492322470675305), 'category': 'NLU'} {'value': np.float64(43.75098014181036), 'category': 'NLU'} {'value': np.float64(74.55382319645513), 'category': 'CFK'} {'value': np.float64(42.52003278796414), 'category': 'CFK'} {'value': np.float64(67.0), 'category': 'CFK'} {'value': np.float64(55.606452897829115), 'category': 'CFK'}
11
+ 5 mistralai_Mistral-7B-v0.1_bfloat16 bfloat16 pretrained 🟒 Original MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/mistralai/Mistral-7B-v0.1"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">mistralai/Mistral-7B-v0.1</a>" 45.34125442825157 56.099282379017794 65.68372283507196 55.7080865474471 Apache 2.0 7.0 0 True πŸ™ˆ πŸ™ˆ {'value': np.float64(60.52050697114497), 'category': 'NLU'} {'value': np.float64(63.66158365032981), 'category': 'NLU'} {'value': np.float64(41.21160409556314), 'category': 'CFK'} {'value': np.float64(65.66666666666666), 'category': 'NLU'} {'value': np.float64(29.53020134228188), 'category': 'BFS'} {'value': np.float64(60.38816689466484), 'category': 'BFS'} {'value': np.float64(57.907599364752336), 'category': 'BFS'} {'value': np.float64(80.59264657366079), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(55.23299236027556), 'category': 'NLU'} {'value': np.float64(55.67900219124808), 'category': 'NLU'} {'value': np.float64(0.131895692851752), 'category': 'NLU'} {'value': np.float64(33.96645911653997), 'category': 'NLU'} {'value': np.float64(34.34077316577102), 'category': 'NLU'} {'value': np.float64(38.87141003943634), 'category': 'NLU'} {'value': np.float64(75.08500650762954), 'category': 'CFK'} {'value': np.float64(43.19251190731156), 'category': 'CFK'} {'value': np.float64(65.60000000000001), 'category': 'CFK'} {'value': np.float64(55.40728938458474), 'category': 'CFK'}
12
+ 14 swap-uniba_LLaMAntino-2-chat-13b-hf-ITA_bfloat16 bfloat16 fine-tuned πŸ”Ά Adapter LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/swap-uniba/LLaMAntino-2-chat-13b-hf-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">swap-uniba/LLaMAntino-2-chat-13b-hf-ITA</a>" 41.970283146802416 56.03239812713 66.71944637887557 54.90737588426933 Llama 2 Community License 13.0 0 True πŸ™ˆ πŸ‘ {'value': np.float64(61.41230947327803), 'category': 'NLU'} {'value': np.float64(64.77739009492042), 'category': 'NLU'} {'value': np.float64(39.07849829351536), 'category': 'CFK'} {'value': np.float64(60.44444444444444), 'category': 'NLU'} {'value': np.float64(25.503355704697988), 'category': 'BFS'} {'value': np.float64(67.1548291501024), 'category': 'BFS'} {'value': np.float64(59.101414060364085), 'category': 'BFS'} {'value': np.float64(81.83763297921335), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(57.92048929663609), 'category': 'NLU'} {'value': np.float64(52.2777996043644), 'category': 'NLU'} {'value': np.float64(0.1015435288181161), 'category': 'NLU'} {'value': np.float64(25.48185921268344), 'category': 'NLU'} {'value': np.float64(20.624383701889286), 'category': 'NLU'} {'value': np.float64(34.69232896418751), 'category': 'NLU'} {'value': np.float64(73.10003377486571), 'category': 'CFK'} {'value': np.float64(44.43667505800782), 'category': 'CFK'} {'value': np.float64(70.39999999999999), 'category': 'CFK'} {'value': np.float64(53.146783509261105), 'category': 'CFK'}
13
+ 25 utter-project_EuroLLM-9B-Instruct_bfloat16 bfloat16 fine-tuned πŸ”Ά Original LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/utter-project/EuroLLM-9B-Instruct"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">utter-project/EuroLLM-9B-Instruct</a>" 46.47145649591783 53.97328352456685 61.13814708019121 53.86096236689196 Apache 2.0 9.0 0 True πŸ‘ πŸ‘ {'value': np.float64(59.47108964639737), 'category': 'NLU'} {'value': np.float64(69.65384349595736), 'category': 'NLU'} {'value': np.float64(39.249146757679185), 'category': 'CFK'} {'value': np.float64(73.11111111111111), 'category': 'NLU'} {'value': np.float64(27.38255033557047), 'category': 'BFS'} {'value': np.float64(59.23710239695501), 'category': 'BFS'} {'value': np.float64(49.33153578249635), 'category': 'BFS'} {'value': np.float64(69.73954688593422), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(55.21491782553729), 'category': 'NLU'} {'value': np.float64(54.691044906652394), 'category': 'NLU'} {'value': np.float64(0.3893055260262671), 'category': 'NLU'} {'value': np.float64(34.330433505590925), 'category': 'NLU'} {'value': np.float64(29.809193495015446), 'category': 'NLU'} {'value': np.float64(41.57216895097227), 'category': 'NLU'} {'value': np.float64(52.08035526963981), 'category': 'CFK'} {'value': np.float64(49.57766445032506), 'category': 'CFK'} {'value': np.float64(76.4), 'category': 'CFK'} {'value': np.float64(52.5592511451902), 'category': 'CFK'}
14
+ 1 RiTA-nlp_tweety-Mistral-7B-v0.1-italian-sft-uf_ita_bfloat16 bfloat16 fine-tuned πŸ”Ά Delta ? "<a target=""_blank"" href=""https://huggingface.co/RiTA-nlp/tweety-Mistral-7B-v0.1-italian-sft-uf_ita"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">RiTA-nlp/tweety-Mistral-7B-v0.1-italian-sft-uf_ita</a>" 41.702497507922395 55.82283676715868 63.59603096781787 53.70712174763298 Apache 2.0 7.0 0 False πŸ‘ πŸ‘ {'value': np.float64(55.41601107758793), 'category': 'NLU'} {'value': np.float64(57.3004099160648), 'category': 'NLU'} {'value': np.float64(44.19795221843004), 'category': 'CFK'} {'value': np.float64(65.88888888888889), 'category': 'NLU'} {'value': np.float64(28.187919463087248), 'category': 'BFS'} {'value': np.float64(60.59060214594565), 'category': 'BFS'} {'value': np.float64(57.07941820704192), 'category': 'BFS'} {'value': np.float64(72.12221502301452), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(57.244902948868926), 'category': 'NLU'} {'value': np.float64(53.76030031900477), 'category': 'NLU'} {'value': np.float64(0.09348377351619035), 'category': 'NLU'} {'value': np.float64(31.274200012586512), 'category': 'NLU'} {'value': np.float64(30.264764988423188), 'category': 'NLU'} {'value': np.float64(24.079515646360328), 'category': 'NLU'} {'value': np.float64(63.98256226802162), 'category': 'CFK'} {'value': np.float64(43.34227321311386), 'category': 'CFK'} {'value': np.float64(68.4), 'category': 'CFK'} {'value': np.float64(59.191396136227844), 'category': 'CFK'}
15
+ 3 RiTA-nlp_llama3-tweety-8b-italian-sft-tagengo-merged_bfloat16 bfloat16 fine-tuned πŸ”Ά Delta LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/RiTA-nlp/llama3-tweety-8b-italian-sft-tagengo-merged"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">RiTA-nlp/llama3-tweety-8b-italian-sft-tagengo-merged</a>" 36.14960993706041 57.23994087617156 67.59183411184553 53.66046164169251 Apache 2.0 8.0 0 True πŸ‘ πŸ‘ {'value': np.float64(52.657814277204686), 'category': 'NLU'} {'value': np.float64(56.87822654114789), 'category': 'NLU'} {'value': np.float64(36.774744027303754), 'category': 'CFK'} {'value': np.float64(24.444444444444443), 'category': 'NLU'} {'value': np.float64(29.798657718120808), 'category': 'BFS'} {'value': np.float64(66.66587213877352), 'category': 'BFS'} {'value': np.float64(60.83860122549424), 'category': 'BFS'} {'value': np.float64(80.65603947683907), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(47.818461903069085), 'category': 'NLU'} {'value': np.float64(48.16547688835077), 'category': 'NLU'} {'value': np.float64(0.30234248529919133), 'category': 'NLU'} {'value': np.float64(31.14750699283743), 'category': 'NLU'} {'value': np.float64(29.445396960705033), 'category': 'NLU'} {'value': np.float64(34.48681894048518), 'category': 'NLU'} {'value': np.float64(69.96340463322181), 'category': 'CFK'} {'value': np.float64(48.98380228476164), 'category': 'CFK'} {'value': np.float64(72.8), 'category': 'CFK'} {'value': np.float64(57.6777534355706), 'category': 'CFK'}
16
+ 4 RiTA-nlp_llama3-tweety-8b-italian-sft-uf_ita-merged_bfloat16 bfloat16 fine-tuned πŸ”Ά Delta LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/RiTA-nlp/llama3-tweety-8b-italian-sft-uf_ita-merged"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">RiTA-nlp/llama3-tweety-8b-italian-sft-uf_ita-merged</a>" 40.312978427314775 55.62581755600671 64.21599169544818 53.38492922625655 Apache 2.0 8.0 0 True πŸ‘ πŸ‘ {'value': np.float64(50.970272502064404), 'category': 'NLU'} {'value': np.float64(53.86433030056453), 'category': 'NLU'} {'value': np.float64(37.71331058020478), 'category': 'CFK'} {'value': np.float64(60.77777777777777), 'category': 'NLU'} {'value': np.float64(33.557046979865774), 'category': 'BFS'} {'value': np.float64(61.86187344128242), 'category': 'BFS'} {'value': np.float64(51.700547923449534), 'category': 'BFS'} {'value': np.float64(73.96049013264316), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(49.09515469935785), 'category': 'NLU'} {'value': np.float64(47.64174641881211), 'category': 'NLU'} {'value': np.float64(0.16721772503846072), 'category': 'NLU'} {'value': np.float64(29.757933526345877), 'category': 'NLU'} {'value': np.float64(27.30247603817605), 'category': 'NLU'} {'value': np.float64(43.23989685769588), 'category': 'NLU'} {'value': np.float64(70.29933362295704), 'category': 'CFK'} {'value': np.float64(45.26019980073151), 'category': 'CFK'} {'value': np.float64(69.19999999999999), 'category': 'CFK'} {'value': np.float64(55.656243776140215), 'category': 'CFK'}
17
+ 8 meta-llama_Llama-2-13b-hf_bfloat16 bfloat16 pretrained 🟒 Original LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/meta-llama/Llama-2-13b-hf"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">meta-llama/Llama-2-13b-hf</a>" 41.13613368549096 56.39967689118707 61.493331674248495 53.00971408364217 Llama 2 Community License 13.0 0 True πŸ™ˆ πŸ™ˆ {'value': np.float64(53.24565637065637), 'category': 'NLU'} {'value': np.float64(59.32319654843206), 'category': 'NLU'} {'value': np.float64(39.93174061433447), 'category': 'CFK'} {'value': np.float64(49.666666666666664), 'category': 'NLU'} {'value': np.float64(24.295302013422816), 'category': 'BFS'} {'value': np.float64(54.13600451447075), 'category': 'BFS'} {'value': np.float64(54.88702987697715), 'category': 'BFS'} {'value': np.float64(74.1483219663718), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(50.34584608393744), 'category': 'NLU'} {'value': np.float64(49.636673785442774), 'category': 'NLU'} {'value': np.float64(0.11758183179468357), 'category': 'NLU'} {'value': np.float64(34.74496759381444), 'category': 'NLU'} {'value': np.float64(35.77201874088496), 'category': 'NLU'} {'value': np.float64(37.37259554778931), 'category': 'NLU'} {'value': np.float64(75.22840229480128), 'category': 'CFK'} {'value': np.float64(42.91722979615231), 'category': 'CFK'} {'value': np.float64(69.39999999999999), 'category': 'CFK'} {'value': np.float64(54.52101175064728), 'category': 'CFK'}
18
+ 23 CohereForAI_aya-23-8B_bfloat16 bfloat16 pretrained 🟒 Original ? "<a target=""_blank"" href=""https://huggingface.co/CohereForAI/aya-23-8B"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">CohereForAI/aya-23-8B</a>" 43.903323059478815 55.53937350002161 59.312965821783294 52.91855412709458 CC-BY-NC 4.0 License with Acceptable Use Addendum 8.0 0 False πŸ™ˆ πŸ‘ {'value': np.float64(47.93497657073945), 'category': 'NLU'} {'value': np.float64(57.15796660999023), 'category': 'NLU'} {'value': np.float64(37.54266211604095), 'category': 'CFK'} {'value': np.float64(77.33333333333333), 'category': 'NLU'} {'value': np.float64(29.261744966442954), 'category': 'BFS'} {'value': np.float64(52.45415318230853), 'category': 'BFS'} {'value': np.float64(49.95387126534667), 'category': 'BFS'} {'value': np.float64(64.89505969481834), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(47.87790151575136), 'category': 'NLU'} {'value': np.float64(51.50824652777778), 'category': 'NLU'} {'value': np.float64(0.25083063286819474), 'category': 'NLU'} {'value': np.float64(36.185897458809194), 'category': 'NLU'} {'value': np.float64(36.10641437869741), 'category': 'NLU'} {'value': np.float64(40.77434050734231), 'category': 'NLU'} {'value': np.float64(76.9375594393511), 'category': 'CFK'} {'value': np.float64(44.91069095567003), 'category': 'CFK'} {'value': np.float64(60.199999999999996), 'category': 'CFK'} {'value': np.float64(58.105954989046005), 'category': 'CFK'}
19
+ 12 swap-uniba_LLaMAntino-2-13b-hf-ITA_bfloat16 bfloat16 fine-tuned πŸ”Ά Adapter LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/swap-uniba/LLaMAntino-2-13b-hf-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">swap-uniba/LLaMAntino-2-13b-hf-ITA</a>" 40.320410607598326 56.134928395066495 60.86087434667943 52.43873778311475 Llama 2 Community License 13.0 0 True πŸ™ˆ πŸ‘ {'value': np.float64(56.79723502304148), 'category': 'NLU'} {'value': np.float64(60.93495016444478), 'category': 'NLU'} {'value': np.float64(38.56655290102389), 'category': 'CFK'} {'value': np.float64(52.33333333333333), 'category': 'NLU'} {'value': np.float64(24.697986577181208), 'category': 'BFS'} {'value': np.float64(57.1976786986929), 'category': 'BFS'} {'value': np.float64(54.2447910290625), 'category': 'BFS'} {'value': np.float64(68.16391542846057), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(56.51605280366516), 'category': 'NLU'} {'value': np.float64(51.571111501558086), 'category': 'NLU'} {'value': np.float64(0.16387751408972254), 'category': 'NLU'} {'value': np.float64(24.61370148615753), 'category': 'NLU'} {'value': np.float64(21.35085313487798), 'category': 'NLU'} {'value': np.float64(38.60258050721683), 'category': 'NLU'} {'value': np.float64(74.20709928774112), 'category': 'CFK'} {'value': np.float64(42.12767769734222), 'category': 'CFK'} {'value': np.float64(71.8), 'category': 'CFK'} {'value': np.float64(53.97331208922525), 'category': 'CFK'}
20
+ 0 RiTA-nlp_tweety-Mistral-7B-v0.1-italian_bfloat16 bfloat16 fine-tuned πŸ”Ά Delta ? "<a target=""_blank"" href=""https://huggingface.co/RiTA-nlp/tweety-Mistral-7B-v0.1-italian"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">RiTA-nlp/tweety-Mistral-7B-v0.1-italian</a>" 36.29853932847322 54.395439989754266 59.92245878392879 50.20547936738543 Apache 2.0 7.0 0 False πŸ‘ πŸ‘ {'value': np.float64(56.17170479302832), 'category': 'NLU'} {'value': np.float64(56.423255312264054), 'category': 'NLU'} {'value': np.float64(37.96928327645051), 'category': 'CFK'} {'value': np.float64(49.666666666666664), 'category': 'NLU'} {'value': np.float64(27.91946308724832), 'category': 'BFS'} {'value': np.float64(53.70259637851317), 'category': 'BFS'} {'value': np.float64(53.57434872305199), 'category': 'BFS'} {'value': np.float64(64.41588573083048), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(50.21506876304183), 'category': 'NLU'} {'value': np.float64(49.42973129711966), 'category': 'NLU'} {'value': np.float64(0.11006633622278786), 'category': 'NLU'} {'value': np.float64(20.35216856147955), 'category': 'NLU'} {'value': np.float64(15.853930176959196), 'category': 'NLU'} {'value': np.float64(28.46426204947685), 'category': 'NLU'} {'value': np.float64(64.39794432633592), 'category': 'CFK'} {'value': np.float64(37.75548120876122), 'category': 'CFK'} {'value': np.float64(73.4), 'category': 'CFK'} {'value': np.float64(58.45449113722366), 'category': 'CFK'}
21
+ 7 meta-llama_Llama-2-7b-hf_bfloat16 bfloat16 pretrained 🟒 Original LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/meta-llama/Llama-2-7b-hf"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">meta-llama/Llama-2-7b-hf</a>" 37.21467530908902 51.72929042818041 58.70465604622213 49.216207261163845 Llama 2 Community License 7.0 0 True πŸ™ˆ πŸ™ˆ {'value': np.float64(50.26836062232489), 'category': 'NLU'} {'value': np.float64(57.089775606014214), 'category': 'NLU'} {'value': np.float64(35.153583617747444), 'category': 'CFK'} {'value': np.float64(36.11111111111111), 'category': 'NLU'} {'value': np.float64(25.100671140939596), 'category': 'BFS'} {'value': np.float64(49.33536331841416), 'category': 'BFS'} {'value': np.float64(51.73318260900284), 'category': 'BFS'} {'value': np.float64(67.35406316275402), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(47.63910390674802), 'category': 'NLU'} {'value': np.float64(48.347086153434084), 'category': 'NLU'} {'value': np.float64(0.036528464070504335), 'category': 'NLU'} {'value': np.float64(33.64275146275869), 'category': 'NLU'} {'value': np.float64(33.97447351457297), 'category': 'NLU'} {'value': np.float64(27.82288694076669), 'category': 'NLU'} {'value': np.float64(68.6449557225095), 'category': 'CFK'} {'value': np.float64(39.16657442183614), 'category': 'CFK'} {'value': np.float64(66.0), 'category': 'CFK'} {'value': np.float64(49.681338378809), 'category': 'CFK'}
22
+ 2 RiTA-nlp_llama3-tweety-8b-italian_bfloat16 bfloat16 fine-tuned πŸ”Ά Delta LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/RiTA-nlp/llama3-tweety-8b-italian"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">RiTA-nlp/llama3-tweety-8b-italian</a>" 34.80925168546899 45.959661222607295 62.62163881863503 47.79685057557044 Apache 2.0 8.0 0 True πŸ‘ πŸ‘ {'value': np.float64(52.75696834716879), 'category': 'NLU'} {'value': np.float64(55.40837736039839), 'category': 'NLU'} {'value': np.float64(40.01706484641638), 'category': 'CFK'} {'value': np.float64(22.88888888888889), 'category': 'NLU'} {'value': np.float64(31.543624161073826), 'category': 'BFS'} {'value': np.float64(57.48673640511788), 'category': 'BFS'} {'value': np.float64(54.750583637815396), 'category': 'BFS'} {'value': np.float64(69.32724988916803), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(53.59863602056829), 'category': 'NLU'} {'value': np.float64(51.95306101174963), 'category': 'NLU'} {'value': np.float64(0.18364277610472463), 'category': 'NLU'} {'value': np.float64(20.352230205876563), 'category': 'NLU'} {'value': np.float64(22.960089857781814), 'category': 'NLU'} {'value': np.float64(33.18137070068386), 'category': 'NLU'} {'value': np.float64(18.487048203126186), 'category': 'CFK'} {'value': np.float64(42.271169761362884), 'category': 'CFK'} {'value': np.float64(72.6), 'category': 'CFK'} {'value': np.float64(56.42302330213105), 'category': 'CFK'}
23
+ 11 swap-uniba_LLaMAntino-2-7b-hf-ITA_bfloat16 bfloat16 fine-tuned πŸ”Ά Adapter LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/swap-uniba/LLaMAntino-2-7b-hf-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">swap-uniba/LLaMAntino-2-7b-hf-ITA</a>" 33.72646162039438 52.13761513263328 55.65104269523598 47.17170648275455 Llama 2 Community License 7.0 0 True πŸ™ˆ πŸ‘ {'value': np.float64(51.11111111111111), 'category': 'NLU'} {'value': np.float64(53.267951636107355), 'category': 'NLU'} {'value': np.float64(33.70307167235495), 'category': 'CFK'} {'value': np.float64(34.66666666666667), 'category': 'NLU'} {'value': np.float64(24.295302013422816), 'category': 'BFS'} {'value': np.float64(45.514286626950536), 'category': 'BFS'} {'value': np.float64(47.59019966407009), 'category': 'BFS'} {'value': np.float64(60.855425171736485), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(47.55193616643805), 'category': 'NLU'} {'value': np.float64(46.04838972288254), 'category': 'NLU'} {'value': np.float64(0.043130721156949686), 'category': 'NLU'} {'value': np.float64(25.210494068156496), 'category': 'NLU'} {'value': np.float64(23.378459312035954), 'category': 'NLU'} {'value': np.float64(22.260015178994326), 'category': 'NLU'} {'value': np.float64(69.30864535653794), 'category': 'CFK'} {'value': np.float64(40.48297086291322), 'category': 'CFK'} {'value': np.float64(68.0), 'category': 'CFK'} {'value': np.float64(49.193387771360285), 'category': 'CFK'}
24
+ 22 sapienzanlp_Minerva-3B-base-v1.0_bfloat16 bfloat16 pretrained 🟒 Original MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/sapienzanlp/Minerva-3B-base-v1.0"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">sapienzanlp/Minerva-3B-base-v1.0</a>" 31.17509786876875 45.62270743274333 53.03397360999342 43.2772596371685 Apache 2.0 3.0 0 True πŸ™ˆ πŸ‘ {'value': np.float64(49.875480140137604), 'category': 'NLU'} {'value': np.float64(52.15633707230505), 'category': 'NLU'} {'value': np.float64(30.97269624573379), 'category': 'CFK'} {'value': np.float64(24.333333333333336), 'category': 'NLU'} {'value': np.float64(23.08724832214765), 'category': 'BFS'} {'value': np.float64(48.93622623624203), 'category': 'BFS'} {'value': np.float64(45.71528801169143), 'category': 'BFS'} {'value': np.float64(47.43110547988597), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(43.13118956315911), 'category': 'NLU'} {'value': np.float64(45.77114427860697), 'category': 'NLU'} {'value': np.float64(-0.015363788820154219), 'category': 'NLU'} {'value': np.float64(23.43588415972712), 'category': 'NLU'} {'value': np.float64(18.867630906186005), 'category': 'NLU'} {'value': np.float64(23.020245154283693), 'category': 'NLU'} {'value': np.float64(42.99174436502196), 'category': 'CFK'} {'value': np.float64(37.371442699146954), 'category': 'CFK'} {'value': np.float64(68.60000000000001), 'category': 'CFK'} {'value': np.float64(48.17765385381398), 'category': 'CFK'}
25
+ 24 utter-project_EuroLLM-1.7B-Instruct_bfloat16 bfloat16 fine-tuned πŸ”Ά Original LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/utter-project/EuroLLM-1.7B-Instruct"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">utter-project/EuroLLM-1.7B-Instruct</a>" 29.026062805640606 48.90677371440201 48.40282929335186 42.11188860446482 Apache 2.0 1.7 0 True πŸ‘ πŸ‘ {'value': np.float64(31.985667907752934), 'category': 'NLU'} {'value': np.float64(42.690626517727054), 'category': 'NLU'} {'value': np.float64(32.081911262798634), 'category': 'CFK'} {'value': np.float64(26.444444444444443), 'category': 'NLU'} {'value': np.float64(23.08724832214765), 'category': 'BFS'} {'value': np.float64(38.52675937129336), 'category': 'BFS'} {'value': np.float64(38.36815973912748), 'category': 'BFS'} {'value': np.float64(42.0319790341908), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(41.263199495747166), 'category': 'NLU'} {'value': np.float64(42.752293577981646), 'category': 'NLU'} {'value': np.float64(0.0), 'category': 'NLU'} {'value': np.float64(29.71568006510892), 'category': 'NLU'} {'value': np.float64(28.268396958909843), 'category': 'NLU'} {'value': np.float64(18.114256283093443), 'category': 'NLU'} {'value': np.float64(56.35864026344707), 'category': 'CFK'} {'value': np.float64(42.233488326385704), 'category': 'CFK'} {'value': np.float64(66.2), 'category': 'CFK'} {'value': np.float64(47.65982871937861), 'category': 'CFK'}
26
+ 13 swap-uniba_LLaMAntino-2-chat-7b-hf-ITA_bfloat16 bfloat16 fine-tuned πŸ”Ά Adapter LlamaForCausalLM "<a target=""_blank"" href=""https://huggingface.co/swap-uniba/LLaMAntino-2-chat-7b-hf-ITA"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">swap-uniba/LLaMAntino-2-chat-7b-hf-ITA</a>" 25.62900900485081 46.472723322751754 50.321561903359665 40.807764743654076 Llama 2 Community License 7.0 0 True πŸ™ˆ πŸ‘ {'value': np.float64(47.32809806550469), 'category': 'NLU'} {'value': np.float64(43.776841477788466), 'category': 'NLU'} {'value': np.float64(29.180887372013654), 'category': 'CFK'} {'value': np.float64(28.111111111111107), 'category': 'NLU'} {'value': np.float64(23.48993288590604), 'category': 'BFS'} {'value': np.float64(41.57668822526659), 'category': 'BFS'} {'value': np.float64(41.556830771361305), 'category': 'BFS'} {'value': np.float64(44.984357634264406), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(41.716872329343005), 'category': 'NLU'} {'value': np.float64(43.53102430893341), 'category': 'NLU'} {'value': np.float64(-0.02574637563194932), 'category': 'NLU'} {'value': np.float64(7.893416571316863), 'category': 'NLU'} {'value': np.float64(8.990083329762001), 'category': 'NLU'} {'value': np.float64(9.339380225529704), 'category': 'NLU'} {'value': np.float64(58.43272201840739), 'category': 'CFK'} {'value': np.float64(39.880897484241935), 'category': 'CFK'} {'value': np.float64(61.8), 'category': 'CFK'} {'value': np.float64(43.06910973909579), 'category': 'CFK'}
27
+ 27 mudler_Asinello-Minerva-3B-v0.1_bfloat16 bfloat16 fine-tuned πŸ”Ά Original MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/mudler/Asinello-Minerva-3B-v0.1"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">mudler/Asinello-Minerva-3B-v0.1</a>" 21.543223489019738 40.295594231626076 60.18505836687025 40.67462536250536 Apache 2.0 3.0 0 True πŸ™ˆ πŸ™ˆ {'value': np.float64(45.09996030304822), 'category': 'NLU'} {'value': np.float64(39.99523626303157), 'category': 'NLU'} {'value': np.float64(31.313993174061434), 'category': 'CFK'} {'value': np.float64(22.11111111111111), 'category': 'NLU'} {'value': np.float64(68.32214765100672), 'category': 'BFS'} {'value': np.float64(47.55397203410558), 'category': 'BFS'} {'value': np.float64(45.30802340259594), 'category': 'BFS'} {'value': np.float64(39.74114874664304), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(39.15953907691152), 'category': 'NLU'} {'value': np.float64(24.75483870967742), 'category': 'NLU'} {'value': np.float64(0.040248148749341475), 'category': 'NLU'} {'value': np.float64(-7.95587761012867), 'category': 'NLU'} {'value': np.float64(15.012825978935076), 'category': 'NLU'} {'value': np.float64(15.671129419842087), 'category': 'NLU'} {'value': np.float64(16.540866683348263), 'category': 'CFK'} {'value': np.float64(40.559100147563925), 'category': 'CFK'} {'value': np.float64(66.4), 'category': 'CFK'} {'value': np.float64(46.66401115315674), 'category': 'CFK'}
28
+ 21 sapienzanlp_Minerva-1B-base-v1.0_bfloat16 bfloat16 pretrained 🟒 Original MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/sapienzanlp/Minerva-1B-base-v1.0"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">sapienzanlp/Minerva-1B-base-v1.0</a>" 29.37689492680925 35.95468750733228 53.9028524289684 39.74481162103664 Apache 2.0 1.0 0 True πŸ™ˆ πŸ‘ {'value': np.float64(50.76172656624852), 'category': 'NLU'} {'value': np.float64(53.84641914146224), 'category': 'NLU'} {'value': np.float64(24.573378839590443), 'category': 'CFK'} {'value': np.float64(22.666666666666664), 'category': 'NLU'} {'value': np.float64(26.57718120805369), 'category': 'BFS'} {'value': np.float64(48.25128927047713), 'category': 'BFS'} {'value': np.float64(44.581537708222804), 'category': 'BFS'} {'value': np.float64(50.10425395808837), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(46.49541549308013), 'category': 'NLU'} {'value': np.float64(45.46046920890855), 'category': 'NLU'} {'value': np.float64(0.022249590030925144), 'category': 'NLU'} {'value': np.float64(14.249015813966443), 'category': 'NLU'} {'value': np.float64(14.318627170406216), 'category': 'NLU'} {'value': np.float64(16.571464690513597), 'category': 'NLU'} {'value': np.float64(17.48160254077023), 'category': 'CFK'} {'value': np.float64(39.747932356260876), 'category': 'CFK'} {'value': np.float64(60.0), 'category': 'CFK'} {'value': np.float64(37.970523800039835), 'category': 'CFK'}
29
+ 20 sapienzanlp_Minerva-350M-base-v1.0_bfloat16 bfloat16 pretrained 🟒 Original MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/sapienzanlp/Minerva-350M-base-v1.0"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">sapienzanlp/Minerva-350M-base-v1.0</a>" 25.224199901777368 32.348128725709046 56.325635671949826 37.96598809981208 Apache 2.0 0.35 0 True πŸ™ˆ πŸ‘ {'value': np.float64(45.17543859649123), 'category': 'NLU'} {'value': np.float64(35.72145622912868), 'category': 'NLU'} {'value': np.float64(24.40273037542662), 'category': 'CFK'} {'value': np.float64(22.88888888888889), 'category': 'NLU'} {'value': np.float64(52.75167785234899), 'category': 'BFS'} {'value': np.float64(41.92832319168979), 'category': 'BFS'} {'value': np.float64(40.67042217927179), 'category': 'BFS'} {'value': np.float64(46.277755136438564), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(36.23277134884009), 'category': 'NLU'} {'value': np.float64(43.223117993157416), 'category': 'NLU'} {'value': np.float64(-0.036868413829916326), 'category': 'NLU'} {'value': np.float64(10.516645269272637), 'category': 'NLU'} {'value': np.float64(9.907975858757172), 'category': 'NLU'} {'value': np.float64(23.388373345290127), 'category': 'NLU'} {'value': np.float64(4.903980027793706), 'category': 'CFK'} {'value': np.float64(43.7486912416563), 'category': 'CFK'} {'value': np.float64(56.599999999999994), 'category': 'CFK'} {'value': np.float64(32.085241983668595), 'category': 'CFK'}
30
+ 26 mudler_Minerva-3B-Llama3-Instruct-v0.1_bfloat16 bfloat16 fine-tuned πŸ”Ά Original MistralForCausalLM "<a target=""_blank"" href=""https://huggingface.co/mudler/Minerva-3B-Llama3-Instruct-v0.1"" style=""color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;"">mudler/Minerva-3B-Llama3-Instruct-v0.1</a>" 25.85871212875818 39.419192381843075 45.18868137950004 36.822195296700436 Apache 2.0 3.0 0 True πŸ™ˆ πŸ™ˆ {'value': np.float64(45.17543859649123), 'category': 'NLU'} {'value': np.float64(33.33333333333333), 'category': 'NLU'} {'value': np.float64(31.399317406143346), 'category': 'CFK'} {'value': np.float64(24.555555555555557), 'category': 'NLU'} {'value': np.float64(31.00671140939597), 'category': 'BFS'} {'value': np.float64(35.231447465099194), 'category': 'BFS'} {'value': np.float64(36.62832494608195), 'category': 'BFS'} {'value': np.float64(23.076923076923077), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(33.432794199665366), 'category': 'NLU'} {'value': np.float64(44.34307975041542), 'category': 'NLU'} {'value': np.float64(0.0), 'category': 'NLU'} {'value': np.float64(9.18547745004222), 'category': 'NLU'} {'value': np.float64(26.88514880742613), 'category': 'NLU'} {'value': np.float64(15.817581465894351), 'category': 'NLU'} {'value': np.float64(13.414960805345139), 'category': 'CFK'} {'value': np.float64(42.266626936125604), 'category': 'CFK'} {'value': np.float64(63.6), 'category': 'CFK'} {'value': np.float64(46.41505676160128), 'category': 'CFK'}
src/about.py CHANGED
@@ -28,7 +28,8 @@ class Tasks(Enum):
28
  task14 = Task("ironita_irony", "f1,none", "IronITA Irony", "NLU")
29
  task15 = Task("ironita_sarcasm", "f1,none", "IronITA Sarcasm", "NLU")
30
  task7 = Task("itacola", "mcc,none", "ItaCoLA", "NLU", scale_by_100=False)
31
- task8 = Task("news_sum", "bertscore,none", "News Sum", "NLU")
 
32
  task16 = Task("sentipolc", "f1,none", "SENTIPOLC", "NLU")
33
  task9 = Task("squad_it", "squad_f1,get-answer", "SQuAD it", "CFK")
34
  task10 = Task("truthfulqa_mc2_ita", "acc,none", "TruthfulQA", "CFK")
 
28
  task14 = Task("ironita_irony", "f1,none", "IronITA Irony", "NLU")
29
  task15 = Task("ironita_sarcasm", "f1,none", "IronITA Sarcasm", "NLU")
30
  task7 = Task("itacola", "mcc,none", "ItaCoLA", "NLU", scale_by_100=False)
31
+ task8 = Task("news_sum_fanpage", "bertscore,none", "News Sum (fanpage)", "NLU")
32
+ task18 = Task("news_sum_ilpost", "bertscore,none", "News Sum (il post)", "NLU")
33
  task16 = Task("sentipolc", "f1,none", "SENTIPOLC", "NLU")
34
  task9 = Task("squad_it", "squad_f1,get-answer", "SQuAD it", "CFK")
35
  task10 = Task("truthfulqa_mc2_ita", "acc,none", "TruthfulQA", "CFK")
src/leaderboard/read_evals.py CHANGED
@@ -12,6 +12,7 @@ from src.display.utils import AutoEvalColumn, ModelType, Tasks, Precision, Weigh
12
  from src.submission.check_validity import is_model_on_hub
13
 
14
  import pdb
 
15
 
16
 
17
  @dataclass
@@ -55,6 +56,11 @@ class EvalResult:
55
  "training_data": DisclosedType.from_str(config.get("training_data", "")),
56
  }
57
 
 
 
 
 
 
58
  # Precision
59
  precision = Precision.from_str(config.get("model_dtype"))
60
 
@@ -202,22 +208,16 @@ def get_raw_eval_results(results_path: str, requests_path: str) -> list[EvalResu
202
  """From the path of the results folder root, extract all needed info for results"""
203
  model_result_filepaths = []
204
 
205
- for root, _, files in os.walk(results_path):
206
- # We should only have json files in model results
207
- if len(files) == 0 or any([not f.endswith(".json") for f in files]):
208
- continue
209
-
210
- # Sort the files by date
211
- try:
212
- files.sort(key=lambda x: x.removesuffix(".json").removeprefix("results_")[:-7])
213
- except dateutil.parser._parser.ParserError:
214
- files = [files[-1]]
215
 
216
- for file in files:
217
- model_result_filepaths.append(os.path.join(root, file))
218
 
219
- # Exclude any "samples_* file"
220
- model_result_filepaths = [m for m in model_result_filepaths if not os.path.basename(m).startswith("samples_")]
 
221
 
222
  eval_results = {}
223
  for model_result_filepath in model_result_filepaths:
 
12
  from src.submission.check_validity import is_model_on_hub
13
 
14
  import pdb
15
+ import yaml
16
 
17
 
18
  @dataclass
 
56
  "training_data": DisclosedType.from_str(config.get("training_data", "")),
57
  }
58
 
59
+ if config.get("model_name", None) == "DeepMount00/Llama-3-8b-Ita":
60
+ import pdb
61
+
62
+ pdb.set_trace()
63
+
64
  # Precision
65
  precision = Precision.from_str(config.get("model_dtype"))
66
 
 
208
  """From the path of the results folder root, extract all needed info for results"""
209
  model_result_filepaths = []
210
 
211
+ model_info_path = os.path.join(results_path, "model_info.yaml")
212
+ with open(model_info_path, "r") as f:
213
+ model_info = yaml.safe_load(f)
 
 
 
 
 
 
 
214
 
215
+ model_name_list = model_info.keys()
216
+ model_folders = [m.replace("/", "__") for m in model_name_list]
217
 
218
+ for model_folder in model_folders:
219
+ print(f"Reading data from {model_folder}")
220
+ model_result_filepaths += glob.glob(os.path.join(results_path, model_folder, "results_*.json"))
221
 
222
  eval_results = {}
223
  for model_result_filepath in model_result_filepaths: