data/openai_metrics.csv

shots,model,run,accuracy,precision,recall,f1,ratio_valid_classifications
0,gpt-4o-mini,gpt-4o-mini/shots-00,0.7166666666666667,0.7800918028217227,0.7166666666666667,0.7260056154268697,0.9916666666666667
0,gpt-4o,gpt-4o/shots-00,0.792,0.8234582231232066,0.792,0.8022633746318892,0.066
0,o1-mini,o1-mini/shots-00,0.7133333333333334,0.78301872209321,0.7133333333333334,0.7402734333211688,0.999
0,o1-preview,o1-preview/shots-00,0.725,0.7860443296236067,0.725,0.7471736898827371,0.998
5,gpt-4o-mini,gpt-4o-mini/shots-05,0.7203333333333334,0.7754800244789168,0.7203333333333334,0.718540502683781,0.9996666666666667
5,gpt-4o,gpt-4o/shots-05,0.7973333333333333,0.8251066339666824,0.7973333333333333,0.8066429877716694,0.998
5,o1-mini,o1-mini/shots-05,0.7313333333333333,0.7913577967036569,0.7313333333333333,0.7532525881890013,0.9966666666666667
5,o1-preview,o1-preview/shots-05,0.736,0.789169445854742,0.736,0.7557068489703724,0.979
10,gpt-4o-mini,gpt-4o-mini/shots-10,0.6836666666666666,0.7701177891593667,0.6836666666666666,0.6932016303210964,0.9983333333333333
10,gpt-4o,gpt-4o/shots-10,0.8013333333333333,0.8246834383036209,0.8013333333333333,0.8098901724387172,0.9996666666666667
10,o1-mini,o1-mini/shots-10,0.7283333333333334,0.7851844846890333,0.7283333333333334,0.7490987096521479,0.9943333333333333
10,o1-preview,o1-preview/shots-10,0.7513333333333333,0.7947574632958824,0.7513333333333333,0.7673707529850041,0.9873333333333333
20,gpt-4o-mini,gpt-4o-mini/shots-20,0.6616666666666666,0.7627467933668375,0.6616666666666666,0.677372757519069,0.998
20,gpt-4o,gpt-4o/shots-20,0.79,0.822098231279132,0.79,0.8020290214439503,0.9993333333333333
20,o1-mini,o1-mini/shots-20,0.7373333333333333,0.7815727856803751,0.7373333333333333,0.7533353509620383,0.9946666666666667
20,o1-preview,o1-preview/shots-20,0.7483333333333333,0.790639591375103,0.7483333333333333,0.763324860719675,0.9853333333333333
30,gpt-4o-mini,gpt-4o-mini/shots-30,0.6876666666666666,0.7663381611066244,0.6876666666666666,0.6896169854446027,0.999
30,gpt-4o,gpt-4o/shots-30,0.7946666666666666,0.8259436682564079,0.7946666666666666,0.8063113377291872,0.999
30,o1-mini,o1-mini/shots-30,0.748,0.779168441371953,0.748,0.7583397172973073,0.9976666666666667
30,o1-preview,o1-preview/shots-30,0.7513333333333333,0.792049804996314,0.7513333333333333,0.7654800949250774,0.984
40,gpt-4o-mini,gpt-4o-mini/shots-40,0.6903333333333334,0.7603850760051853,0.6903333333333334,0.688393665975117,0.9986666666666667
40,gpt-4o,gpt-4o/shots-40,0.7906666666666666,0.8242154446428003,0.7906666666666666,0.803356987717753,0.9973333333333333
40,o1-mini,o1-mini/shots-40,0.7496666666666667,0.775765877349714,0.7496666666666667,0.757640226210139,0.9976666666666667
40,o1-preview,o1-preview/shots-40,0.7526666666666667,0.795308022968859,0.7526666666666667,0.7672762517397222,0.984
50,gpt-4o-mini,gpt-4o-mini/shots-50,0.7143333333333334,0.7654214682013311,0.7143333333333334,0.7056961582308003,0.9993333333333333
50,gpt-4o,gpt-4o/shots-50,0.798,0.8274250231711487,0.798,0.8091066504350897,0.9993333333333333
50,o1-mini,o1-mini/shots-50,0.7536666666666667,0.7755130422727871,0.7536666666666667,0.7602241520634903,0.9976666666666667
50,o1-preview,o1-preview/shots-50,0.7576666666666667,0.7986597718440941,0.7576666666666667,0.7718331604189232,0.9816666666666667