Upload results/evaluation with huggingface_hub

results/evaluation/general_evaluation_results.txt

@@ -1,54 +1,54 @@
 --- Bagian tentang question type ---
 -- Bagian tentang question type yang terprediksi BENAR --
 Banyak pertanyaan APA: 144, sebesar: 16.8 %
-Banyak pertanyaan DIMANA: 14, sebesar: 1.63 %
-Banyak pertanyaan KAPAN: 97, sebesar: 11.32 %
+Banyak pertanyaan DIMANA: 10, sebesar: 1.17 %
+Banyak pertanyaan KAPAN: 89, sebesar: 10.39 %
 Banyak pertanyaan SIAPA: 31, sebesar: 3.62 %
-Banyak pertanyaan BAGAIMANA: 2, sebesar: 0.23 %
+Banyak pertanyaan BAGAIMANA: 1, sebesar: 0.12 %
 Banyak pertanyaan KENAPA: 0, sebesar: 0.0 %
 Banyak pertanyaan BERAPA: 85, sebesar: 9.92 %
-Banyak pertanyaan LAINNYA: 92, sebesar: 10.74 %
+Banyak pertanyaan LAINNYA: 82, sebesar: 9.57 %
 
 -- Bagian tentang question type yang terprediksi SALAH --
 Banyak pertanyaan APA: 157, sebesar: 18.32 %
-Banyak pertanyaan DIMANA: 20, sebesar: 2.33 %
-Banyak pertanyaan KAPAN: 39, sebesar: 4.55 %
+Banyak pertanyaan DIMANA: 24, sebesar: 2.8 %
+Banyak pertanyaan KAPAN: 47, sebesar: 5.48 %
 Banyak pertanyaan SIAPA: 26, sebesar: 3.03 %
-Banyak pertanyaan BAGAIMANA: 3, sebesar: 0.35 %
+Banyak pertanyaan BAGAIMANA: 4, sebesar: 0.47 %
 Banyak pertanyaan KENAPA: 6, sebesar: 0.7 %
 Banyak pertanyaan BERAPA: 46, sebesar: 5.37 %
-Banyak pertanyaan LAINNYA: 95, sebesar: 11.09 %
+Banyak pertanyaan LAINNYA: 105, sebesar: 12.25 %
 
 -- Presentase kebenaran --
 Banyak pertanyaan APA yang terpediksi benar sebesar: 47.84 %
-Banyak pertanyaan DIMANA yang terpediksi benar sebesar: 41.18 %
-Banyak pertanyaan KAPAN yang terpediksi benar sebesar: 71.32 %
+Banyak pertanyaan DIMANA yang terpediksi benar sebesar: 29.41 %
+Banyak pertanyaan KAPAN yang terpediksi benar sebesar: 65.44 %
 Banyak pertanyaan SIAPA yang terpediksi benar sebesar: 54.39 %
-Banyak pertanyaan BAGAIMANA yang terpediksi benar sebesar: 40.0 %
+Banyak pertanyaan BAGAIMANA yang terpediksi benar sebesar: 20.0 %
 Banyak pertanyaan KENAPA yang terpediksi benar sebesar: 0.0 %
 Banyak pertanyaan BERAPA yang terpediksi benar sebesar: 64.89 %
-Banyak pertanyaan LAINNYA yang terpediksi benar sebesar: 49.2 %
+Banyak pertanyaan LAINNYA yang terpediksi benar sebesar: 43.85 %
 
 --- Bagian tentang panjang context ---
 -- Bagian tentang panjang context yang terprediksi BENAR --
-Panjang konteks < 100: 354, sebesar: 41.31 %
-Panjang konteks 101 <= x <= 150: 111, sebesar: 12.95 %
+Panjang konteks < 100: 339, sebesar: 39.56 %
+Panjang konteks 101 <= x <= 150: 103, sebesar: 12.02 %
 Panjang konteks 151 <= x <= 200: 0, sebesar: 0.0 %
 Panjang konteks 201 <= x <= 250: 0, sebesar: 0.0 %
 Panjang konteks 251 <= x <= 300: 0, sebesar: 0.0 %
 Panjang konteks > 300: 0, sebesar: 0.0 %
 
 -- Bagian tentang panjang context yang terprediksi SALAH --
-Panjang konteks < 100: 234, sebesar: 27.3 %
-Panjang konteks 101 <= x <= 150: 158, sebesar: 18.44 %
+Panjang konteks < 100: 249, sebesar: 29.05 %
+Panjang konteks 101 <= x <= 150: 166, sebesar: 19.37 %
 Panjang konteks 151 <= x <= 200: 0, sebesar: 0.0 %
 Panjang konteks 201 <= x <= 250: 0, sebesar: 0.0 %
 Panjang konteks 251 <= x <= 300: 0, sebesar: 0.0 %
 Panjang konteks > 300: 0, sebesar: 0.0 %
 
 -- Presentase kebenaran --
-Panjang konteks < 100 yang terprediksi benar sebesar: 60.2 %
-Panjang konteks 101 <= x <= 150 yang terprediksi benar sebesar: 41.26 %
+Panjang konteks < 100 yang terprediksi benar sebesar: 57.65 %
+Panjang konteks 101 <= x <= 150 yang terprediksi benar sebesar: 38.29 %
 Panjang konteks 151 <= x <= 200 yang terprediksi benar sebesar: 0 %
 Panjang konteks 201 <= x <= 250 yang terprediksi benar sebesar: 0 %
 Panjang konteks 251 <= x <= 300 yang terprediksi benar sebesar: 0 %
@@ -56,134 +56,134 @@ Panjang konteks > 300 yang terprediksi benar sebesar: 0 %
 
 --- Bagian tentang panjang question ---
 -- Bagian tentang panjang question yang terprediksi BENAR --
-Panjang question 1 <= x <= 5: 324, sebesar: 37.81 %
-Panjang question 6 <= x <= 10: 141, sebesar: 16.45 %
+Panjang question 1 <= x <= 5: 314, sebesar: 36.64 %
+Panjang question 6 <= x <= 10: 128, sebesar: 14.94 %
 Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
 Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
 Panjang question > 20: 0, sebesar: 0.0 %
 
 -- Bagian tentang panjang question yang terprediksi SALAH --
-Panjang question 1 <= x <= 5: 228, sebesar: 26.6 %
-Panjang question 6 <= x <= 10: 164, sebesar: 19.14 %
+Panjang question 1 <= x <= 5: 238, sebesar: 27.77 %
+Panjang question 6 <= x <= 10: 177, sebesar: 20.65 %
 Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
 Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
 Panjang question > 20: 0, sebesar: 0.0 %
 
 -- Presentase kebenaran --
-Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 58.7 %
-Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 46.23 %
+Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 56.88 %
+Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 41.97 %
 Panjang question 11 <= x <= 15 yang terprediksi benar sebesar: 0 %
 Panjang question 16 <= x <= 20 yang terprediksi benar sebesar: 0 %
 Panjang question > 20 yang terprediksi benar sebesar: 0 %
 
 --- Bagian tentang panjang gold answer ---
 -- Bagian tentang panjang gold answer yang terprediksi BENAR --
-Panjang question 1 <= x <= 5: 364, sebesar: 42.47 %
-Panjang question 6 <= x <= 10: 101, sebesar: 11.79 %
+Panjang question 1 <= x <= 5: 347, sebesar: 40.49 %
+Panjang question 6 <= x <= 10: 95, sebesar: 11.09 %
 Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
 Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
 Panjang question > 20: 0, sebesar: 0.0 %
 
 -- Bagian tentang panjang gold answer yang terprediksi SALAH --
-Panjang question 1 <= x <= 5: 250, sebesar: 29.17 %
-Panjang question 6 <= x <= 10: 142, sebesar: 16.57 %
+Panjang question 1 <= x <= 5: 267, sebesar: 31.16 %
+Panjang question 6 <= x <= 10: 148, sebesar: 17.27 %
 Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
 Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
 Panjang question > 20: 0, sebesar: 0.0 %
 
 -- Presentase kebenaran --
-Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 59.28 %
-Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 41.56 %
+Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 56.51 %
+Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 39.09 %
 Panjang question 11 <= x <= 15 yang terprediksi benar sebesar: 0 %
 Panjang question 16 <= x <= 20 yang terprediksi benar sebesar: 0 %
 Panjang question > 20 yang terprediksi benar sebesar: 0 %
 
 --- Bagian tentang answer type ---
 -- Bagian tentang answer type yang terprediksi BENAR --
-Banyak answer type Person sebanyak: 61, sekitar 6.400839454354669 %
-Banyak answer type NORP sebanyak: 7, sekitar 0.7345225603357817 %
-Banyak answer type Facility sebanyak: 5, sekitar 0.5246589716684155 %
+Banyak answer type Person sebanyak: 59, sekitar 6.190975865687303 %
+Banyak answer type NORP sebanyak: 5, sekitar 0.5246589716684155 %
+Banyak answer type Facility sebanyak: 4, sekitar 0.4197271773347324 %
 Banyak answer type Organization sebanyak: 3, sekitar 0.3147953830010493 %
-Banyak answer type Geo-Political Entity sebanyak: 28, sekitar 2.9380902413431267 %
-Banyak answer type Location sebanyak: 15, sekitar 1.5739769150052465 %
-Banyak answer type Product sebanyak: 35, sekitar 3.6726128016789086 %
-Banyak answer type Event sebanyak: 4, sekitar 0.4197271773347324 %
-Banyak answer type Work of Art sebanyak: 10, sekitar 1.049317943336831 %
+Banyak answer type Geo-Political Entity sebanyak: 24, sekitar 2.5183630640083945 %
+Banyak answer type Location sebanyak: 11, sekitar 1.154249737670514 %
+Banyak answer type Product sebanyak: 32, sekitar 3.3578174186778593 %
+Banyak answer type Event sebanyak: 3, sekitar 0.3147953830010493 %
+Banyak answer type Work of Art sebanyak: 8, sekitar 0.8394543546694648 %
 Banyak answer type Law sebanyak: 0, sekitar 0.0 %
 Banyak answer type Language sebanyak: 2, sekitar 0.2098635886673662 %
-Banyak answer type Date sebanyak: 93, sekitar 9.758656873032528 %
+Banyak answer type Date sebanyak: 90, sekitar 9.44386149003148 %
 Banyak answer type Time sebanyak: 0, sekitar 0.0 %
 Banyak answer type Percent sebanyak: 0, sekitar 0.0 %
-Banyak answer type Money sebanyak: 6, sekitar 0.6295907660020986 %
+Banyak answer type Money sebanyak: 5, sekitar 0.5246589716684155 %
 Banyak answer type Quantity sebanyak: 66, sekitar 6.925498426023085 %
-Banyak answer type Ordinal sebanyak: 20, sekitar 2.098635886673662 %
-Banyak answer type Cardinal sebanyak: 26, sekitar 2.728226652675761 %
+Banyak answer type Ordinal sebanyak: 21, sekitar 2.2035676810073452 %
+Banyak answer type Cardinal sebanyak: 25, sekitar 2.6232948583420774 %
 Banyak answer type REG sebanyak: 9, sekitar 0.944386149003148 %
-Banyak answer type Null sebanyak: 118, sekitar 12.381951731374606 %
+Banyak answer type Null sebanyak: 114, sekitar 11.962224554039874 %
 
 -- Bagian tentang answer type yang terprediksi SALAH --
-Banyak answer type Person sebanyak: 42, sekitar 4.4071353620146905 %
-Banyak answer type NORP sebanyak: 9, sekitar 0.944386149003148 %
-Banyak answer type Facility sebanyak: 0, sekitar 0.0 %
+Banyak answer type Person sebanyak: 44, sekitar 4.616998950682056 %
+Banyak answer type NORP sebanyak: 11, sekitar 1.154249737670514 %
+Banyak answer type Facility sebanyak: 1, sekitar 0.1049317943336831 %
 Banyak answer type Organization sebanyak: 12, sekitar 1.2591815320041972 %
-Banyak answer type Geo-Political Entity sebanyak: 58, sekitar 6.08604407135362 %
-Banyak answer type Location sebanyak: 20, sekitar 2.098635886673662 %
-Banyak answer type Product sebanyak: 43, sekitar 4.512067156348373 %
-Banyak answer type Event sebanyak: 1, sekitar 0.1049317943336831 %
-Banyak answer type Work of Art sebanyak: 4, sekitar 0.4197271773347324 %
+Banyak answer type Geo-Political Entity sebanyak: 62, sekitar 6.505771248688353 %
+Banyak answer type Location sebanyak: 24, sekitar 2.5183630640083945 %
+Banyak answer type Product sebanyak: 46, sekitar 4.826862539349422 %
+Banyak answer type Event sebanyak: 2, sekitar 0.2098635886673662 %
+Banyak answer type Work of Art sebanyak: 6, sekitar 0.6295907660020986 %
 Banyak answer type Law sebanyak: 0, sekitar 0.0 %
 Banyak answer type Language sebanyak: 1, sekitar 0.1049317943336831 %
-Banyak answer type Date sebanyak: 47, sekitar 4.931794333683106 %
+Banyak answer type Date sebanyak: 50, sekitar 5.246589716684155 %
 Banyak answer type Time sebanyak: 0, sekitar 0.0 %
 Banyak answer type Percent sebanyak: 1, sekitar 0.1049317943336831 %
-Banyak answer type Money sebanyak: 3, sekitar 0.3147953830010493 %
+Banyak answer type Money sebanyak: 4, sekitar 0.4197271773347324 %
 Banyak answer type Quantity sebanyak: 19, sekitar 1.993704092339979 %
-Banyak answer type Ordinal sebanyak: 15, sekitar 1.5739769150052465 %
-Banyak answer type Cardinal sebanyak: 27, sekitar 2.8331584470094437 %
+Banyak answer type Ordinal sebanyak: 14, sekitar 1.4690451206715633 %
+Banyak answer type Cardinal sebanyak: 28, sekitar 2.9380902413431267 %
 Banyak answer type REG sebanyak: 14, sekitar 1.4690451206715633 %
-Banyak answer type Null sebanyak: 129, sekitar 13.53620146904512 %
+Banyak answer type Null sebanyak: 133, sekitar 13.955928646379853 %
 
 -- Presentase kebenaran --
-Banyak answer type Person yang terprediksi benar sebesar: 59.22 %
-Banyak answer type NORP yang terprediksi benar sebesar: 43.75 %
-Banyak answer type Facility yang terprediksi benar sebesar: 0 %
+Banyak answer type Person yang terprediksi benar sebesar: 57.28 %
+Banyak answer type NORP yang terprediksi benar sebesar: 31.25 %
+Banyak answer type Facility yang terprediksi benar sebesar: 80.0 %
 Banyak answer type Organization yang terprediksi benar sebesar: 20.0 %
-Banyak answer type Geo-Political Entity yang terprediksi benar sebesar: 32.56 %
-Banyak answer type Location yang terprediksi benar sebesar: 42.86 %
-Banyak answer type Product yang terprediksi benar sebesar: 44.87 %
-Banyak answer type Event yang terprediksi benar sebesar: 80.0 %
-Banyak answer type Work of Art yang terprediksi benar sebesar: 71.43 %
+Banyak answer type Geo-Political Entity yang terprediksi benar sebesar: 27.91 %
+Banyak answer type Location yang terprediksi benar sebesar: 31.43 %
+Banyak answer type Product yang terprediksi benar sebesar: 41.03 %
+Banyak answer type Event yang terprediksi benar sebesar: 60.0 %
+Banyak answer type Work of Art yang terprediksi benar sebesar: 57.14 %
 Banyak answer type Law yang terprediksi benar sebesar: 0 %
 Banyak answer type Language yang terprediksi benar sebesar: 66.67 %
-Banyak answer type Date yang terprediksi benar sebesar: 66.43 %
+Banyak answer type Date yang terprediksi benar sebesar: 64.29 %
 Banyak answer type Time yang terprediksi benar sebesar: 0 %
 Banyak answer type Percent yang terprediksi benar sebesar: 0.0 %
-Banyak answer type Money yang terprediksi benar sebesar: 66.67 %
+Banyak answer type Money yang terprediksi benar sebesar: 55.56 %
 Banyak answer type Quantity yang terprediksi benar sebesar: 77.65 %
-Banyak answer type Ordinal yang terprediksi benar sebesar: 57.14 %
-Banyak answer type Cardinal yang terprediksi benar sebesar: 49.06 %
+Banyak answer type Ordinal yang terprediksi benar sebesar: 60.0 %
+Banyak answer type Cardinal yang terprediksi benar sebesar: 47.17 %
 Banyak answer type REG yang terprediksi benar sebesar: 39.13 %
-Banyak answer type Null yang terprediksi benar sebesar: 47.77 %
+Banyak answer type Null yang terprediksi benar sebesar: 46.15 %
 
 --- Bagian tentang reasoning type ---
 -- Bagian tentang reasoning type yang terprediksi BENAR --
 Banyak reasoning type berjenis WM sebanyak: 5, sebesar: 5.0 %
-Banyak reasoning type berjenis PP sebanyak: 20, sebesar: 20.0 %
-Banyak reasoning type berjenis SSR sebanyak: 10, sebesar: 10.0 %
-Banyak reasoning type berjenis MSR sebanyak: 13, sebesar: 13.0 %
-Banyak reasoning type berjenis AoI sebanyak: 11, sebesar: 11.0 %
+Banyak reasoning type berjenis PP sebanyak: 16, sebesar: 16.0 %
+Banyak reasoning type berjenis SSR sebanyak: 8, sebesar: 8.0 %
+Banyak reasoning type berjenis MSR sebanyak: 10, sebesar: 10.0 %
+Banyak reasoning type berjenis AoI sebanyak: 9, sebesar: 9.0 %
 
 -- Bagian tentang reasoning type yang terprediksi SALAH --
 Banyak reasoning type berjenis WM sebanyak: 4, sebesar: 4.0 %
-Banyak reasoning type berjenis PP sebanyak: 12, sebesar: 12.0 %
-Banyak reasoning type berjenis SSR sebanyak: 7, sebesar: 7.0 %
-Banyak reasoning type berjenis MSR sebanyak: 9, sebesar: 9.0 %
-Banyak reasoning type berjenis AoI sebanyak: 9, sebesar: 9.0 %
+Banyak reasoning type berjenis PP sebanyak: 16, sebesar: 16.0 %
+Banyak reasoning type berjenis SSR sebanyak: 9, sebesar: 9.0 %
+Banyak reasoning type berjenis MSR sebanyak: 12, sebesar: 12.0 %
+Banyak reasoning type berjenis AoI sebanyak: 11, sebesar: 11.0 %
 
 -- Presentase kebenaran --
 Banyak reasoning type berjenis WM yang terprediksi benar sebesar: 55.56 %
-Banyak reasoning type berjenis PP yang terprediksi benar sebesar: 62.5 %
-Banyak reasoning type berjenis SSR yang terprediksi benar sebesar: 58.82 %
-Banyak reasoning type berjenis MSR yang terprediksi benar sebesar: 59.09 %
-Banyak reasoning type berjenis AoI yang terprediksi benar sebesar: 55.0 %
+Banyak reasoning type berjenis PP yang terprediksi benar sebesar: 50.0 %
+Banyak reasoning type berjenis SSR yang terprediksi benar sebesar: 47.06 %
+Banyak reasoning type berjenis MSR yang terprediksi benar sebesar: 45.45 %
+Banyak reasoning type berjenis AoI yang terprediksi benar sebesar: 45.0 %
 

results/evaluation/metric_result.txt

@@ -1 +1 @@
-{'exact_match': 54.14235705950992, 'f1': 66.94243382085831}
+{'exact_match': 51.5752625437573, 'f1': 63.9944639976603}