Upload results/evaluation with huggingface_hub

results/evaluation/general_evaluation_results.txt

@@ -1,54 +1,54 @@
 --- Bagian tentang question type ---
 -- Bagian tentang question type yang terprediksi BENAR --
-Banyak pertanyaan APA: 164, sebesar: 19.34 %
-Banyak pertanyaan DIMANA: 29, sebesar: 3.42 %
-Banyak pertanyaan KAPAN: 137, sebesar: 16.16 %
-Banyak pertanyaan SIAPA: 58, sebesar: 6.84 %
-Banyak pertanyaan BAGAIMANA: 8, sebesar: 0.94 %
+Banyak pertanyaan APA: 160, sebesar: 18.87 %
+Banyak pertanyaan DIMANA: 30, sebesar: 3.54 %
+Banyak pertanyaan KAPAN: 133, sebesar: 15.68 %
+Banyak pertanyaan SIAPA: 54, sebesar: 6.37 %
+Banyak pertanyaan BAGAIMANA: 7, sebesar: 0.83 %
 Banyak pertanyaan KENAPA: 5, sebesar: 0.59 %
-Banyak pertanyaan BERAPA: 72, sebesar: 8.49 %
-Banyak pertanyaan LAINNYA: 99, sebesar: 11.67 %
+Banyak pertanyaan BERAPA: 76, sebesar: 8.96 %
+Banyak pertanyaan LAINNYA: 96, sebesar: 11.32 %
 
 -- Bagian tentang question type yang terprediksi SALAH --
-Banyak pertanyaan APA: 104, sebesar: 12.26 %
-Banyak pertanyaan DIMANA: 20, sebesar: 2.36 %
-Banyak pertanyaan KAPAN: 36, sebesar: 4.25 %
-Banyak pertanyaan SIAPA: 18, sebesar: 2.12 %
-Banyak pertanyaan BAGAIMANA: 4, sebesar: 0.47 %
+Banyak pertanyaan APA: 108, sebesar: 12.74 %
+Banyak pertanyaan DIMANA: 19, sebesar: 2.24 %
+Banyak pertanyaan KAPAN: 40, sebesar: 4.72 %
+Banyak pertanyaan SIAPA: 22, sebesar: 2.59 %
+Banyak pertanyaan BAGAIMANA: 5, sebesar: 0.59 %
 Banyak pertanyaan KENAPA: 3, sebesar: 0.35 %
-Banyak pertanyaan BERAPA: 39, sebesar: 4.6 %
-Banyak pertanyaan LAINNYA: 52, sebesar: 6.13 %
+Banyak pertanyaan BERAPA: 35, sebesar: 4.13 %
+Banyak pertanyaan LAINNYA: 55, sebesar: 6.49 %
 
 -- Presentase kebenaran --
-Banyak pertanyaan APA yang terpediksi benar sebesar: 61.19 %
-Banyak pertanyaan DIMANA yang terpediksi benar sebesar: 59.18 %
-Banyak pertanyaan KAPAN yang terpediksi benar sebesar: 79.19 %
-Banyak pertanyaan SIAPA yang terpediksi benar sebesar: 76.32 %
-Banyak pertanyaan BAGAIMANA yang terpediksi benar sebesar: 66.67 %
+Banyak pertanyaan APA yang terpediksi benar sebesar: 59.7 %
+Banyak pertanyaan DIMANA yang terpediksi benar sebesar: 61.22 %
+Banyak pertanyaan KAPAN yang terpediksi benar sebesar: 76.88 %
+Banyak pertanyaan SIAPA yang terpediksi benar sebesar: 71.05 %
+Banyak pertanyaan BAGAIMANA yang terpediksi benar sebesar: 58.33 %
 Banyak pertanyaan KENAPA yang terpediksi benar sebesar: 62.5 %
-Banyak pertanyaan BERAPA yang terpediksi benar sebesar: 64.86 %
-Banyak pertanyaan LAINNYA yang terpediksi benar sebesar: 65.56 %
+Banyak pertanyaan BERAPA yang terpediksi benar sebesar: 68.47 %
+Banyak pertanyaan LAINNYA yang terpediksi benar sebesar: 63.58 %
 
 --- Bagian tentang panjang context ---
 -- Bagian tentang panjang context yang terprediksi BENAR --
-Panjang konteks < 100: 410, sebesar: 48.35 %
-Panjang konteks 101 <= x <= 150: 162, sebesar: 19.1 %
+Panjang konteks < 100: 397, sebesar: 46.82 %
+Panjang konteks 101 <= x <= 150: 164, sebesar: 19.34 %
 Panjang konteks 151 <= x <= 200: 0, sebesar: 0.0 %
 Panjang konteks 201 <= x <= 250: 0, sebesar: 0.0 %
 Panjang konteks 251 <= x <= 300: 0, sebesar: 0.0 %
 Panjang konteks > 300: 0, sebesar: 0.0 %
 
 -- Bagian tentang panjang context yang terprediksi SALAH --
-Panjang konteks < 100: 176, sebesar: 20.75 %
-Panjang konteks 101 <= x <= 150: 100, sebesar: 11.79 %
+Panjang konteks < 100: 189, sebesar: 22.29 %
+Panjang konteks 101 <= x <= 150: 98, sebesar: 11.56 %
 Panjang konteks 151 <= x <= 200: 0, sebesar: 0.0 %
 Panjang konteks 201 <= x <= 250: 0, sebesar: 0.0 %
 Panjang konteks 251 <= x <= 300: 0, sebesar: 0.0 %
 Panjang konteks > 300: 0, sebesar: 0.0 %
 
 -- Presentase kebenaran --
-Panjang konteks < 100 yang terprediksi benar sebesar: 69.97 %
-Panjang konteks 101 <= x <= 150 yang terprediksi benar sebesar: 61.83 %
+Panjang konteks < 100 yang terprediksi benar sebesar: 67.75 %
+Panjang konteks 101 <= x <= 150 yang terprediksi benar sebesar: 62.6 %
 Panjang konteks 151 <= x <= 200 yang terprediksi benar sebesar: 0 %
 Panjang konteks 201 <= x <= 250 yang terprediksi benar sebesar: 0 %
 Panjang konteks 251 <= x <= 300 yang terprediksi benar sebesar: 0 %
@@ -56,114 +56,114 @@ Panjang konteks > 300 yang terprediksi benar sebesar: 0 %
 
 --- Bagian tentang panjang question ---
 -- Bagian tentang panjang question yang terprediksi BENAR --
-Panjang question 1 <= x <= 5: 256, sebesar: 30.19 %
-Panjang question 6 <= x <= 10: 316, sebesar: 37.26 %
+Panjang question 1 <= x <= 5: 252, sebesar: 29.72 %
+Panjang question 6 <= x <= 10: 309, sebesar: 36.44 %
 Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
 Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
 Panjang question > 20: 0, sebesar: 0.0 %
 
 -- Bagian tentang panjang question yang terprediksi SALAH --
-Panjang question 1 <= x <= 5: 135, sebesar: 15.92 %
-Panjang question 6 <= x <= 10: 141, sebesar: 16.63 %
+Panjang question 1 <= x <= 5: 139, sebesar: 16.39 %
+Panjang question 6 <= x <= 10: 148, sebesar: 17.45 %
 Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
 Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
 Panjang question > 20: 0, sebesar: 0.0 %
 
 -- Presentase kebenaran --
-Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 65.47 %
-Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 69.15 %
+Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 64.45 %
+Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 67.61 %
 Panjang question 11 <= x <= 15 yang terprediksi benar sebesar: 0 %
 Panjang question 16 <= x <= 20 yang terprediksi benar sebesar: 0 %
 Panjang question > 20 yang terprediksi benar sebesar: 0 %
 
 --- Bagian tentang panjang gold answer ---
 -- Bagian tentang panjang gold answer yang terprediksi BENAR --
-Panjang question 1 <= x <= 5: 524, sebesar: 61.79 %
-Panjang question 6 <= x <= 10: 48, sebesar: 5.66 %
+Panjang question 1 <= x <= 5: 519, sebesar: 61.2 %
+Panjang question 6 <= x <= 10: 42, sebesar: 4.95 %
 Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
 Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
 Panjang question > 20: 0, sebesar: 0.0 %
 
 -- Bagian tentang panjang gold answer yang terprediksi SALAH --
-Panjang question 1 <= x <= 5: 206, sebesar: 24.29 %
-Panjang question 6 <= x <= 10: 70, sebesar: 8.25 %
+Panjang question 1 <= x <= 5: 211, sebesar: 24.88 %
+Panjang question 6 <= x <= 10: 76, sebesar: 8.96 %
 Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
 Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
 Panjang question > 20: 0, sebesar: 0.0 %
 
 -- Presentase kebenaran --
-Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 71.78 %
-Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 40.68 %
+Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 71.1 %
+Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 35.59 %
 Panjang question 11 <= x <= 15 yang terprediksi benar sebesar: 0 %
 Panjang question 16 <= x <= 20 yang terprediksi benar sebesar: 0 %
 Panjang question > 20 yang terprediksi benar sebesar: 0 %
 
 --- Bagian tentang answer type ---
 -- Bagian tentang answer type yang terprediksi BENAR --
-Banyak answer type Person sebanyak: 25, sekitar 2.7777777777777777 %
+Banyak answer type Person sebanyak: 22, sekitar 2.4444444444444446 %
 Banyak answer type NORP sebanyak: 2, sekitar 0.2222222222222222 %
 Banyak answer type Facility sebanyak: 0, sekitar 0.0 %
 Banyak answer type Organization sebanyak: 1, sekitar 0.1111111111111111 %
 Banyak answer type Geo-Political Entity sebanyak: 20, sekitar 2.2222222222222223 %
 Banyak answer type Location sebanyak: 6, sekitar 0.6666666666666667 %
-Banyak answer type Product sebanyak: 16, sekitar 1.7777777777777777 %
-Banyak answer type Event sebanyak: 1, sekitar 0.1111111111111111 %
+Banyak answer type Product sebanyak: 10, sekitar 1.1111111111111112 %
+Banyak answer type Event sebanyak: 0, sekitar 0.0 %
 Banyak answer type Work of Art sebanyak: 2, sekitar 0.2222222222222222 %
 Banyak answer type Law sebanyak: 0, sekitar 0.0 %
 Banyak answer type Language sebanyak: 0, sekitar 0.0 %
-Banyak answer type Date sebanyak: 61, sekitar 6.777777777777779 %
+Banyak answer type Date sebanyak: 55, sekitar 6.111111111111111 %
 Banyak answer type Time sebanyak: 0, sekitar 0.0 %
 Banyak answer type Percent sebanyak: 0, sekitar 0.0 %
-Banyak answer type Money sebanyak: 1, sekitar 0.1111111111111111 %
-Banyak answer type Quantity sebanyak: 23, sekitar 2.555555555555556 %
-Banyak answer type Ordinal sebanyak: 7, sekitar 0.7777777777777778 %
-Banyak answer type Cardinal sebanyak: 7, sekitar 0.7777777777777778 %
+Banyak answer type Money sebanyak: 2, sekitar 0.2222222222222222 %
+Banyak answer type Quantity sebanyak: 21, sekitar 2.3333333333333335 %
+Banyak answer type Ordinal sebanyak: 8, sekitar 0.8888888888888888 %
+Banyak answer type Cardinal sebanyak: 6, sekitar 0.6666666666666667 %
 Banyak answer type REG sebanyak: 2, sekitar 0.2222222222222222 %
-Banyak answer type Null sebanyak: 413, sekitar 45.88888888888889 %
+Banyak answer type Null sebanyak: 416, sekitar 46.22222222222222 %
 
 -- Bagian tentang answer type yang terprediksi SALAH --
-Banyak answer type Person sebanyak: 30, sekitar 3.3333333333333335 %
+Banyak answer type Person sebanyak: 33, sekitar 3.6666666666666665 %
 Banyak answer type NORP sebanyak: 4, sekitar 0.4444444444444444 %
 Banyak answer type Facility sebanyak: 2, sekitar 0.2222222222222222 %
 Banyak answer type Organization sebanyak: 10, sekitar 1.1111111111111112 %
 Banyak answer type Geo-Political Entity sebanyak: 23, sekitar 2.555555555555556 %
 Banyak answer type Location sebanyak: 15, sekitar 1.6666666666666667 %
-Banyak answer type Product sebanyak: 16, sekitar 1.7777777777777777 %
-Banyak answer type Event sebanyak: 3, sekitar 0.33333333333333337 %
+Banyak answer type Product sebanyak: 22, sekitar 2.4444444444444446 %
+Banyak answer type Event sebanyak: 4, sekitar 0.4444444444444444 %
 Banyak answer type Work of Art sebanyak: 5, sekitar 0.5555555555555556 %
 Banyak answer type Law sebanyak: 0, sekitar 0.0 %
 Banyak answer type Language sebanyak: 1, sekitar 0.1111111111111111 %
-Banyak answer type Date sebanyak: 23, sekitar 2.555555555555556 %
+Banyak answer type Date sebanyak: 29, sekitar 3.2222222222222223 %
 Banyak answer type Time sebanyak: 1, sekitar 0.1111111111111111 %
 Banyak answer type Percent sebanyak: 2, sekitar 0.2222222222222222 %
-Banyak answer type Money sebanyak: 2, sekitar 0.2222222222222222 %
-Banyak answer type Quantity sebanyak: 12, sekitar 1.3333333333333335 %
-Banyak answer type Ordinal sebanyak: 7, sekitar 0.7777777777777778 %
-Banyak answer type Cardinal sebanyak: 19, sekitar 2.111111111111111 %
+Banyak answer type Money sebanyak: 1, sekitar 0.1111111111111111 %
+Banyak answer type Quantity sebanyak: 14, sekitar 1.5555555555555556 %
+Banyak answer type Ordinal sebanyak: 6, sekitar 0.6666666666666667 %
+Banyak answer type Cardinal sebanyak: 20, sekitar 2.2222222222222223 %
 Banyak answer type REG sebanyak: 8, sekitar 0.8888888888888888 %
-Banyak answer type Null sebanyak: 130, sekitar 14.444444444444443 %
+Banyak answer type Null sebanyak: 127, sekitar 14.11111111111111 %
 
 -- Presentase kebenaran --
-Banyak answer type Person yang terprediksi benar sebesar: 45.45 %
+Banyak answer type Person yang terprediksi benar sebesar: 40.0 %
 Banyak answer type NORP yang terprediksi benar sebesar: 33.33 %
 Banyak answer type Facility yang terprediksi benar sebesar: 0.0 %
 Banyak answer type Organization yang terprediksi benar sebesar: 9.09 %
 Banyak answer type Geo-Political Entity yang terprediksi benar sebesar: 46.51 %
 Banyak answer type Location yang terprediksi benar sebesar: 28.57 %
-Banyak answer type Product yang terprediksi benar sebesar: 50.0 %
-Banyak answer type Event yang terprediksi benar sebesar: 25.0 %
+Banyak answer type Product yang terprediksi benar sebesar: 31.25 %
+Banyak answer type Event yang terprediksi benar sebesar: 0.0 %
 Banyak answer type Work of Art yang terprediksi benar sebesar: 28.57 %
 Banyak answer type Law yang terprediksi benar sebesar: 0 %
 Banyak answer type Language yang terprediksi benar sebesar: 0.0 %
-Banyak answer type Date yang terprediksi benar sebesar: 72.62 %
+Banyak answer type Date yang terprediksi benar sebesar: 65.48 %
 Banyak answer type Time yang terprediksi benar sebesar: 0.0 %
 Banyak answer type Percent yang terprediksi benar sebesar: 0.0 %
-Banyak answer type Money yang terprediksi benar sebesar: 33.33 %
-Banyak answer type Quantity yang terprediksi benar sebesar: 65.71 %
-Banyak answer type Ordinal yang terprediksi benar sebesar: 50.0 %
-Banyak answer type Cardinal yang terprediksi benar sebesar: 26.92 %
+Banyak answer type Money yang terprediksi benar sebesar: 66.67 %
+Banyak answer type Quantity yang terprediksi benar sebesar: 60.0 %
+Banyak answer type Ordinal yang terprediksi benar sebesar: 57.14 %
+Banyak answer type Cardinal yang terprediksi benar sebesar: 23.08 %
 Banyak answer type REG yang terprediksi benar sebesar: 20.0 %
-Banyak answer type Null yang terprediksi benar sebesar: 76.06 %
+Banyak answer type Null yang terprediksi benar sebesar: 76.61 %
 
 --- Bagian tentang reasoning type ---
 -- Bagian tentang reasoning type yang terprediksi BENAR --

results/evaluation/metric_result.txt

@@ -1 +1 @@
-{'exact_match': 67.09905660377359, 'f1': 72.63956856431777}
+{'exact_match': 65.80188679245283, 'f1': 72.46319500072799}