Commit
•
dc05580
1
Parent(s):
ac2cf65
Upload results/evaluation with huggingface_hub
Browse files
results/evaluation/general_evaluation_results.txt
ADDED
@@ -0,0 +1,189 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
--- Bagian tentang question type ---
|
2 |
+
-- Bagian tentang question type yang terprediksi BENAR --
|
3 |
+
Banyak pertanyaan APA: 167, sebesar: 19.69 %
|
4 |
+
Banyak pertanyaan DIMANA: 30, sebesar: 3.54 %
|
5 |
+
Banyak pertanyaan KAPAN: 138, sebesar: 16.27 %
|
6 |
+
Banyak pertanyaan SIAPA: 56, sebesar: 6.6 %
|
7 |
+
Banyak pertanyaan BAGAIMANA: 8, sebesar: 0.94 %
|
8 |
+
Banyak pertanyaan KENAPA: 5, sebesar: 0.59 %
|
9 |
+
Banyak pertanyaan BERAPA: 76, sebesar: 8.96 %
|
10 |
+
Banyak pertanyaan LAINNYA: 99, sebesar: 11.67 %
|
11 |
+
|
12 |
+
-- Bagian tentang question type yang terprediksi SALAH --
|
13 |
+
Banyak pertanyaan APA: 101, sebesar: 11.91 %
|
14 |
+
Banyak pertanyaan DIMANA: 19, sebesar: 2.24 %
|
15 |
+
Banyak pertanyaan KAPAN: 35, sebesar: 4.13 %
|
16 |
+
Banyak pertanyaan SIAPA: 20, sebesar: 2.36 %
|
17 |
+
Banyak pertanyaan BAGAIMANA: 4, sebesar: 0.47 %
|
18 |
+
Banyak pertanyaan KENAPA: 3, sebesar: 0.35 %
|
19 |
+
Banyak pertanyaan BERAPA: 35, sebesar: 4.13 %
|
20 |
+
Banyak pertanyaan LAINNYA: 52, sebesar: 6.13 %
|
21 |
+
|
22 |
+
-- Presentase kebenaran --
|
23 |
+
Banyak pertanyaan APA yang terpediksi benar sebesar: 62.31 %
|
24 |
+
Banyak pertanyaan DIMANA yang terpediksi benar sebesar: 61.22 %
|
25 |
+
Banyak pertanyaan KAPAN yang terpediksi benar sebesar: 79.77 %
|
26 |
+
Banyak pertanyaan SIAPA yang terpediksi benar sebesar: 73.68 %
|
27 |
+
Banyak pertanyaan BAGAIMANA yang terpediksi benar sebesar: 66.67 %
|
28 |
+
Banyak pertanyaan KENAPA yang terpediksi benar sebesar: 62.5 %
|
29 |
+
Banyak pertanyaan BERAPA yang terpediksi benar sebesar: 68.47 %
|
30 |
+
Banyak pertanyaan LAINNYA yang terpediksi benar sebesar: 65.56 %
|
31 |
+
|
32 |
+
--- Bagian tentang panjang context ---
|
33 |
+
-- Bagian tentang panjang context yang terprediksi BENAR --
|
34 |
+
Panjang konteks < 100: 412, sebesar: 48.58 %
|
35 |
+
Panjang konteks 101 <= x <= 150: 167, sebesar: 19.69 %
|
36 |
+
Panjang konteks 151 <= x <= 200: 0, sebesar: 0.0 %
|
37 |
+
Panjang konteks 201 <= x <= 250: 0, sebesar: 0.0 %
|
38 |
+
Panjang konteks 251 <= x <= 300: 0, sebesar: 0.0 %
|
39 |
+
Panjang konteks > 300: 0, sebesar: 0.0 %
|
40 |
+
|
41 |
+
-- Bagian tentang panjang context yang terprediksi SALAH --
|
42 |
+
Panjang konteks < 100: 174, sebesar: 20.52 %
|
43 |
+
Panjang konteks 101 <= x <= 150: 95, sebesar: 11.2 %
|
44 |
+
Panjang konteks 151 <= x <= 200: 0, sebesar: 0.0 %
|
45 |
+
Panjang konteks 201 <= x <= 250: 0, sebesar: 0.0 %
|
46 |
+
Panjang konteks 251 <= x <= 300: 0, sebesar: 0.0 %
|
47 |
+
Panjang konteks > 300: 0, sebesar: 0.0 %
|
48 |
+
|
49 |
+
-- Presentase kebenaran --
|
50 |
+
Panjang konteks < 100 yang terprediksi benar sebesar: 70.31 %
|
51 |
+
Panjang konteks 101 <= x <= 150 yang terprediksi benar sebesar: 63.74 %
|
52 |
+
Panjang konteks 151 <= x <= 200 yang terprediksi benar sebesar: 0 %
|
53 |
+
Panjang konteks 201 <= x <= 250 yang terprediksi benar sebesar: 0 %
|
54 |
+
Panjang konteks 251 <= x <= 300 yang terprediksi benar sebesar: 0 %
|
55 |
+
Panjang konteks > 300 yang terprediksi benar sebesar: 0 %
|
56 |
+
|
57 |
+
--- Bagian tentang panjang question ---
|
58 |
+
-- Bagian tentang panjang question yang terprediksi BENAR --
|
59 |
+
Panjang question 1 <= x <= 5: 256, sebesar: 30.19 %
|
60 |
+
Panjang question 6 <= x <= 10: 323, sebesar: 38.09 %
|
61 |
+
Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
|
62 |
+
Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
|
63 |
+
Panjang question > 20: 0, sebesar: 0.0 %
|
64 |
+
|
65 |
+
-- Bagian tentang panjang question yang terprediksi SALAH --
|
66 |
+
Panjang question 1 <= x <= 5: 135, sebesar: 15.92 %
|
67 |
+
Panjang question 6 <= x <= 10: 134, sebesar: 15.8 %
|
68 |
+
Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
|
69 |
+
Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
|
70 |
+
Panjang question > 20: 0, sebesar: 0.0 %
|
71 |
+
|
72 |
+
-- Presentase kebenaran --
|
73 |
+
Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 65.47 %
|
74 |
+
Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 70.68 %
|
75 |
+
Panjang question 11 <= x <= 15 yang terprediksi benar sebesar: 0 %
|
76 |
+
Panjang question 16 <= x <= 20 yang terprediksi benar sebesar: 0 %
|
77 |
+
Panjang question > 20 yang terprediksi benar sebesar: 0 %
|
78 |
+
|
79 |
+
--- Bagian tentang panjang gold answer ---
|
80 |
+
-- Bagian tentang panjang gold answer yang terprediksi BENAR --
|
81 |
+
Panjang question 1 <= x <= 5: 529, sebesar: 62.38 %
|
82 |
+
Panjang question 6 <= x <= 10: 50, sebesar: 5.9 %
|
83 |
+
Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
|
84 |
+
Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
|
85 |
+
Panjang question > 20: 0, sebesar: 0.0 %
|
86 |
+
|
87 |
+
-- Bagian tentang panjang gold answer yang terprediksi SALAH --
|
88 |
+
Panjang question 1 <= x <= 5: 201, sebesar: 23.7 %
|
89 |
+
Panjang question 6 <= x <= 10: 68, sebesar: 8.02 %
|
90 |
+
Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
|
91 |
+
Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
|
92 |
+
Panjang question > 20: 0, sebesar: 0.0 %
|
93 |
+
|
94 |
+
-- Presentase kebenaran --
|
95 |
+
Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 72.47 %
|
96 |
+
Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 42.37 %
|
97 |
+
Panjang question 11 <= x <= 15 yang terprediksi benar sebesar: 0 %
|
98 |
+
Panjang question 16 <= x <= 20 yang terprediksi benar sebesar: 0 %
|
99 |
+
Panjang question > 20 yang terprediksi benar sebesar: 0 %
|
100 |
+
|
101 |
+
--- Bagian tentang answer type ---
|
102 |
+
-- Bagian tentang answer type yang terprediksi BENAR --
|
103 |
+
Banyak answer type Person sebanyak: 27, sekitar 3.0 %
|
104 |
+
Banyak answer type NORP sebanyak: 2, sekitar 0.2222222222222222 %
|
105 |
+
Banyak answer type Facility sebanyak: 0, sekitar 0.0 %
|
106 |
+
Banyak answer type Organization sebanyak: 2, sekitar 0.2222222222222222 %
|
107 |
+
Banyak answer type Geo-Political Entity sebanyak: 20, sekitar 2.2222222222222223 %
|
108 |
+
Banyak answer type Location sebanyak: 7, sekitar 0.7777777777777778 %
|
109 |
+
Banyak answer type Product sebanyak: 14, sekitar 1.5555555555555556 %
|
110 |
+
Banyak answer type Event sebanyak: 0, sekitar 0.0 %
|
111 |
+
Banyak answer type Work of Art sebanyak: 2, sekitar 0.2222222222222222 %
|
112 |
+
Banyak answer type Law sebanyak: 0, sekitar 0.0 %
|
113 |
+
Banyak answer type Language sebanyak: 0, sekitar 0.0 %
|
114 |
+
Banyak answer type Date sebanyak: 56, sekitar 6.222222222222222 %
|
115 |
+
Banyak answer type Time sebanyak: 0, sekitar 0.0 %
|
116 |
+
Banyak answer type Percent sebanyak: 0, sekitar 0.0 %
|
117 |
+
Banyak answer type Money sebanyak: 1, sekitar 0.1111111111111111 %
|
118 |
+
Banyak answer type Quantity sebanyak: 22, sekitar 2.4444444444444446 %
|
119 |
+
Banyak answer type Ordinal sebanyak: 8, sekitar 0.8888888888888888 %
|
120 |
+
Banyak answer type Cardinal sebanyak: 9, sekitar 1.0 %
|
121 |
+
Banyak answer type REG sebanyak: 2, sekitar 0.2222222222222222 %
|
122 |
+
Banyak answer type Null sebanyak: 420, sekitar 46.666666666666664 %
|
123 |
+
|
124 |
+
-- Bagian tentang answer type yang terprediksi SALAH --
|
125 |
+
Banyak answer type Person sebanyak: 28, sekitar 3.111111111111111 %
|
126 |
+
Banyak answer type NORP sebanyak: 4, sekitar 0.4444444444444444 %
|
127 |
+
Banyak answer type Facility sebanyak: 2, sekitar 0.2222222222222222 %
|
128 |
+
Banyak answer type Organization sebanyak: 9, sekitar 1.0 %
|
129 |
+
Banyak answer type Geo-Political Entity sebanyak: 23, sekitar 2.555555555555556 %
|
130 |
+
Banyak answer type Location sebanyak: 14, sekitar 1.5555555555555556 %
|
131 |
+
Banyak answer type Product sebanyak: 18, sekitar 2.0 %
|
132 |
+
Banyak answer type Event sebanyak: 4, sekitar 0.4444444444444444 %
|
133 |
+
Banyak answer type Work of Art sebanyak: 5, sekitar 0.5555555555555556 %
|
134 |
+
Banyak answer type Law sebanyak: 0, sekitar 0.0 %
|
135 |
+
Banyak answer type Language sebanyak: 1, sekitar 0.1111111111111111 %
|
136 |
+
Banyak answer type Date sebanyak: 28, sekitar 3.111111111111111 %
|
137 |
+
Banyak answer type Time sebanyak: 1, sekitar 0.1111111111111111 %
|
138 |
+
Banyak answer type Percent sebanyak: 2, sekitar 0.2222222222222222 %
|
139 |
+
Banyak answer type Money sebanyak: 2, sekitar 0.2222222222222222 %
|
140 |
+
Banyak answer type Quantity sebanyak: 13, sekitar 1.4444444444444444 %
|
141 |
+
Banyak answer type Ordinal sebanyak: 6, sekitar 0.6666666666666667 %
|
142 |
+
Banyak answer type Cardinal sebanyak: 17, sekitar 1.8888888888888888 %
|
143 |
+
Banyak answer type REG sebanyak: 8, sekitar 0.8888888888888888 %
|
144 |
+
Banyak answer type Null sebanyak: 123, sekitar 13.666666666666666 %
|
145 |
+
|
146 |
+
-- Presentase kebenaran --
|
147 |
+
Banyak answer type Person yang terprediksi benar sebesar: 49.09 %
|
148 |
+
Banyak answer type NORP yang terprediksi benar sebesar: 33.33 %
|
149 |
+
Banyak answer type Facility yang terprediksi benar sebesar: 0.0 %
|
150 |
+
Banyak answer type Organization yang terprediksi benar sebesar: 18.18 %
|
151 |
+
Banyak answer type Geo-Political Entity yang terprediksi benar sebesar: 46.51 %
|
152 |
+
Banyak answer type Location yang terprediksi benar sebesar: 33.33 %
|
153 |
+
Banyak answer type Product yang terprediksi benar sebesar: 43.75 %
|
154 |
+
Banyak answer type Event yang terprediksi benar sebesar: 0.0 %
|
155 |
+
Banyak answer type Work of Art yang terprediksi benar sebesar: 28.57 %
|
156 |
+
Banyak answer type Law yang terprediksi benar sebesar: 0 %
|
157 |
+
Banyak answer type Language yang terprediksi benar sebesar: 0.0 %
|
158 |
+
Banyak answer type Date yang terprediksi benar sebesar: 66.67 %
|
159 |
+
Banyak answer type Time yang terprediksi benar sebesar: 0.0 %
|
160 |
+
Banyak answer type Percent yang terprediksi benar sebesar: 0.0 %
|
161 |
+
Banyak answer type Money yang terprediksi benar sebesar: 33.33 %
|
162 |
+
Banyak answer type Quantity yang terprediksi benar sebesar: 62.86 %
|
163 |
+
Banyak answer type Ordinal yang terprediksi benar sebesar: 57.14 %
|
164 |
+
Banyak answer type Cardinal yang terprediksi benar sebesar: 34.62 %
|
165 |
+
Banyak answer type REG yang terprediksi benar sebesar: 20.0 %
|
166 |
+
Banyak answer type Null yang terprediksi benar sebesar: 77.35 %
|
167 |
+
|
168 |
+
--- Bagian tentang reasoning type ---
|
169 |
+
-- Bagian tentang reasoning type yang terprediksi BENAR --
|
170 |
+
Banyak reasoning type berjenis WM sebanyak: 6, sebesar: 6.0 %
|
171 |
+
Banyak reasoning type berjenis PP sebanyak: 8, sebesar: 8.0 %
|
172 |
+
Banyak reasoning type berjenis SSR sebanyak: 2, sebesar: 2.0 %
|
173 |
+
Banyak reasoning type berjenis MSR sebanyak: 4, sebesar: 4.0 %
|
174 |
+
Banyak reasoning type berjenis AoI sebanyak: 46, sebesar: 46.0 %
|
175 |
+
|
176 |
+
-- Bagian tentang reasoning type yang terprediksi SALAH --
|
177 |
+
Banyak reasoning type berjenis WM sebanyak: 4, sebesar: 4.0 %
|
178 |
+
Banyak reasoning type berjenis PP sebanyak: 1, sebesar: 1.0 %
|
179 |
+
Banyak reasoning type berjenis SSR sebanyak: 3, sebesar: 3.0 %
|
180 |
+
Banyak reasoning type berjenis MSR sebanyak: 9, sebesar: 9.0 %
|
181 |
+
Banyak reasoning type berjenis AoI sebanyak: 17, sebesar: 17.0 %
|
182 |
+
|
183 |
+
-- Presentase kebenaran --
|
184 |
+
Banyak reasoning type berjenis WM yang terprediksi benar sebesar: 60.0 %
|
185 |
+
Banyak reasoning type berjenis PP yang terprediksi benar sebesar: 88.89 %
|
186 |
+
Banyak reasoning type berjenis SSR yang terprediksi benar sebesar: 40.0 %
|
187 |
+
Banyak reasoning type berjenis MSR yang terprediksi benar sebesar: 30.77 %
|
188 |
+
Banyak reasoning type berjenis AoI yang terprediksi benar sebesar: 73.02 %
|
189 |
+
|
results/evaluation/metric_result.txt
ADDED
@@ -0,0 +1 @@
|
|
|
|
|
1 |
+
{'exact_match': 67.9245283018868, 'f1': 74.03608244980539}
|