Spaces:
Runtime error
Runtime error
Add missing keys from sample
Browse files- app.py +8 -8
- sample-submission.json +8 -0
app.py
CHANGED
@@ -84,13 +84,13 @@ with st.form(key="form"):
|
|
84 |
}
|
85 |
}
|
86 |
```
|
87 |
-
|
88 |
-
|
89 |
-
|
90 |
-
|
91 |
-
|
92 |
-
|
93 |
-
values. Please see the sample submission below:
|
94 |
"""
|
95 |
)
|
96 |
with open("sample-submission.json", "r") as f:
|
@@ -146,7 +146,7 @@ if submit_button and submission_errors == 0:
|
|
146 |
"dataset": "GEM/references",
|
147 |
"task": 1,
|
148 |
"model": "gem",
|
149 |
-
"submission_dataset": f"
|
150 |
"submission_id": submission_id,
|
151 |
"col_mapping": {},
|
152 |
"split": "test",
|
|
|
84 |
}
|
85 |
}
|
86 |
```
|
87 |
+
Here, `dataset_identifier` is the identifier of the dataset followed by
|
88 |
+
an identifier of the set the outputs were created from, for example
|
89 |
+
`_validation` or `_test`. For example, the `mlsum_de` test set has the
|
90 |
+
identifier `mlsum_de_test`. The `keys` field is needed to avoid
|
91 |
+
accidental shuffling that will impact your metrics. Simply add a list of
|
92 |
+
IDs from the `gem_id` column of each evaluation dataset in the same
|
93 |
+
order as your values. Please see the sample submission below:
|
94 |
"""
|
95 |
)
|
96 |
with open("sample-submission.json", "r") as f:
|
|
|
146 |
"dataset": "GEM/references",
|
147 |
"task": 1,
|
148 |
"model": "gem",
|
149 |
+
"submission_dataset": f"GEM-submissions/gem-{user_name}",
|
150 |
"submission_id": submission_id,
|
151 |
"col_mapping": {},
|
152 |
"split": "test",
|
sample-submission.json
CHANGED
@@ -17,12 +17,20 @@
|
|
17 |
"values": [
|
18 |
"Indien hat zwar die größten Geldscheine zunächst abgeschafft, die Wirtschaft wird aber weiterhin auf Bargeld basieren.",
|
19 |
"Der englische Coach hat eine Mannschaft, die gar nicht gut verteidigen kann. Doch er hat gerade eine Mannschaft, die gar nicht gut verteidigen kann."
|
|
|
|
|
|
|
|
|
20 |
]
|
21 |
},
|
22 |
"mlsum_de_challenge_validation_sample": {
|
23 |
"values": [
|
24 |
"Was heute wichtig war - und was Sie auf SZ.de am meisten interessiert hat.",
|
25 |
"Microsoft, Netflix, Spotify, Facebook und all die anderen wollen im Grunde nur das eine: unsere Zeit. Jede Minute zählt, und um unser wertvollstes Gut zu bekom\u00admen, kämpft jeder gegen jeden."
|
|
|
|
|
|
|
|
|
26 |
]
|
27 |
},
|
28 |
"mlsum_de_challenge_test_covid": {
|
|
|
17 |
"values": [
|
18 |
"Indien hat zwar die größten Geldscheine zunächst abgeschafft, die Wirtschaft wird aber weiterhin auf Bargeld basieren.",
|
19 |
"Der englische Coach hat eine Mannschaft, die gar nicht gut verteidigen kann. Doch er hat gerade eine Mannschaft, die gar nicht gut verteidigen kann."
|
20 |
+
],
|
21 |
+
"keys": [
|
22 |
+
"mlsum_de-challenge_train_sample-0",
|
23 |
+
"mlsum_de-challenge_train_sample-1"
|
24 |
]
|
25 |
},
|
26 |
"mlsum_de_challenge_validation_sample": {
|
27 |
"values": [
|
28 |
"Was heute wichtig war - und was Sie auf SZ.de am meisten interessiert hat.",
|
29 |
"Microsoft, Netflix, Spotify, Facebook und all die anderen wollen im Grunde nur das eine: unsere Zeit. Jede Minute zählt, und um unser wertvollstes Gut zu bekom\u00admen, kämpft jeder gegen jeden."
|
30 |
+
],
|
31 |
+
"keys": [
|
32 |
+
"mlsum_de-challenge-validation_sample-0",
|
33 |
+
"mlsum_de-challenge-validation_sample-1"
|
34 |
]
|
35 |
},
|
36 |
"mlsum_de_challenge_test_covid": {
|