apsys commited on
Commit
dbd4b3b
1 Parent(s): 0b67d24

Update src/display/about.py

Browse files
Files changed (1) hide show
  1. src/display/about.py +8 -6
src/display/about.py CHANGED
@@ -15,12 +15,13 @@ icons = f"""
15
  LLM_BENCHMARKS_TEXT = """
16
 
17
  Маленький Шлепа это бенчмарк для LLM с задачами множественного выбора (multichoice) по следующим темам:
 
18
  - Законы Российской Федерации (lawmc)
19
  - Популярная музыка (musicmc)
20
  - Книги (bookmc)
21
  - Фильмы (moviemc)
22
 
23
- Каждая задача содержит 12 вариантов ответа.
24
 
25
  ## Инструкция по использованию
26
 
@@ -39,11 +40,12 @@ pip install git+https://github.com/VikhrModels/lm_eval_mc.git --upgrade --force-
39
  ```bash
40
  !lm_eval \
41
  --model hf \
42
- --model_args pretrained={ваша модель, в формате transformers},dtype=float16 \
43
- --device 0 \
44
- --batch_size 4 \
45
- --tasks musicmc,moviemc,bookmc,lawmc \ # здесь нельзя ничего менять, мы не принимаем частичный сабмишен
46
- --output_path output/{папка с результатми}
 
47
  ```
48
 
49
  ### Результаты
 
15
  LLM_BENCHMARKS_TEXT = """
16
 
17
  Маленький Шлепа это бенчмарк для LLM с задачами множественного выбора (multichoice) по следующим темам:
18
+ - Сложные междисциплинные вопросы (MMLUpro-ru)
19
  - Законы Российской Федерации (lawmc)
20
  - Популярная музыка (musicmc)
21
  - Книги (bookmc)
22
  - Фильмы (moviemc)
23
 
24
+ Каждая задача содержит 12 вариантов ответа, mmlupro-ru из 10.
25
 
26
  ## Инструкция по использованию
27
 
 
40
  ```bash
41
  !lm_eval \
42
  --model hf \
43
+ --model_args pretrained={hf/model},dtype=float16 \
44
+ --batch_size 8 \
45
+ --apply_chat_template \
46
+ --num_fewshot 0 \
47
+ --tasks musicmc,moviemc,bookmc,lawmc,mmluproru \
48
+ --output output
49
  ```
50
 
51
  ### Результаты