README_kr.md

Varco Arena

바르코 아레나는 테스트셋 명령어별로 비교할 모델들의 토너먼트를 수행하여 정확하게 모델들의 순위를 매깁니다. 이것은 reference 아웃풋과 비교하여 승률을 매기는 방법보다 정확하며 조금 더 저렴합니다.

더 자세한 내용에 대해서는 아래의 링크를 참조하시면 됩니다.

• 논문
• 엔씨소프트 테크블로그 (KR)

Quickstart

로컬에서 스트림릿 앱으로 시작하기 (추천!)

git clone [THIS_REPO]
# install requirements below. we recommend miniforge to manage environment
cd streamlit_app_local
bash run.sh

더 자세한 내용은 [THIS_REPO]/streamlit_app_local/README.md 을 참조하세요!

CLI 사용

• cli와 웹 앱은 서로 같은 코드를 활용하며, 아래의 디렉토리에 있습니다.
  • varco_arena/
• vscode 상에서 디버깅을 위한 프리셋 프롬프트별 테스트 명령어는 다음 파일에 적혀있습니다.
  • varco_arena/.vscode/launch.json

## gpt-4o-mini as a judge
python main.py -i "./some/dirpath/to/jsonl/files" -o SOME_REL_PATH_TO_CREATE -m tournament -e "gpt-4o-mini"
## vllm-openai served LLM as a judge
python main.py -i "./some/dirpath/to/jsonl/files" -o SOME_REL_PATH_TO_CREATE -e SOME_MODEL_NAME_SERVED -m tournament -u "http://url_to/your/vllm_openai_server:someport"

# dbg lines
## openai api judge dbg
python main.py -i "rsc/inputs_for_dbg/dbg_400_error_inputs/" -o SOME_WANTED_TARGET_DIR -e gpt-4o-mini
## other testing lines
python main.py -i "rsc/inputs_for_dbg/[SOME_DIRECTORY]/" -o SOME_WANTED_TARGET_DIR -e gpt-4o-mini
## dummy judge dbg (checking errors without api requests)
python main.py -i "rsc/inputs_for_dbg/dbg_400_error_inputs/" -o SOME_WANTED_TARGET_DIR -e debug

Requirements

python = 3.11.9 상에서 테스트 함. requirements.txt

openai>=1.17.0
munch
pandas
numpy
tqdm>=4.48.0
plotly
scikit-learn
kaleido
tiktoken>=0.7.0
pyyaml
transformers
streamlit>=1.40.2
openpyxl
git+https://github.com/shobrook/openlimit.git#egg=openlimit # do not install this by pypi

# Linux인 경우
uvloop
# Windows인 경우
winloop

Argument

• -i, --input : 입력 파일 or 디렉토리 or 파일명에 대한 정규 표현식
• -o, --output_dir : 출력 파일이 저장되는 디렉토리
• -e, --evaluation : 평가 모델 (e.g. "gpt-4o-2024-05-13", "gpt-4o-mini", vllm에서 띄운 모델 명 등)
• -m, --matching_method: 매치 방식 (기본값 "tournament", "league" (비추천) )
• -k, --openai_api_key : OpenAI API Key
• -u, --openai_url: 로컬 vLLM OpenAI 서버 사용 시 URL(ip주소+포트)

advanced

• -j, --n_jobs : asyncio.semaphore()에 전달될 인자. Arena가 진행되지 않는다면 기본값인 32 이하로 내려보자
• -p, --evalprompt : 해당 디렉토리 참조
• -lr, --limit_requests : vLLM OpenAI 서버 요청 제한 (default: 7,680)
• -lt, --limit_tokens : vLLM OpenAI 서버 토큰 제한 (default: 15,728,640)

Input Data Format

input jsonl 가이드 링크

Contributing & Customizing

git clone 및 dependency 설치 후에 할 일

pip install pre-commit
pre-commit install

commit 하기 전에 할 일

bash precommit.sh # 이게 코드들을 다 리포맷해줄거임

문의: 손선일

• 내가 만든 프롬프트를 사용하고 싶어요
  • ./varco_arena/prompts/ 에선 각종 프롬프트 클래스 및 yaml 파일 형태로 정의된 프롬프트를 로드합니다. 프리셋을 참조하여 작성하시면 됩니다.
• 테스트셋 별로 다른 평가 프롬프트를 사용하고 싶어요 (e.g. 작업에 따라 다른 프롬프트를 사용하고 싶어요)
  • 위 걸어드린 링크의 load_prompt 를 통해서 promptname + task 형태로 ./varco_arena_core/manager.py:async_run 프롬프트가 로드되도록 해놓았습니다.
• 제가 사용하고 싶은 입력파일에 instruction, source, generated 이외에 다른 필드를 추가해서 사용하고 싶어요.
  • 조금 복잡해지는데 다음 부분을 고쳐주세요
    • varco_arena/eval_utils.py 에서 async_eval_w_prompt 부분을 손봐야할 수 있습니다 (여기에서 PROMPT_OBJ.complete_prompt()을 호출함)
    • 그 외 연관된 부분은 타고타고 고쳐주셔야...

Special Thanks to (contributors)

• 이민호 (@대화모델팀, NCSOFT) github
  • query wrapper
  • rag prompt
• 오주민 (@생성모델팀, NCSOFT)
  • overall prototyping of the system in haste

Citation

저희 작업물이 도움이 되었다면 저희도 도움을 받아볼 수 있을까요?😉

@misc{son2024varcoarenatournamentapproach,
      title={Varco Arena: A Tournament Approach to Reference-Free Benchmarking Large Language Models},
      author={Seonil Son and Ju-Min Oh and Heegon Jin and Cheolhun Jang and Jeongbeom Jeong and Kuntae Kim},
      year={2024},
      eprint={2411.01281},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2411.01281},
}