LoRA에 대한 질문이 있어서 글을 남깁니다
#6
by
HoonKR
- opened
LLM에 대해서 공부하고 있는데 어려운 부분이 있어서 질문 남깁니다. 혹시나 답변해주신다면 감사드리겠습니다.
현재 405B 모델을 4bit 양자화하여 200GB 정도의 컴퓨팅 리소스를 사용하는 모델로 만들었을 때,
해당 모델을 LoRA 학습을 적용한다면 사용되는 컴퓨팅 리소스는 얼마나 되는지 계산하는 방법이 어떻게 될까요?
계산하는 방법을 배울 수 있는 글이나 논문을 소개해주셔도 괜찮습니다. 감사합니다!
HoonKR
changed discussion status to
closed