LoRa1 [논문리뷰] LoRA 논문 리뷰 LoRA 논문 리뷰입니다. 논문 : LoRA: Low-Rank Adaptation of Large Language Models저자 : Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen [1] Introduction 자연어 처리(NLP) 분야에서는 하나의 대규모 언어 모델을 다양한 하위 태스크에 적용하기 위해 파인튜닝(fine-tuning)을 수행하는 것이 일반적입니다. 하지만 최근처럼 GPT-3처럼 수십억~수천억 개의 파라미터를 가진 모델이 등장하면서, 모든 파라미터를 업데이트하는 기존 방식은 비효율적이고, 실제 운영 환경에서 부담이 큽니다. 파인튜닝의 비용 문.. 2025. 7. 8. 이전 1 다음 728x90 반응형
