본문 바로가기

분류 전체보기69

[논문리뷰] LoRA 논문 리뷰 LoRA 논문 리뷰입니다. 논문 : LoRA: Low-Rank Adaptation of Large Language Models저자 : Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen [1] Introduction 자연어 처리(NLP) 분야에서는 하나의 대규모 언어 모델을 다양한 하위 태스크에 적용하기 위해 파인튜닝(fine-tuning)을 수행하는 것이 일반적입니다. 하지만 최근처럼 GPT-3처럼 수십억~수천억 개의 파라미터를 가진 모델이 등장하면서, 모든 파라미터를 업데이트하는 기존 방식은 비효율적이고, 실제 운영 환경에서 부담이 큽니다. 파인튜닝의 비용 문.. 2025. 7. 8.
[논문리뷰] RAG 논문 리뷰 RAG 논문 리뷰입니다.논문 : Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks저자 : Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela [1] IntroductionGPT와 같은 대형 언어모델, 즉 LLM은 사전학습된 내용을 통해 여러 NLP Downstream Task에서 좋은 성능을 보이고 있습니다. 하지만 정말 정확한 지식이 필요한 분야(법률, 의료 .. 2025. 6. 30.
[논문리뷰] GAN 논문 리뷰 GAN 논문 리뷰입니다.논문 :Generative Adversarial Nets저자 : Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio, Département d’informatique et de recherche opérationnelle [1] Introduction딥러닝은 이미지, 음성, 자연어 등 다양한 데이터 도메인에서 탁월한 성능을 보이는 모델 개발을 가능하게 했습니다. 논문에서는 이러한 발전을 ‘풍부하고 구조화된 모델의 발견’이라고 표현하며, 특히 복잡한 데이터 분포를 잘 포착해내는 능력에 주목했습.. 2025. 5. 24.
[논문리뷰] VAE 논문 리뷰 VAE 논문 리뷰입니다.논문 : Auto-Encoding Variational Bayes저자 : Diederik P. Kingma, Max Welling [1] Background 1) Auto Encoder  VAE는 Variational Auto Encoder의 약자로 기본적으로 위와 같은 모델 구조를 가지고 있습니다. 그럼 일단 Auto Encoder가 뭔지부터 알아야겠죠.  Auto Encoder는 위처럼 이미지를 Encoder 에 입력하고 Input Image와 동일한 Output 을 Decoder 가 생성하도록 학습되는 모델입니다. 위 예시에서는 2 Image를 입력하고 latent vector를 만든 후 latent vector를 Decoder에 전달해 2 Image 를 생성합니다. 일반적인.. 2025. 2. 17.
[논문리뷰] Mask R-CNN 논문 리뷰 Mask R-CNN 논문 리뷰입니다.본 논문은 2018년도에 등장한 논문입니다.논문 : Mask R-CNN저자 : Kaiming He Georgia Gkioxari Piotr Dollar Ross Girshick[1] Background여느 Mask R-CNN 모델 리뷰와 동일하게 Instance segmentation과 R-CNN 계열 모델의 발전 과정을 살펴보고 들어가겠습니다. Instance Segmentation 본 논문의 Introduction 부분에 이 모델은 Instance Segmentation에서 강력한 모델을 만들겠다는 이야기를 합니다.   Instance Segmentation 이란, Object Detection과 Semantic Segmentation이 결합된 형태의 CV Task.. 2025. 2. 17.
[논문리뷰] EfficientNet 논문리뷰 EfficientNet 논문 리뷰입니다.본 논문은 2019년도에 등장한 논문입니다.논문 : EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks 저자 : Mingxing Tan, Quoc V. Le[1] Background전통적으로 CNN 모델의 성능을 높이기 위해서는 모델 규모를 키우는 것이 일반적인 방법입니다. 예를 들어, ResNet은 Layer의 개수를 늘려서 ResNet-18 에서 ResNet-200 까지도 증가시킬 수 있고, GPipe는 기본 모델을 4배 확장하여 ImageNet 데이터셋에서 top1 정확도 84.3%를 달성하기도 했다고 하네요. 이렇게 CNN 모델의 규모를 키우는 방법은 여러 가지가 있지만, 어떤 방.. 2025. 2. 5.
[논문리뷰] RetinaNet 논문 리뷰 RetinaNet 논문 리뷰입니다.본 논문은 2018년도에 등장한 논문입니다.논문 : Focal Loss for Dense Object Detection 저자 : Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, Piotr Dollar [1] Background Object Dection 분야에서 전통적으로 두 단계 검출기 모델과 한 단계 검출기 모델로 구분할 수 있습니다. R-CNN 계열 (Selective Search, Faster R-CNN 등) 의 모델들은 물체가 있을 법한 제안 영역을 찾고(1), 해당 영역을 CNN 기반 분류기를 통해 어떤 물체인지 분류하는(2) 두 단계로 구분되어 작동됩니다.이러한 Two stage 방식은 소수의 후보 영역만 추려.. 2025. 2. 3.
[논문리뷰] RoBERTa 논문 리뷰 RoBERTa 논문 리뷰입니다.본 논문은 2019년도에 등장한 논문입니다.논문 : RoBERTa: A Robustly Optimized BERT Pretraining Approach저자 : Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov [1] BackgroundRoBERTa : A Robustly Optimized BERT Pretraining Approach 본 논문은 이름에서 알 수 있듯이 BERT 모델을 더 발전시킨 언어 모델입니다. 그래서 기존 BERT 모델에 비해 어떤 점이 달라졌고 발전되었는지 비교하면서 보면.. 2025. 2. 2.
728x90
반응형

티스토리툴바