sota2 [논문리뷰] EfficientNet 논문리뷰 EfficientNet 논문 리뷰입니다.본 논문은 2019년도에 등장한 논문입니다.논문 : EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks 저자 : Mingxing Tan, Quoc V. Le[1] Background전통적으로 CNN 모델의 성능을 높이기 위해서는 모델 규모를 키우는 것이 일반적인 방법입니다. 예를 들어, ResNet은 Layer의 개수를 늘려서 ResNet-18 에서 ResNet-200 까지도 증가시킬 수 있고, GPipe는 기본 모델을 4배 확장하여 ImageNet 데이터셋에서 top1 정확도 84.3%를 달성하기도 했다고 하네요. 이렇게 CNN 모델의 규모를 키우는 방법은 여러 가지가 있지만, 어떤 방.. 2025. 2. 5. [논문리뷰] T5 논문 리뷰 오늘은 T5 논문 리뷰를 가져왔습니다. 해당 논문은 2019년에 발표된 논문입니다. 논문 : Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer저자 : Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu[1] BackgroundTransformer가 개발되고 GPT, BERT 등 후속 논문이 등장하면서NLP에는 일명 전이 학습 붐이 일었습니다. 전이 학습이란?대규모 Unlabeled Text Data 로 언어 모델을 사전학습시켜서 언어 자체에 대한 .. 2024. 7. 15. 이전 1 다음 728x90 반응형
