본문 바로가기

멀티모달6

[논문리뷰] Flamingo 논문 리뷰 오늘은 Flamingo 논문 리뷰를 가져왔습니다.해당 논문은 2022년에 NeurIPS 에서 발표된 논문입니다. 저자가 참 많네요..Flamingo: a Visual Language Model for Few-Shot Learning저자 : Jean-Baptiste Alayrac, Jeff Donahue, Pauline Luc, Antoine Miech, Iain Barr, Yana Hasson, Karel Lenc, Arthur Mensch, Katie Millican, Malcolm Reynolds, Roman Ring, Eliza Rutherford, Serkan Cabi, Tengda Han, Zhitao Gong, Sina Samangooei, Marianne Monteiro, Jacob Meni.. 2024. 8. 22.
[논문리뷰] mPLUG 논문 리뷰 오늘은 mPLUG 논문 리뷰를 가져왔습니다.해당 논문은 2022년에 EMNLP에서 발표된 논문입니다. mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections저자 : Chenliang Li, Haiyang Xu, Junfeng Tian, Wei Wang, Ming Yan, Bin Bi, Jiabo Ye, Hehong Chen, Guohai Xu, Zheng Cao, Ji Zhang, Songfang Huang, Fei Huang, Jingren Zhou, Luo Si [1] Introduction  mPLUG는 위 5가지 Vision Language Task에 좋은 성능을 내는 것이 목표입니다. 각 Tas.. 2024. 8. 18.
[논문리뷰] CoCa 논문 리뷰 오늘은 CoCa 논문 리뷰를 가져왔습니다.해당 논문은 2022년에 CVPR에서 발표된 논문입니다.CoCa: Contrastive Captioners are Image-Text Foundation Models저자 : Jiahui Yu, Zirui Wang, Vijay Vasudevan, Legg Yeung, Mojtaba Seyedhosseini, Yonghui Wu[1] Background1) Vision & Vision-Language Foundation ModelVision or Vision Language Task를 위한 모델은 모델 구조에 따라 3가지 유형이 존재합니다.Single - Encoder Model ImageNet, Instagram 등 Image Classification Datase.. 2024. 8. 6.
[논문리뷰] SimVLM 논문 리뷰 오늘은 SimVLM 논문 리뷰를 가져왔습니다.해당 논문은 2022년에 ICLR에서 발표된 논문입니다.사실 논문 리뷰할 때마다 유튜브로 영상 찾아보고 관련 블로그도 찾아보는 편인데 이번 SimVLM은 논문 리뷰를 찾기 힘들어서 오로지 논문과 GhatGPT를 활용해 공부하였습니다. 그래서 설명에 약간 잘못된 부분이 있더라도 좋게 봐주시고 알려주시면 좋겠습니다 ㅎㅎSimVLM: Simple Visual Language Model Pretraining with Weak Supervision저자 : Zirui Wang, Jiahui Yu, Adams Wei Yu, Zihang Dai, Yulia Tsvetkov, Yuan Cao [1] Introduction 본 논문에서는 처음에 두 가지 이야기로 시작을 하는데 .. 2024. 8. 1.
[논문리뷰] FILIP 논문 리뷰 오늘은FILIP 논문 리뷰를 가져왔습니다.해당 논문은 2022년에 ICLR에서 발표된 논문입니다.FILIP: Fine-grained Interactive Language-Image Pre-Training저자 : Lewei Yao, Runhui Huang, Lu Hou, Guansong Lu, Minzhe Niu, Hang Xu, Xiaodan Liang, Zhenguo Li, Xin Jiang, Chunjing Xu [1] Introduction본 논문에서는 기존에 등장했던 VLP (Vision Language Pre-training) 방법론인 CLIP과 ALIGN에 대해 시사하며 글을 시작합니다. CLIP과 ALIGN은 인터넷에서 수집한 수백만 개의 이미지, 텍스트 쌍에서 Vision, Text Rep.. 2024. 7. 23.
[논문리뷰] ALBEF 논문 리뷰 오늘은 ALBEF 논문 리뷰를 가져왔습니다.해당 논문은 2021년에 Salesforce에서 발표한 논문입니다. Align before Fuse: Vision and Language Representation Learning with Momentum Distillation저자 : Junnan Li,  Ramprasaath R. Selvaraju,  Akhilesh D. Gotmare, Shafiq Joty,  Caiming Xiong,  Steven C.H. Hoi[1] Background이미지와 텍스트를 Multi Modal로 받아 Encoder를 활용해 학습을 시키는 경우는 크게 두 가지가 있습니다. 1. Transformer-based Multi-modal Encoder2. Unimodal Encod.. 2024. 7. 17.

티스토리툴바