본문 바로가기

GPT7

[논문리뷰] SimVLM 논문 리뷰 오늘은 SimVLM 논문 리뷰를 가져왔습니다.해당 논문은 2022년에 ICLR에서 발표된 논문입니다.사실 논문 리뷰할 때마다 유튜브로 영상 찾아보고 관련 블로그도 찾아보는 편인데 이번 SimVLM은 논문 리뷰를 찾기 힘들어서 오로지 논문과 GhatGPT를 활용해 공부하였습니다. 그래서 설명에 약간 잘못된 부분이 있더라도 좋게 봐주시고 알려주시면 좋겠습니다 ㅎㅎSimVLM: Simple Visual Language Model Pretraining with Weak Supervision저자 : Zirui Wang, Jiahui Yu, Adams Wei Yu, Zihang Dai, Yulia Tsvetkov, Yuan Cao [1] Introduction 본 논문에서는 처음에 두 가지 이야기로 시작을 하는데 .. 2024. 8. 1.
[논문리뷰] ALBEF 논문 리뷰 오늘은 ALBEF 논문 리뷰를 가져왔습니다.해당 논문은 2021년에 Salesforce에서 발표한 논문입니다. Align before Fuse: Vision and Language Representation Learning with Momentum Distillation저자 : Junnan Li,  Ramprasaath R. Selvaraju,  Akhilesh D. Gotmare, Shafiq Joty,  Caiming Xiong,  Steven C.H. Hoi[1] Background이미지와 텍스트를 Multi Modal로 받아 Encoder를 활용해 학습을 시키는 경우는 크게 두 가지가 있습니다. 1. Transformer-based Multi-modal Encoder2. Unimodal Encod.. 2024. 7. 17.
[논문리뷰] T5 오늘은 T5 논문 리뷰를 가져왔습니다.해당 논문은 2019년에 발표된 논문입니다. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer저자 : Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu[0] Abstract전이학습은 NLP(자연어 처리) 분야에서 강력한 기술로 부상했습니다.전이학습이란?사전학습 + 파인튜닝 단계로 나누어서 진행하는 학습본 논문은 모든 텍스트 기반 언어 문제를 text-to-text 형태로 전환시키는 통합된 프레임워크를 도입하여.. 2024. 7. 15.
[논문리뷰] XL-Net 오늘은 XL-Net 논문 리뷰를 가져왔습니다.해당 논문은 2019년에 발표된 논문입니다. XLNet: Generalized Autoregressive Pretraining for Language Understanding저자 : Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, Quoc V. Le[1] Introduction기존 언어 모델 Pre - training은 크게 AR과 AE로 나눌 수 있음Auto Regressive(AR)이전 Token을 참고해 다음에 나올 Token이 무엇일지 예측대표적으로 ELMO, GPT-1이 이에 해당함주로 단 방향으로만 정보를 학습하기 때문에 양방향 문맥을 학습하지 못한다는 점에서 .. 2024. 7. 3.
[논문리뷰] BART 자, 오늘은 X:AI Seminar 2024에서 진행한 BART 논문 리뷰를 가져왔습니다.해당 논문은 2019년에 발표된 논문입니다. NLP 모델계의 중추 역할을 담당하고 있는 BERT와 GPT-1 의 두 모델의 각각 문제점을 짚고 이를 해결하려는 방향으로 BART 모델을 구현했다고 시사하고 있습니다. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension저자 : Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, Luke .. 2024. 5. 15.
[논문리뷰] BERT 자, 오늘은 X:AI Seminar 2024에서 진행한 BERT 논문 리뷰를 가져왔습니다.해당 논문은 2019년에 발표되어 ELMO, GPT-1의 모델과 비교를 하면서 얘기를 시사하고 있습니다. 논문 : BERT, Pre-training of Deep Bidirectional Transformers for Language Understanding저자 : Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova[1]  IntroductionBERT는 Bidirectional Encoder Representations from Transformer의 약자로 트랜스포머 모델의 인코더 부분만을 사용해서 양방향으로 학습을 시킨 언어 모델입니다. 당시에 연구되었던.. 2024. 4. 30.
[프로젝트] 데이콘 주관 도배하자 질의응답 처리 언어모델 개발 공모전 리뷰 이번에 학회 프로젝트로 데이콘에서 주관하는 도배하자 질의응답 처리 언어모델 개발 공모전에 참여하였다.프로젝트 발표는 끝났지만 아직 대회 종료일이 남아, 대회 종료일까지는 열심히 달릴 생각을 하고 있다. 1. 공모전 소개관련 : 알고리즘 / 언어 / LLM / MLOps / QA / Cosine Simiarity주제 : 도배 하자 질의 응답 AI 모델 개발주 : 한솔데코 AI상금 : 1000만 원기간 : 2024.01.29 ~ 2024.03.11배경 : 한솔데코는 인공지능(AI) 기술을 공동 주택 내 실내 마감재 분야에 접목시켜 혁신을 추진하고 있습니다. AI의 활용은 시트, 마루, 벽면, 도배와 같은 건축의 핵심 자재들의 품질 관리와 하자 판단 과정을 더욱 정교하고 효율적으로 만들어, 이러한 자재들의 관.. 2024. 2. 26.

티스토리툴바