본문 바로가기

전체 글40

[NLP] Survey of Chatbot, Persona 1. Personality, Persona, Profile LLM(Large Language Model)와 같은 챗봇 유형의 모델들을 Conversational Agent라고 편하게 CA라고 부르기도 합니다. 그런데 이러한 CA가 답변을 생성하는데 있어 Personality가 중요한 요소라는 사실! 알고 계셨나요?? (일단 저는 몰랐답니다..하하) 왜 CA에서 Personality가 중요한가??CA가 특정 성격이나 역할을 부여받는다면 인간과 대화한다기보다 소통하는 느낌을 받는 경향CA가 고유한 성격이나 스타일을 가짐으로써 같은 질문에 대해서도 다양한 방식으로 반응해 CA를 더 독창적이고 매력적이게 할 수 있고 다양한 사용자 요구에 맞출 수 있음CA와 사용자가 더 오래 대화할 수 있도록 유지할 수 있음 2.. 2024. 9. 4.
[논문리뷰] Whisper 논문 리뷰 오늘은 Whisper 논문 리뷰를 가져왔습니다.Robust Speech Recognition via Large-Scale Weak Supervision저자 : Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, Ilya Sutskever[1] Introduction1) 기술적 배경 음성 인식, STT 분야의 발전은 Wav2Vec 2.0과 같은 비지도 사전 훈련 기술의 발전에 크게 기인합니다. 보통 좋은 성능의 딥러닝 모델을 구현하기 위해서는 많은 양의 라벨링 데이터가 필요합니다. 그리고 전통적인 음성인식 모델들은 이러한 라벨링 오디오, 텍스트 데이터에 대해 주로 훈련되었는데, 이는 몇몇 특정 언어에 대해서만 가능하다는 문제가 .. 2024. 8. 27.
[논문리뷰] Flamingo 논문 리뷰 오늘은 Flamingo 논문 리뷰를 가져왔습니다.해당 논문은 2022년에 NeurIPS 에서 발표된 논문입니다. 저자가 참 많네요..Flamingo: a Visual Language Model for Few-Shot Learning저자 : Jean-Baptiste Alayrac, Jeff Donahue, Pauline Luc, Antoine Miech, Iain Barr, Yana Hasson, Karel Lenc, Arthur Mensch, Katie Millican, Malcolm Reynolds, Roman Ring, Eliza Rutherford, Serkan Cabi, Tengda Han, Zhitao Gong, Sina Samangooei, Marianne Monteiro, Jacob Meni.. 2024. 8. 22.
[논문리뷰] mPLUG 논문 리뷰 오늘은 mPLUG 논문 리뷰를 가져왔습니다.해당 논문은 2022년에 EMNLP에서 발표된 논문입니다. mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections저자 : Chenliang Li, Haiyang Xu, Junfeng Tian, Wei Wang, Ming Yan, Bin Bi, Jiabo Ye, Hehong Chen, Guohai Xu, Zheng Cao, Ji Zhang, Songfang Huang, Fei Huang, Jingren Zhou, Luo Si [1] Introduction  mPLUG는 위 5가지 Vision Language Task에 좋은 성능을 내는 것이 목표입니다. 각 Tas.. 2024. 8. 18.
[프로젝트] 2024 하반기 ICT 학점연계 프로젝트 인턴십 합격 후기 오늘은 곧 있을 2024 하반기 ICT 학점연계 인턴십 합격 후기에 대해 글을 써보려고 합니다 :) 이후에 ICT 인턴십에 지원하실 후배 분들을 위해서 정말 솔직하고 담백하게 써볼게용 `~`1. ICT 학점연계 프로젝트 인턴십이란? 링크 : https://www.ictintern.or.kr/main.do# ICT 학점연계 프로젝트 인턴십이란, 간단하게 얘기해서 학점을 취득하면서 현장실습 경험을 쌓을 수 있도록 하는 인재양성 프로그램입니다. 학생 입장에서는 학점을 쌓으면서 경험도 쌓으면서 프로젝트도 하면서 돈도 벌 수 있는 절호의 찬스고, 회사 입장에서는 지원금을 받아서 학생들에게 프로젝트를 수행하게 함으로써 크게 보면 기업의 이익까지도 도움이 되는 일석이조, 꿩 먹고 알 먹고 같은 느낌이죠. 학생은 일정.. 2024. 8. 14.
[논문리뷰] CoCa 논문 리뷰 오늘은 CoCa 논문 리뷰를 가져왔습니다.해당 논문은 2022년에 CVPR에서 발표된 논문입니다.CoCa: Contrastive Captioners are Image-Text Foundation Models저자 : Jiahui Yu, Zirui Wang, Vijay Vasudevan, Legg Yeung, Mojtaba Seyedhosseini, Yonghui Wu[1] Background1) Vision & Vision-Language Foundation ModelVision or Vision Language Task를 위한 모델은 모델 구조에 따라 3가지 유형이 존재합니다.Single - Encoder Model ImageNet, Instagram 등 Image Classification Datase.. 2024. 8. 6.
[논문리뷰] SimVLM 논문 리뷰 오늘은 SimVLM 논문 리뷰를 가져왔습니다.해당 논문은 2022년에 ICLR에서 발표된 논문입니다.사실 논문 리뷰할 때마다 유튜브로 영상 찾아보고 관련 블로그도 찾아보는 편인데 이번 SimVLM은 논문 리뷰를 찾기 힘들어서 오로지 논문과 GhatGPT를 활용해 공부하였습니다. 그래서 설명에 약간 잘못된 부분이 있더라도 좋게 봐주시고 알려주시면 좋겠습니다 ㅎㅎSimVLM: Simple Visual Language Model Pretraining with Weak Supervision저자 : Zirui Wang, Jiahui Yu, Adams Wei Yu, Zihang Dai, Yulia Tsvetkov, Yuan Cao [1] Introduction 본 논문에서는 처음에 두 가지 이야기로 시작을 하는데 .. 2024. 8. 1.
[논문리뷰] FILIP 논문 리뷰 오늘은FILIP 논문 리뷰를 가져왔습니다.해당 논문은 2022년에 ICLR에서 발표된 논문입니다.FILIP: Fine-grained Interactive Language-Image Pre-Training저자 : Lewei Yao, Runhui Huang, Lu Hou, Guansong Lu, Minzhe Niu, Hang Xu, Xiaodan Liang, Zhenguo Li, Xin Jiang, Chunjing Xu [1] Introduction본 논문에서는 기존에 등장했던 VLP (Vision Language Pre-training) 방법론인 CLIP과 ALIGN에 대해 시사하며 글을 시작합니다. CLIP과 ALIGN은 인터넷에서 수집한 수백만 개의 이미지, 텍스트 쌍에서 Vision, Text Rep.. 2024. 7. 23.
[논문리뷰] ALBEF 논문 리뷰 오늘은 ALBEF 논문 리뷰를 가져왔습니다.해당 논문은 2021년에 Salesforce에서 발표한 논문입니다. Align before Fuse: Vision and Language Representation Learning with Momentum Distillation저자 : Junnan Li,  Ramprasaath R. Selvaraju,  Akhilesh D. Gotmare, Shafiq Joty,  Caiming Xiong,  Steven C.H. Hoi[1] Background이미지와 텍스트를 Multi Modal로 받아 Encoder를 활용해 학습을 시키는 경우는 크게 두 가지가 있습니다. 1. Transformer-based Multi-modal Encoder2. Unimodal Encod.. 2024. 7. 17.
[논문리뷰] T5 오늘은 T5 논문 리뷰를 가져왔습니다.해당 논문은 2019년에 발표된 논문입니다. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer저자 : Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu[0] Abstract전이학습은 NLP(자연어 처리) 분야에서 강력한 기술로 부상했습니다.전이학습이란?사전학습 + 파인튜닝 단계로 나누어서 진행하는 학습본 논문은 모든 텍스트 기반 언어 문제를 text-to-text 형태로 전환시키는 통합된 프레임워크를 도입하여.. 2024. 7. 15.
[프로젝트] 국내 주요 게임사 텍스트 데이터 분석 프로젝트 리뷰 (2) 2024년 1학기 텍스트 데이터 분석 과목을 수강하면서 진행했던 프로젝트에 대해 리뷰해보려고 한다.해당 프로젝트는 데이터 분석 프로젝트이고 분야는 NLP, 데이터 분석이 되겠다.이번 포스팅에서는 실질적인 텍스트 데이터 분석 내용을 담았다.https://github.com/junhoeKu/Game-Company-Analysis.github.io GitHub - junhoeKu/Game-Company-Analysis.github.io: 국내 주요 게임사에 대한 텍스트 데이터 분석 (알고리즘 |국내 주요 게임사에 대한 텍스트 데이터 분석 (알고리즘 | 정형 | NLP | 데이터분석) - junhoeKu/Game-Company-Analysis.github.iogithub.com 분석 기법은 총 3가지를 사용했다.. 2024. 7. 12.
[NLP] NLP Task Review, 감정분석 이번에 인사이드아웃 2가 새로 개봉되었다. 그래서 오늘 포스팅은 감정에 대해서 얘기해보려고 한다. NLP Task 중 하나인 감정분석. 컴퓨터가 인간의 언어, 자연어를 이해하기 시작하면서 필요로 되는 능력 중 하나는 감정분석이다. 제품 혹은 서비스에 대한 리뷰, 피드백 등이 수백만 가지 이상의 데이터일텐데 이를 하나하나 확인하고 조사하는 것은 매우 비효율적이며 할 수 있는 일인지조차 모르겠다. 여기서 감정분석은 사용자의 의견, 리뷰, 피드백 등에서 인간의 감정을 파악해 기업이나 개발자가 소비자의 반응을 빠르고 정확하게 이해하고 서비스나 제품을 개선할 수 있도록 돕는다. 이러한 시장 동향 파악, 비즈니스 의사결정 과정에서 중요한 역할을 한다.감정분석 Task에 적합한 언어 모델많은 언어 모델이 감정분석 T.. 2024. 7. 11.

티스토리툴바