NLP28 [논문리뷰] RoBERTa 논문 리뷰 RoBERTa 논문 리뷰입니다.본 논문은 2019년도에 등장한 논문입니다.논문 : RoBERTa: A Robustly Optimized BERT Pretraining Approach저자 : Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov [1] BackgroundRoBERTa : A Robustly Optimized BERT Pretraining Approach 본 논문은 이름에서 알 수 있듯이 BERT 모델을 더 발전시킨 언어 모델입니다. 그래서 기존 BERT 모델에 비해 어떤 점이 달라졌고 발전되었는지 비교하면서 보면.. 2025. 2. 2. [논문리뷰] GPT-1 논문 리뷰 GPT-1 논문 리뷰입니다.본 논문은 2018년도에 등장한 논문입니다.논문 : Improving Language Understanding by Generative Pre-Training 저자 : Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever [1] Background 논문에서 Abstract 부분에 Unlabeled Data가 Labeled Data 보다 양이 비교할 수 없을만큼 많다고 주장합니다. 당연한 얘기죠. Labeled Data는 사람이 직접 라벨링을 해야 하니까 양이 적을 수밖에 없습니다. 또한 Labeled Data를 만들기 위해서 시간과 비용, 인력이 소요됩니다. 논문 저자들은 자연스럽게 Unlabeled Data를 언어 .. 2025. 1. 26. [논문리뷰] ELMo 논문 리뷰 ELMo 논문 리뷰입니다.본 논문은 2018년도에 등장한 논문입니다. 논문 : Deep contextualized word representations 저자 : Matthew E. Peters , Mark Neumann , Mohit Iyyer , Matt Gardner, Christopher Clark∗ , Kenton Lee∗ , Luke Zettlemoyer [1] Background 본 논문은 Embeddings from Language Model 인 만큼 자연어를 임베딩하는 방법을 새롭게 제시하는 논문입니다. Word2Vec이나 GloVe 등 전통적인 단어 임베딩 방식은 고정된 벡터 형태로 단어를 표현하는 방식입니다. 단어를 고정된 벡터로 변환해 단어 간 유사성을 측정하거나 언어적 관계를 추론.. 2025. 1. 19. [프로젝트] 제주어, 표준어 양방향 음성 번역 모델 생성 프로젝트 리뷰 (1) 안녕하세요. 이번 포스팅에서는 올해 1학기에 진행했던 프로젝트에 대해서 얘기해보려고 합니다. 프로젝트 주제 : 분야 : NLP, Translation, Deep-Learning, STS GitHub - junhoeKu/Jeju-Translation: 제주어, 표준어 양방향 음성 번역 모델 생성 프로젝트 (알고리즘 | 비제주어, 표준어 양방향 음성 번역 모델 생성 프로젝트 (알고리즘 | 비정형 | NLP | 딥러닝 | 기계번역 | 음성인식 | 멀티모달) - junhoeKu/Jeju-Translationgithub.com 1. 주제 선정 처음으로 주제 선정입니다. 해당 프로젝트를 시작했을 때는 NLP 프로젝트를 해본 경험이 있는 사람은 저 뿐이었고, 나머지 팀원분들은 NLP의 N자도 모르는 상황이었어.. 2024. 12. 3. [NLP] Korean LLM Leaderboard 오늘은 프로젝트 얘기는 아니고 인턴생활하면서 여러 Korean LLM을 다뤄봤는데 제가 Prompt를 잘 입력하지 못해서 그런걸까요.. 성능이 그다지 좋지 않은 걸 너무 많이 봐서 어떤 한국어 LLM이 좋은 성능을 가졌는지 알아보던 도중 업스테이지에서 만든 Open Ko LLM LeaderBoard를 발견해서 공유 및 정리하고자 포스팅을 작성합니다! 그래서 아마 이번 포스팅은 제 취향이 100% 들어간 LLM Review라고 생각해주시면 좋을 것 같습니다. ㅎㅎ Open Ko-LLM Leaderboard - a Hugging Face Space by upstage huggingface.co 1. BenchMark 소개위 사이트에 접속하면 아래와 같은 페이지가 나옵니다.다 영어로 작성되어 있어서 복잡해 .. 2024. 10. 16. [프로젝트] HR_면접자 정보 맞추기 프로젝트 (3) [프로젝트] HR_면접자 정보 맞추기 프로젝트 (2)https://dangingsu.tistory.com/46 [프로젝트] HR_면접자 정보 맞추기 프로젝트 (1)논문 읽는 학회에 멤버로 참여해 매주 논문을 하나씩 읽어보면서 공부했던 시절에는 매주 블로그 소재가 하나씩 생겼는dangingsu.tistory.com지난 2편에 이어서 진행되겠습니다!1편에서는 전처리, EDA 등 주로 데이터에 대해 알아보았습니다.2편에서는 모델 파인튜닝에 대해서 알아보았습니다.3편에서는 추론 결과를 보면서 어떻게 성능을 더 올릴 수 있을지에 대해 논의해보겠습니다. 1. Inference 결과2편에서 학습시켰던 모델을 받아서 추론을 실행시켜보겠습니다.코드는 아래와 같습니다.from transformers import AutoT.. 2024. 10. 12. [프로젝트] HR_면접자 정보 맞추기 프로젝트 (2) [프로젝트] HR_면접자 정보 맞추기 프로젝트 (1)논문 읽는 학회에 멤버로 참여해 매주 논문을 하나씩 읽어보면서 공부했던 시절에는 매주 블로그 소재가 하나씩 생겼는데 이 활동이 끝나니까 블로그 소재가 뚝 떨어졌네요.. ㅠㅠ 그래서 새로dangingsu.tistory.com지난 1편에 이어서 진행되겠습니다!1편에서는 전처리, EDA 등 주로 데이터에 대해 알아보았습니다.2편에서는 본격적으로 모델 파인튜닝 및 평가를 해보려고 합니다! 1. Task 확인 모델 파인튜닝을 위해서는 먼저 우리가 할 Task, 즉 궁극적인 목표가 무엇인지 설정하는 것이 중요합니다. 하나의 소재라도 다양한 Task를 진행할 수 있기 때문이죠. 예를 들면 아래와 같습니다.면접자 성별을 맞추는 이진분류 Task면접자 성별, 연령대, .. 2024. 10. 4. [프로젝트] 티스토리 블로그 Web Crawling 오늘은 NLP Task 프로젝트에서 도움될만한 글을 적어보겠습니다. 네이버 블로그, 지식iN, 뉴스 등은 API로 크롤링할 수 있습니다.자세한 내용은 아래 링크 활용해주시면 감사하겠습니다. 블로그 - Search API" data-og-description="검색 > 블로그 블로그 검색 개요 개요 검색 API와 블로그 검색 개요 검색 API는 네이버 검색 결과를 뉴스, 백과사전, 블로그, 쇼핑, 웹 문서, 전문정보, 지식iN, 책, 카페글 등 분야별로 볼 수 있는 API" data-og-host="developers.naver.com" data-og-source-url="https://developers.naver.com/docs/serviceapi/search/blog/blog.md" data-og-u.. 2024. 9. 14. 이전 1 2 3 4 다음 728x90 반응형
