파인튜닝3 [논문리뷰] GPT-1 논문 리뷰 GPT-1 논문 리뷰입니다.본 논문은 2018년도에 등장한 논문입니다.논문 : Improving Language Understanding by Generative Pre-Training 저자 : Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever [1] Background 논문에서 Abstract 부분에 Unlabeled Data가 Labeled Data 보다 양이 비교할 수 없을만큼 많다고 주장합니다. 당연한 얘기죠. Labeled Data는 사람이 직접 라벨링을 해야 하니까 양이 적을 수밖에 없습니다. 또한 Labeled Data를 만들기 위해서 시간과 비용, 인력이 소요됩니다. 논문 저자들은 자연스럽게 Unlabeled Data를 언어 .. 2025. 1. 26. [프로젝트] HR_면접자 정보 맞추기 프로젝트 (2) [프로젝트] HR_면접자 정보 맞추기 프로젝트 (1)논문 읽는 학회에 멤버로 참여해 매주 논문을 하나씩 읽어보면서 공부했던 시절에는 매주 블로그 소재가 하나씩 생겼는데 이 활동이 끝나니까 블로그 소재가 뚝 떨어졌네요.. ㅠㅠ 그래서 새로dangingsu.tistory.com지난 1편에 이어서 진행되겠습니다!1편에서는 전처리, EDA 등 주로 데이터에 대해 알아보았습니다.2편에서는 본격적으로 모델 파인튜닝 및 평가를 해보려고 합니다! 1. Task 확인 모델 파인튜닝을 위해서는 먼저 우리가 할 Task, 즉 궁극적인 목표가 무엇인지 설정하는 것이 중요합니다. 하나의 소재라도 다양한 Task를 진행할 수 있기 때문이죠. 예를 들면 아래와 같습니다.면접자 성별을 맞추는 이진분류 Task면접자 성별, 연령대, .. 2024. 10. 4. [프로젝트] Whisper 파인튜닝 자, 오늘은 OpenAI의 Whisper 모델 설명을 마치고 공부한 다음 프로젝트 준비 겸 파인튜닝을 가볍게 시도해보려고 합니다.Whisper 논문리뷰나 모델 설명이 궁금하신 분은 아래 링크 들어가셔서 참고해주시면 좋을 것 같습니다 ~ ! [논문리뷰] Whisper 논문 리뷰오늘은 Whisper 논문 리뷰를 가져왔습니다.Robust Speech Recognition via Large-Scale Weak Supervision저자 : Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, Ilya Sutskever[1] Introduction1) 기술적 배경 음성 인식dangingsu.tistory.com 1. 환경 설정오늘 파인튜닝.. 2024. 9. 21. 이전 1 다음 728x90 반응형
