본문 바로가기

인공지능24

[NLP] Korean LLM Leaderboard 오늘은 프로젝트 얘기는 아니고 인턴생활하면서 여러 Korean LLM을 다뤄봤는데 제가 Prompt를 잘 입력하지 못해서 그런걸까요.. 성능이 그다지 좋지 않은 걸 너무 많이 봐서 어떤 한국어 LLM이 좋은 성능을 가졌는지 알아보던 도중 업스테이지에서 만든 Open Ko LLM LeaderBoard를 발견해서 공유 및 정리하고자 포스팅을 작성합니다! 그래서 아마 이번 포스팅은 제 취향이 100% 들어간 LLM Review라고 생각해주시면 좋을 것 같습니다. ㅎㅎ https://huggingface.co/spaces/upstage/open-ko-llm-leaderboard Open Ko-LLM Leaderboard - a Hugging Face Space by upstage huggingface.co 1... 2024. 10. 16.
[프로젝트] HR_면접자 정보 맞추기 프로젝트 (3) https://dangingsu.tistory.com/47 [프로젝트] HR_면접자 정보 맞추기 프로젝트 (2)https://dangingsu.tistory.com/46 [프로젝트] HR_면접자 정보 맞추기 프로젝트 (1)논문 읽는 학회에 멤버로 참여해 매주 논문을 하나씩 읽어보면서 공부했던 시절에는 매주 블로그 소재가 하나씩 생겼는dangingsu.tistory.com지난 2편에 이어서 진행되겠습니다!1편에서는 전처리, EDA 등 주로 데이터에 대해 알아보았습니다.2편에서는 모델 파인튜닝에 대해서 알아보았습니다.3편에서는 추론 결과를 보면서 어떻게 성능을 더 올릴 수 있을지에 대해 논의해보겠습니다. 1. Inference 결과2편에서 학습시켰던 모델을 받아서 추론을 실행시켜보겠습니다.코드는 아래와 같습.. 2024. 10. 12.
[프로젝트] HR_면접자 정보 맞추기 프로젝트 (2) https://dangingsu.tistory.com/46 [프로젝트] HR_면접자 정보 맞추기 프로젝트 (1)논문 읽는 학회에 멤버로 참여해 매주 논문을 하나씩 읽어보면서 공부했던 시절에는 매주 블로그 소재가 하나씩 생겼는데 이 활동이 끝나니까 블로그 소재가 뚝 떨어졌네요.. ㅠㅠ 그래서 새로dangingsu.tistory.com지난 1편에 이어서 진행되겠습니다!1편에서는 전처리, EDA 등 주로 데이터에 대해 알아보았습니다.2편에서는 본격적으로 모델 파인튜닝 및 평가를 해보려고 합니다! 1. Task 확인 모델 파인튜닝을 위해서는 먼저 우리가 할 Task, 즉 궁극적인 목표가 무엇인지 설정하는 것이 중요합니다. 하나의 소재라도 다양한 Task를 진행할 수 있기 때문이죠. 예를 들면 아래와 같습니다.면.. 2024. 10. 4.
[프로젝트] HR_면접자 정보 맞추기 프로젝트 (1) 논문 읽는 학회에 멤버로 참여해 매주 논문을 하나씩 읽어보면서 공부했던 시절에는 매주 블로그 소재가 하나씩 생겼는데 이 활동이 끝나니까 블로그 소재가 뚝 떨어졌네요.. ㅠㅠ 그래서 새로운 주제, 소재를 찾아서 복귀했습니다! 바로바로 다양한 도메인의 다양한 Task를 여러 모델과 데이터를 다뤄보면서 미니 프로젝트 진행하기! 사실 어느 분야, 도메인이든 AI를 서비스에 잘 활용하기 위해서 많은 노력이 이루어지고 있습니다. 그리고 나름 도메인 몰입력이 좋은 저로서는 다양한 도메인을 접해보면서 잘 할 수 있는, 재밌어하는 도메인을 탐색하고 싶은 마음도 있었구요. 그래서 지금부터 다양한 도메인의 데이터를 하나씩 다뤄보면서 이런저런 재밌는 Task를 진행해보려고 합니다. 개인 미니 프로젝트 느낌이죠  1. 주제 선.. 2024. 10. 1.
[프로젝트] Whisper 파인튜닝 자, 오늘은 OpenAI의 Whisper 모델 설명을 마치고 공부한 다음 프로젝트 준비 겸 파인튜닝을 가볍게 시도해보려고 합니다.Whisper 논문리뷰나 모델 설명이 궁금하신 분은 아래 링크 들어가셔서 참고해주시면 좋을 것 같습니다 ~ ! https://dangingsu.tistory.com/42  [논문리뷰] Whisper 논문 리뷰오늘은 Whisper 논문 리뷰를 가져왔습니다.Robust Speech Recognition via Large-Scale Weak Supervision저자 : Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, Ilya Sutskever[1] Introduction1) 기술적 배경 음성 인식dang.. 2024. 9. 21.
[NLP] Survey of Chatbot, Persona 1. Personality, Persona, Profile LLM(Large Language Model)와 같은 챗봇 유형의 모델들을 Conversational Agent라고 편하게 CA라고 부르기도 합니다. 그런데 이러한 CA가 답변을 생성하는데 있어 Personality가 중요한 요소라는 사실! 알고 계셨나요?? (일단 저는 몰랐답니다..하하) 왜 CA에서 Personality가 중요한가??CA가 특정 성격이나 역할을 부여받는다면 인간과 대화한다기보다 소통하는 느낌을 받는 경향CA가 고유한 성격이나 스타일을 가짐으로써 같은 질문에 대해서도 다양한 방식으로 반응해 CA를 더 독창적이고 매력적이게 할 수 있고 다양한 사용자 요구에 맞출 수 있음CA와 사용자가 더 오래 대화할 수 있도록 유지할 수 있음 2.. 2024. 9. 4.
[논문리뷰] Whisper 논문 리뷰 오늘은 Whisper 논문 리뷰를 가져왔습니다.Robust Speech Recognition via Large-Scale Weak Supervision저자 : Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, Ilya Sutskever[1] Introduction1) 기술적 배경 음성 인식, STT 분야의 발전은 Wav2Vec 2.0과 같은 비지도 사전 훈련 기술의 발전에 크게 기인합니다. 보통 좋은 성능의 딥러닝 모델을 구현하기 위해서는 많은 양의 라벨링 데이터가 필요합니다. 그리고 전통적인 음성인식 모델들은 이러한 라벨링 오디오, 텍스트 데이터에 대해 주로 훈련되었는데, 이는 몇몇 특정 언어에 대해서만 가능하다는 문제가 .. 2024. 8. 27.
[논문리뷰] Flamingo 논문 리뷰 오늘은 Flamingo 논문 리뷰를 가져왔습니다.해당 논문은 2022년에 NeurIPS 에서 발표된 논문입니다. 저자가 참 많네요..Flamingo: a Visual Language Model for Few-Shot Learning저자 : Jean-Baptiste Alayrac, Jeff Donahue, Pauline Luc, Antoine Miech, Iain Barr, Yana Hasson, Karel Lenc, Arthur Mensch, Katie Millican, Malcolm Reynolds, Roman Ring, Eliza Rutherford, Serkan Cabi, Tengda Han, Zhitao Gong, Sina Samangooei, Marianne Monteiro, Jacob Meni.. 2024. 8. 22.

티스토리툴바