본문 바로가기

전체 글52

[프로젝트] 제주어, 표준어 양방향 음성 번역 모델 생성 프로젝트 리뷰 (3) 안녕하세요. 이번 포스팅에서는 지난 포스팅에 이어 올해 1학기에 진행했던 제주어 번역 프로젝트에 대해서 얘기해보려고 합니다.   [프로젝트] 제주어, 표준어 양방향 음성 번역 모델 생성 프로젝트 리뷰 (2)안녕하세요. 이번 포스팅에서는 지난 포스팅에 이어 올해 1학기에 진행했던 프로젝트에 대해서 얘기해보려고 합니다.   [프로젝트] 제주어, 표준어 양방향 음성 번역 모델 생성 프로젝트 리뷰dangingsu.tistory.com 프로젝트 주제 : 분야 : NLP, Translation, Deep-Learning, STS  GitHub - junhoeKu/Jeju-Translation: 제주어, 표준어 양방향 음성 번역 모델 생성 프로젝트 (알고리즘 | 비제주어, 표준어 양방향 음성 번역 모델 생성 프로젝트.. 2024. 12. 9.
[프로젝트] 제주어, 표준어 양방향 음성 번역 모델 생성 프로젝트 리뷰 (2) 안녕하세요. 이번 포스팅에서는 지난 포스팅에 이어 올해 1학기에 진행했던 프로젝트에 대해서 얘기해보려고 합니다.   [프로젝트] 제주어, 표준어 양방향 음성 번역 모델 생성 프로젝트 리뷰 (1)안녕하세요. 이번 포스팅에서는 올해 1학기에 진행했던 프로젝트에 대해서 얘기해보려고 합니다.    프로젝트 주제 : 분야 : NLP, Translation, Deep-Learning, STS  GitHub - junhoeKu/Jeju-Translation: 제주어,dangingsu.tistory.com  프로젝트 주제 : 분야 : NLP, Translation, Deep-Learning, STS   GitHub - junhoeKu/Jeju-Translation: 제주어, 표준어 양방향 음성 번역 모델 생성 프로젝트.. 2024. 12. 6.
[프로젝트] 제주어, 표준어 양방향 음성 번역 모델 생성 프로젝트 리뷰 (1) 안녕하세요. 이번 포스팅에서는 올해 1학기에 진행했던 프로젝트에 대해서 얘기해보려고 합니다.    프로젝트 주제 : 분야 : NLP, Translation, Deep-Learning, STS  GitHub - junhoeKu/Jeju-Translation: 제주어, 표준어 양방향 음성 번역 모델 생성 프로젝트 (알고리즘 | 비제주어, 표준어 양방향 음성 번역 모델 생성 프로젝트 (알고리즘 | 비정형 | NLP | 딥러닝 | 기계번역 | 음성인식 | 멀티모달) - junhoeKu/Jeju-Translationgithub.com 1. 주제 선정 처음으로 주제 선정입니다. 해당 프로젝트를 시작했을 때는 NLP 프로젝트를 해본 경험이 있는 사람은 저 뿐이었고, 나머지 팀원분들은 NLP의 N자도 모르는 상황이었어.. 2024. 12. 3.
[NLP] LLM에서 할루시네이션이 발생하는 이유 인공지능 챗봇은 일정 관리부터 고객 지원 제공까지 모든 것을 지원하면서 오늘날 우리 삶에 없어서는 안 될 존재가 되었습니다. 그러나 이와 같이 고도화되면서 '환각', 할루시네이션이라는 우려되는 문제가 대두되었습니다. LLM에서 할루시네이션은 챗봇이 부정확하거나 오해의 소지가 있거나 완전히 조작된 정보를 생성하는 경우를 의미합니다. 가상 비서에게 날씨에 대해 물어보면 한 번도 일어나지 않은 폭풍에 대한 오래되었거나 완전히 잘못된 정보를 제공하기 시작한다고 상상해 봅시다. 이는 흥미로울 수 있지만 의료 또는 법률 자문과 같은 중요한 영역에서는 이러한 환각이 심각한 결과를 초래할 수 있습니다. 따라서 LLM에서 할루시네이션이 발생하는 이유를 이해하는 것은 AI 챗봇의 신뢰성과 안전성을 높이는 데 필수적입니다... 2024. 11. 26.
[NLP] Transformer의 함수 model.generate() 파라미터 저번 포스팅에서는 LLM의 Prompt Engineering에 대해서 알아보았습니다. [NLP] LLM Prompt Engineering오랜만에 돌아왔습니다. 컨퍼런스하랴, 인턴생활하랴, 공모전하랴, 일본어 공부하랴 너무 현생이 바빠서 한 달 동안 블로그를 쓰지 못하였네요. 그래서 오랜만에 돌아왔으니 재미난 이야기를dangingsu.tistory.com 이번 포스팅에서는 말씀드린대로 Output Parameter, 즉 generate 함수 파라미터에 대해서 알아보도록 하겠습니다.1. Decoding Strategy일단 파라미터를 알아보기 전에 generate 함수가 어떤 원리로 단어 혹은 문장을 생성하는지에 대해 알아보겠습니다.1) Greedy Search 첫 번째로 Greedy Search 입니다. G.. 2024. 11. 25.
[NLP] LLM Prompt Engineering 오랜만에 돌아왔습니다. 컨퍼런스하랴, 인턴생활하랴, 공모전하랴, 일본어 공부하랴 너무 현생이 바빠서 한 달 동안 블로그를 쓰지 못하였네요. 그래서 오랜만에 돌아왔으니 재미난 이야기를 들고 왔습니다. 그것은 바로 프롬프트 엔지니어링!1. Prompt Engineering 이란? 프롬프트 엔지니어링은 생성형 인공 지능(생성형 AI) 솔루션을 안내하여 원하는 결과를 생성하는 프로세스입니다.(AWS 참조) 그렇다면 여기서 얘기하는 프롬프트란 무엇일까요? LLM에게 질문을 하거나 어떤 요구사항이 있을 때 이러한 텍스트 정보를 프롬프트라고 부릅니다. 저희는 생성형 AI (이미지, 동영상, 텍스트 등) 에게 프롬프트를 입력하고 생성형 AI는 사용자의 프롬프트를 받아 무언가를 생성하죠. 특히 저는 주변에서 NLP의 남.. 2024. 11. 19.
[NLP] Korean LLM Leaderboard 오늘은 프로젝트 얘기는 아니고 인턴생활하면서 여러 Korean LLM을 다뤄봤는데 제가 Prompt를 잘 입력하지 못해서 그런걸까요.. 성능이 그다지 좋지 않은 걸 너무 많이 봐서 어떤 한국어 LLM이 좋은 성능을 가졌는지 알아보던 도중 업스테이지에서 만든 Open Ko LLM LeaderBoard를 발견해서 공유 및 정리하고자 포스팅을 작성합니다! 그래서 아마 이번 포스팅은 제 취향이 100% 들어간 LLM Review라고 생각해주시면 좋을 것 같습니다. ㅎㅎ  Open Ko-LLM Leaderboard - a Hugging Face Space by upstage huggingface.co 1. BenchMark 소개위 사이트에 접속하면 아래와 같은 페이지가 나옵니다.다 영어로 작성되어 있어서 복잡해 .. 2024. 10. 16.
[프로젝트] HR_면접자 정보 맞추기 프로젝트 (3) [프로젝트] HR_면접자 정보 맞추기 프로젝트 (2)https://dangingsu.tistory.com/46 [프로젝트] HR_면접자 정보 맞추기 프로젝트 (1)논문 읽는 학회에 멤버로 참여해 매주 논문을 하나씩 읽어보면서 공부했던 시절에는 매주 블로그 소재가 하나씩 생겼는dangingsu.tistory.com지난 2편에 이어서 진행되겠습니다!1편에서는 전처리, EDA 등 주로 데이터에 대해 알아보았습니다.2편에서는 모델 파인튜닝에 대해서 알아보았습니다.3편에서는 추론 결과를 보면서 어떻게 성능을 더 올릴 수 있을지에 대해 논의해보겠습니다. 1. Inference 결과2편에서 학습시켰던 모델을 받아서 추론을 실행시켜보겠습니다.코드는 아래와 같습니다.from transformers import AutoT.. 2024. 10. 12.
[프로젝트] HR_면접자 정보 맞추기 프로젝트 (2) [프로젝트] HR_면접자 정보 맞추기 프로젝트 (1)논문 읽는 학회에 멤버로 참여해 매주 논문을 하나씩 읽어보면서 공부했던 시절에는 매주 블로그 소재가 하나씩 생겼는데 이 활동이 끝나니까 블로그 소재가 뚝 떨어졌네요.. ㅠㅠ 그래서 새로dangingsu.tistory.com지난 1편에 이어서 진행되겠습니다!1편에서는 전처리, EDA 등 주로 데이터에 대해 알아보았습니다.2편에서는 본격적으로 모델 파인튜닝 및 평가를 해보려고 합니다! 1. Task 확인 모델 파인튜닝을 위해서는 먼저 우리가 할 Task, 즉 궁극적인 목표가 무엇인지 설정하는 것이 중요합니다. 하나의 소재라도 다양한 Task를 진행할 수 있기 때문이죠. 예를 들면 아래와 같습니다.면접자 성별을 맞추는 이진분류 Task면접자 성별, 연령대, .. 2024. 10. 4.
[프로젝트] HR_면접자 정보 맞추기 프로젝트 (1) 논문 읽는 학회에 멤버로 참여해 매주 논문을 하나씩 읽어보면서 공부했던 시절에는 매주 블로그 소재가 하나씩 생겼는데 이 활동이 끝나니까 블로그 소재가 뚝 떨어졌네요.. ㅠㅠ 그래서 새로운 주제, 소재를 찾아서 복귀했습니다! 바로바로 다양한 도메인의 다양한 Task를 여러 모델과 데이터를 다뤄보면서 미니 프로젝트 진행하기! 사실 어느 분야, 도메인이든 AI를 서비스에 잘 활용하기 위해서 많은 노력이 이루어지고 있습니다. 그리고 나름 도메인 몰입력이 좋은 저로서는 다양한 도메인을 접해보면서 잘 할 수 있는, 재밌어하는 도메인을 탐색하고 싶은 마음도 있었구요. 그래서 지금부터 다양한 도메인의 데이터를 하나씩 다뤄보면서 이런저런 재밌는 Task를 진행해보려고 합니다. 개인 미니 프로젝트 느낌이죠  1. 주제 선.. 2024. 10. 1.
[프로젝트] Whisper 파인튜닝 자, 오늘은 OpenAI의 Whisper 모델 설명을 마치고 공부한 다음 프로젝트 준비 겸 파인튜닝을 가볍게 시도해보려고 합니다.Whisper 논문리뷰나 모델 설명이 궁금하신 분은 아래 링크 들어가셔서 참고해주시면 좋을 것 같습니다 ~ !  [논문리뷰] Whisper 논문 리뷰오늘은 Whisper 논문 리뷰를 가져왔습니다.Robust Speech Recognition via Large-Scale Weak Supervision저자 : Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, Ilya Sutskever[1] Introduction1) 기술적 배경 음성 인식dangingsu.tistory.com 1. 환경 설정오늘 파인튜닝.. 2024. 9. 21.
[프로젝트] 티스토리 블로그 Web Crawling 오늘은 NLP Task 프로젝트에서 도움될만한 글을 적어보겠습니다. 네이버 블로그, 지식iN, 뉴스 등은 API로 크롤링할 수 있습니다.자세한 내용은 아래 링크 활용해주시면 감사하겠습니다. 블로그 - Search API" data-og-description="검색 > 블로그 블로그 검색 개요 개요 검색 API와 블로그 검색 개요 검색 API는 네이버 검색 결과를 뉴스, 백과사전, 블로그, 쇼핑, 웹 문서, 전문정보, 지식iN, 책, 카페글 등 분야별로 볼 수 있는 API" data-og-host="developers.naver.com" data-og-source-url="https://developers.naver.com/docs/serviceapi/search/blog/blog.md" data-og-u.. 2024. 9. 14.
728x90
반응형

티스토리툴바