본문 바로가기

코딩11

[프로젝트] 티스토리 블로그 Web Crawling 오늘은 NLP Task 프로젝트에서 도움될만한 글을 적어보겠습니다. 네이버 블로그, 지식iN, 뉴스 등은 API로 크롤링할 수 있습니다.자세한 내용은 아래 링크 활용해주시면 감사하겠습니다.https://developers.naver.com/docs/serviceapi/search/blog/blog.md 블로그 - Search API" data-og-description="검색 > 블로그 블로그 검색 개요 개요 검색 API와 블로그 검색 개요 검색 API는 네이버 검색 결과를 뉴스, 백과사전, 블로그, 쇼핑, 웹 문서, 전문정보, 지식iN, 책, 카페글 등 분야별로 볼 수 있는 API" data-og-host="developers.naver.com" data-og-source-url="https://dev.. 2024. 9. 14.
[NLP] 자연어처리 토큰화작업 2, 하위 단어 토큰화 하위 단어 토큰화자연어 처리에서 형태소 분석은 중요한 전처리 과정 중 하나입니다. 컴퓨터가 자연어를 인간이 이해하는 방식과 비슷하게 처리할 수 있도록 하기 위해서는 형태소 단위의 토큰화가 효과적인 방법입니다. 그러나 언어는 시간이 지남에 따라 변화하고 새로운 단어나 표현이 등장하며 더 이상 사용되지 않는 단어나 표현도 생깁니다. 현대의 일상 언어에서는 맞춤법이나 띄어쓰기가 엄격하게 지켜지지 않는 경우가 많고 형태소 분석기의 취약점인 신조어나 고유어 등이 빈번하게 생겨납니다. 외래어, 띄어쓰기 오류, 오탈자 등이 있는 문장을 기존 형태소 분석기로 토큰화하면 다음과 같은 결과가 나타납니다.원문 : 시보리도 짱짱하고 허리도 어벙하지 않고 조아효결과 : ['시', '보리', '도', '짱짱하고', '허리', '.. 2024. 3. 13.
[NLP] 자연어처리 토큰화작업(KoNLPy, NLTK, SpaCy) 자연어 및 자연어 처리자연어(National Language)는 자연 언어라고도 부르며, 인공적으로 만들어진 프로그래밍 언어와 다르게 사람들이 쓰는 언어 활동을 위해 자연히 만들어진 언어를 의미합니다. 자연어 처리(Natural Language Processing, NLP)는 컴퓨터가 인간의 언어를 이해하고 해석 및 생성하기 위한 기술을 의미합니다. 자연어 처리는 인공지능의 하위 분야로 컴퓨터가 인간과 유사한 방식으로 인간의 언어를 이해하고 처리하는 것이 주요 목표 중 하나입니다. 인간 언어의 구조, 의미, 맥락을 분석하고 이해할 수 있는 알고리즘과 모델을 개발합니다. 이러한 모델을 개발하기 위해서는 다음과 같은 문제가 해결되어야 하는데모호성(Ambiguity) : 인간의 언어는 단어와 구가 사용되는 맥.. 2024. 3. 7.
[프로젝트] 데이콘 주관 도배하자 질의응답 처리 언어모델 개발 공모전 리뷰 이번에 학회 프로젝트로 데이콘에서 주관하는 도배하자 질의응답 처리 언어모델 개발 공모전에 참여하였다.프로젝트 발표는 끝났지만 아직 대회 종료일이 남아, 대회 종료일까지는 열심히 달릴 생각을 하고 있다. 1. 공모전 소개관련 : 알고리즘 / 언어 / LLM / MLOps / QA / Cosine Simiarity주제 : 도배 하자 질의 응답 AI 모델 개발주 : 한솔데코 AI상금 : 1000만 원기간 : 2024.01.29 ~ 2024.03.11배경 : 한솔데코는 인공지능(AI) 기술을 공동 주택 내 실내 마감재 분야에 접목시켜 혁신을 추진하고 있습니다. AI의 활용은 시트, 마루, 벽면, 도배와 같은 건축의 핵심 자재들의 품질 관리와 하자 판단 과정을 더욱 정교하고 효율적으로 만들어, 이러한 자재들의 관.. 2024. 2. 26.
[딥러닝] 밑바닥부터 시작하는 딥러닝 공부 3-2 : MNIST 손글씨 숫자 인식 및 구현 이번에 소개할 내용은 MNIST 손글씨 숫자 인식 및 구현입니다. 1. MNIST 데이터셋이번 포스팅에서 사용할 데이터셋은 MNIST 손글씨 숫자 이미지 집합입니다. MNIST는 기계학습 분야에서 매우 유명한 데이터셋으로 간단한 실험부터 논문으로 발표되는 연구까지 다양하게 활용되고 있습니다. 이미지 인식 혹은 기계학습 논문에서 실험용 데이터로 자주 등장하는 걸 볼 수 있습니다. MNIST 데이터셋은 아래와 같이 0 ~ 9 까지의 숫자 이미지로 구성됩니다. TRAIN 이미지가 60,000장, TEST 이미지가 10,000장으로 구성되어 있습니다. 일반적으로 이 TRAIN 이미지들을 사용해 모델을 학습 후 학습 모델로 TEST 이미지를 얼마나 정확하게 분류하는 지를 평가합니다. MNIST 이미지 데이터는 2.. 2024. 2. 17.
[딥러닝] 밑바닥부터 시작하는 딥러닝 공부 3-2 : 행렬 곱연산과 신경망 구현 이번에 소개할 내용은 단층 퍼셉트론의 한계를 해결한 행렬곱연산과 신경망구현에 대한 이야기입니다.   저번 포스팅 내용은 신경망과 활성화함수에 대해서였습니다. 2024.01.31 - [Deep Learning] - [딥러닝] 밑바닥부터 시작하는 딥러닝 공부 3-1 : 신경망과 활성화 함수 [딥러닝] 밑바닥부터 시작하는 딥러닝 공부 3-1 : 신경망과 활성화 함수이번에 소개할 내용은 단층 퍼셉트론의 한계를 해결한 인공신경망과 활성화함수에 대한 이야기입니다. 저번 포스팅 내용은 퍼셉트론의 한계 및 다중 퍼셉트론에 대해서였습니다. 2024.01.24 - [Deepdangingsu.tistory.com1. 다차원 배열의 계산넘파이 패키지의 다차원 배열을 사용한 계산법을 활용하면 신경망을 구현할 때 효율적인 구현이.. 2024. 2. 11.
[딥러닝] 밑바닥부터 시작하는 딥러닝 공부 3-1 : 신경망과 활성화 함수 이번에 소개할 내용은 단층 퍼셉트론의 한계를 해결한 인공신경망과 활성화함수에 대한 이야기입니다. 저번 포스팅 내용은 퍼셉트론의 한계 및 다중 퍼셉트론에 대해서였습니다.2024.01.24 - [Deep Learning] - [딥러닝] 밑바닥부터 시작하는 딥러닝 공부 2-1 : 퍼셉트론의 한계 및 다중 퍼셉트론 [딥러닝] 밑바닥부터 시작하는 딥러닝 공부 2-1 : 퍼셉트론의 한계 및 다중 퍼셉트론이번에 소개할 내용은 밑시딥 2장의 뒷부분 퍼셉트론의 한계와 다중 퍼셉트론이다. 저번 내용은 퍼셉트론의 개념, AND, NAND, OR 게이트를 설명했다. 1. 이 3가지 논리 회로를 구현할 수 있었지만 배dangingsu.tistory.com1. 퍼셉트론에서 신경망으로인공신경망이란?신경망은 그 이름에서 알 수 있듯.. 2024. 1. 31.
[딥러닝] 밑바닥부터 시작하는 딥러닝 공부 2-2 : 퍼셉트론의 한계 및 다중 퍼셉트론 이번에 소개할 내용은 밑시딥 2장의 뒷부분 퍼셉트론의 한계와 다중 퍼셉트론이다.  저번 내용은 퍼셉트론의 개념, AND, NAND, OR 게이트를 설명했다. 1. 이 3가지 논리 회로를 구현할 수 있었지만 배타적 논리합이라는 XOR 게이트를 만들 경우에는 한계가 발생한다.XOR 게이트의 진리표어느 한쪽이 1일 때만 1을 출력한다.x1 (입력값)x2 (입력값)y (출력값)000101011110 이를 직선 형태의 퍼셉트론으로 구현하는 것은 불가능하다.즉, 저 4개의 점을 1개의 직선만으로 구분하는 것이 불가능하다는 의미이다.그렇다면 어떻게 해야 할까?아래에서 알아보자이미지 출처 : https://velog.io/@skyepodium/%ED%8D%BC%EC%85%89%ED%8A%B8%EB%A1%A0%EC%9D.. 2024. 1. 24.

티스토리툴바