딥러닝24 [논문리뷰] BERT 자, 오늘은 X:AI Seminar 2024에서 진행한 BERT 논문 리뷰를 가져왔습니다.해당 논문은 2019년에 발표되어 ELMO, GPT-1의 모델과 비교를 하면서 얘기를 시사하고 있습니다. 논문 : BERT, Pre-training of Deep Bidirectional Transformers for Language Understanding저자 : Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova[1] IntroductionBERT는 Bidirectional Encoder Representations from Transformer의 약자로 트랜스포머 모델의 인코더 부분만을 사용해서 양방향으로 학습을 시킨 언어 모델입니다. 당시에 연구되었던.. 2024. 4. 30. [논문리뷰] Sequence to Sequence Model 자, 오늘은 X:AI Seminar 2024에서 진행한 S2S 논문 리뷰를 가져왔습니다.해당 논문은 2014년에 발표되어 Attention, Transformer 등의 모델이 등장하기 이전의 논문이라는 배경 정도 짚고 가겠습니다.논문 : Sequence to Sequence Learning with Neural Networks저자 : Ilya Sutskever, Oriol Vinyals, Quoc V. Le ICLR 2014 출판[1] DNN 기반 모델의 한계전통적인 DNN 기반의 언어 모델에서는 번역이 다음과 같은 사진처럼 이루어집니다. 입력과 출력 차원의 크기가 같다고 가정하고 현재 예시에서는 그 차원이 T가 되겠죠. 원리를 좀 더 살펴보면 x1이라는 단어가 입력되고 h0의 첫 번째 hidden ve.. 2024. 3. 19. [딥러닝] 밑바닥부터 시작하는 딥러닝 공부 3-2 : MNIST 손글씨 숫자 인식 및 구현 이번에 소개할 내용은 MNIST 손글씨 숫자 인식 및 구현입니다. 1. MNIST 데이터셋이번 포스팅에서 사용할 데이터셋은 MNIST 손글씨 숫자 이미지 집합입니다. MNIST는 기계학습 분야에서 매우 유명한 데이터셋으로 간단한 실험부터 논문으로 발표되는 연구까지 다양하게 활용되고 있습니다. 이미지 인식 혹은 기계학습 논문에서 실험용 데이터로 자주 등장하는 걸 볼 수 있습니다. MNIST 데이터셋은 아래와 같이 0 ~ 9 까지의 숫자 이미지로 구성됩니다. TRAIN 이미지가 60,000장, TEST 이미지가 10,000장으로 구성되어 있습니다. 일반적으로 이 TRAIN 이미지들을 사용해 모델을 학습 후 학습 모델로 TEST 이미지를 얼마나 정확하게 분류하는 지를 평가합니다. MNIST 이미지 데이터는 2.. 2024. 2. 17. [딥러닝] 밑바닥부터 시작하는 딥러닝 공부 3-2 : 행렬 곱연산과 신경망 구현 이번에 소개할 내용은 단층 퍼셉트론의 한계를 해결한 행렬곱연산과 신경망구현에 대한 이야기입니다. 저번 포스팅 내용은 신경망과 활성화함수에 대해서였습니다. 2024.01.31 - [Deep Learning] - [딥러닝] 밑바닥부터 시작하는 딥러닝 공부 3-1 : 신경망과 활성화 함수 [딥러닝] 밑바닥부터 시작하는 딥러닝 공부 3-1 : 신경망과 활성화 함수이번에 소개할 내용은 단층 퍼셉트론의 한계를 해결한 인공신경망과 활성화함수에 대한 이야기입니다. 저번 포스팅 내용은 퍼셉트론의 한계 및 다중 퍼셉트론에 대해서였습니다. 2024.01.24 - [Deepdangingsu.tistory.com1. 다차원 배열의 계산넘파이 패키지의 다차원 배열을 사용한 계산법을 활용하면 신경망을 구현할 때 효율적인 구현이.. 2024. 2. 11. [딥러닝] 밑바닥부터 시작하는 딥러닝 공부 3-1 : 신경망과 활성화 함수 이번에 소개할 내용은 단층 퍼셉트론의 한계를 해결한 인공신경망과 활성화함수에 대한 이야기입니다. 저번 포스팅 내용은 퍼셉트론의 한계 및 다중 퍼셉트론에 대해서였습니다.2024.01.24 - [Deep Learning] - [딥러닝] 밑바닥부터 시작하는 딥러닝 공부 2-1 : 퍼셉트론의 한계 및 다중 퍼셉트론 [딥러닝] 밑바닥부터 시작하는 딥러닝 공부 2-1 : 퍼셉트론의 한계 및 다중 퍼셉트론이번에 소개할 내용은 밑시딥 2장의 뒷부분 퍼셉트론의 한계와 다중 퍼셉트론이다. 저번 내용은 퍼셉트론의 개념, AND, NAND, OR 게이트를 설명했다. 1. 이 3가지 논리 회로를 구현할 수 있었지만 배dangingsu.tistory.com1. 퍼셉트론에서 신경망으로인공신경망이란?신경망은 그 이름에서 알 수 있듯.. 2024. 1. 31. [딥러닝] 밑바닥부터 시작하는 딥러닝 공부 2-2 : 퍼셉트론의 한계 및 다중 퍼셉트론 이번에 소개할 내용은 밑시딥 2장의 뒷부분 퍼셉트론의 한계와 다중 퍼셉트론이다. 저번 내용은 퍼셉트론의 개념, AND, NAND, OR 게이트를 설명했다. 1. 이 3가지 논리 회로를 구현할 수 있었지만 배타적 논리합이라는 XOR 게이트를 만들 경우에는 한계가 발생한다.XOR 게이트의 진리표어느 한쪽이 1일 때만 1을 출력한다.x1 (입력값)x2 (입력값)y (출력값)000101011110 이를 직선 형태의 퍼셉트론으로 구현하는 것은 불가능하다.즉, 저 4개의 점을 1개의 직선만으로 구분하는 것이 불가능하다는 의미이다.그렇다면 어떻게 해야 할까?아래에서 알아보자이미지 출처 : https://velog.io/@skyepodium/%ED%8D%BC%EC%85%89%ED%8A%B8%EB%A1%A0%EC%9D.. 2024. 1. 24. [딥러닝] 밑바닥부터 시작하는 딥러닝 공부 2-1 : 퍼셉트론이란? 이번에 소개할 내용은 밑시딥 2장의 첫부분 퍼셉트론이다. 퍼셉트론(perceptron)은 인공신경망의 한 종류로서, 1957년에 코넬 항공 연구소(Cornell Aeronautical Lab)의 프랑크 로젠블라트 (Frank Rosenblatt)에 의해 고안되었다. 이것은 가장 간단한 형태의 피드포워드(Feedforward) 네트워크, 선형분류기로도 볼 수 있다.[위키백과참조: https://ko.wikipedia.org/wiki/%ED%8D%BC%EC%85%89%ED%8A%B8%EB%A1%A0] 1. 퍼셉트론이란?퍼셉트론은 다수의 신호를 입력으로 받아 하나의 신호를 출력한다.여기서 말하는 신호란 전류나 강물에서 흐름이 있듯이 퍼셉트론 자체에서 신호로 흐름을 만들어 정보를 앞으로 전달한다.그러나, 실제.. 2024. 1. 19. [딥러닝] 밑바닥부터 시작하는 딥러닝 공부 1-1 : 헬로 파이썬 머신러닝, 딥러닝 등 AI를 전공하고 있는 전공생으로서 오늘부터 기술 블로그를 작성하려고 한다. 그 첫 시작은 일명 '밑시딥'이라고 불리는 '밑바닥부터 시작하는 딥러닝' 책을 공부하면서 알게 된 내용을 정리, 요약할 예정이다. Chapter 1 헬로 파이썬1. 파이썬이란?파이썬(영어: Python)은 1991년 네덜란드계 소프트웨어 엔지니어인 귀도 반 로섬이 발표한 고급 프로그래밍 언어로, '인터프리터를 사용하는 객체지향 언어'이자 플랫폼에 독립적인, 동적 타이핑(dynamically typed) 대화형 언어이다. (출처 : 위키백과)쉽게 설명해서 오픈소스로 제공되는 프로그래밍 언어 중 하나라고 볼 수 있는데 비슷한 기능을 하는 C, 자바에 비해 비교적 쉽게 익힐 수 있는 특징이 있다.기본적인 패키지나 .. 2024. 1. 1. 이전 1 2 3 다음
