본문 바로가기

데이터증강2

[프로젝트] HR_면접자 정보 맞추기 프로젝트 (3) [프로젝트] HR_면접자 정보 맞추기 프로젝트 (2)https://dangingsu.tistory.com/46 [프로젝트] HR_면접자 정보 맞추기 프로젝트 (1)논문 읽는 학회에 멤버로 참여해 매주 논문을 하나씩 읽어보면서 공부했던 시절에는 매주 블로그 소재가 하나씩 생겼는dangingsu.tistory.com지난 2편에 이어서 진행되겠습니다!1편에서는 전처리, EDA 등 주로 데이터에 대해 알아보았습니다.2편에서는 모델 파인튜닝에 대해서 알아보았습니다.3편에서는 추론 결과를 보면서 어떻게 성능을 더 올릴 수 있을지에 대해 논의해보겠습니다. 1. Inference 결과2편에서 학습시켰던 모델을 받아서 추론을 실행시켜보겠습니다.코드는 아래와 같습니다.from transformers import AutoT.. 2024. 10. 12.
[NLP] 파이토치(Pytorch)를 이용한 텍스트 데이터 증강 텍스트 데이터 텍스트 데이터 증강은 문서 분류 및 요약, 문장 번역 등과 같은 자연어 처리 모델을 구성할 때 데이터세트의 크기를 쉽게 늘리기 위해서 사용되고, 텍스트 데이터 증강 방법은 크게 삽입, 삭제, 교체, 대체, 생성, 반의어, 맞춤법 교정, 역번역 등이 있습니다. 이번 포스팅에서는 자연어처리 데이터 증강(NLPAUG) 라이브러리를 활용해 텍스트 데이터 증강을 구현해볼 생각입니다. 자연어 처리 데이터 증강 라이브러리는 간단한 코드 구성으로도 데이터 증강을 적용할 수 있고, 문자, 단어, 문장삽입, 삭제, 대체 등 다양한 기능을 제공합니다. 또한 텍스트 데이터 외에 음성 데이터 증강도 지원합니다. 자연어 처리 데이터 증강 라이브러리는 다음과 같이 설치할 수 있습니다.!pip install numpy.. 2024. 2. 29.
728x90
반응형