본문 바로가기

크롤링3

[프로젝트] 티스토리 블로그 Web Crawling 오늘은 NLP Task 프로젝트에서 도움될만한 글을 적어보겠습니다. 네이버 블로그, 지식iN, 뉴스 등은 API로 크롤링할 수 있습니다.자세한 내용은 아래 링크 활용해주시면 감사하겠습니다. 블로그 - Search API" data-og-description="검색 > 블로그 블로그 검색 개요 개요 검색 API와 블로그 검색 개요 검색 API는 네이버 검색 결과를 뉴스, 백과사전, 블로그, 쇼핑, 웹 문서, 전문정보, 지식iN, 책, 카페글 등 분야별로 볼 수 있는 API" data-og-host="developers.naver.com" data-og-source-url="https://developers.naver.com/docs/serviceapi/search/blog/blog.md" data-og-u.. 2024. 9. 14.
[NLP] API를 활용한 Web Crawling API를 활용한 Web CrawlingApplication Programming Interface (API)프로그램 간 데이터를 주고 받기 위한 방법레스토랑에서 점원과 같은 역할을 수행점원 : 손님에게 메뉴를 '요청'받고 이를 요리사에게 '요청' -> 요리사의 결과물을 전달API : 프로그램에게 데이터를 '요청'받고 이를 타 프로그램에 '요청' -> 데이터를 전달API가 가져야 할 내용요청방식GET, POST 등요청할 자료endpoint 등자료요청에 필요한 추가 정보검색 조건, api key 등Open API 개발자라면 누구나 무료로 사용 가능하도록 공개된 APIOpen API를 배포해 자사 서비스를 활용한 영역 확대자사의 영향력을 높일 수 있음(예시) API를 활용한 데이터 수집 - 공공데이터포털로그인.. 2024. 6. 29.
[NLP] Web Scraping, BeautifulSoup What is Web Scraping??정의단일 웹페이지에서 원하는 정보를 추출하는 행위Web Crawling vs Web ScrapingWeb Crawling : URL을 탐색해 반복적으로 링크를 찾고 정보를 가져오는 과정으로, 특정 웹페이지를 목표로 하지 않음Web Scraping : 우리가 정한 특정 웹페이지에서 데이터를 추출Web Scraping Process1)  웹페이지 열기요청 (Request) : 클라이언트 혹은 사용자가 특정 서버에 리소스나 서비스를 요청하는 과정응답 (Response) : 요청한 사항에 대해 서버가 클라이언트 혹은 사용자에게 리소스나 서비스를 제공하는 과정2) Client서버에서 제공하는 서비스를 받는 입장데스크탑, 태블릿과 같은 장비일 수 있음Chrome, firefo.. 2024. 6. 27.
728x90
반응형

티스토리툴바