빅데이터분석2 [빅데이터 분석] 크롤링 - (1) 크롤링이란? 무수히 많은 컴퓨터에 분산 저장되어 있는 문서를 수집하여 검색 대상의 색인으로 포함시키는 기술. API 기반 정보수집 프로그램을 위한 정보 제공 API가 존재 1. Naver Crawling NAVER Developers 네이버 오픈 API들을 활용해 개발자들이 다양한 애플리케이션을 개발할 수 있도록 API 가이드와 SDK를 제공합니다. 제공중인 오픈 API에는 네이버 로그인, 검색, 단축URL, 캡차를 비롯 기계번역, 음 developers.naver.com 1 ) 개발자 센터 가입 2 ) 서비스 api 선택 3 ) 오픈 api 이용 신청 [예시] 파이썬 urllib 패키지로 웹 크롤링 1 ) "인공지능"과 관련된 블로그 검색 (검색 API 이용) ''' import os import sy.. 2021. 4. 10. [빅데이터 분석] 파이썬 기초 # 파일 읽기 f = open(file_name, mode) *file : 파일의 경로 *mode : 옵션 => 혼합해서 사용 가능 mode 의미 r 읽기 모드로 파일 열기 (default). 모드를 지정하지 않으면 기본적으로 읽기 모드로 지정된다. w 쓰기 모드로 파일 열기. 같은 이름의 파일이 있으면 기존 내용은 모두 삭제 되며, 파일이 없을 경우 새로 생성된다. x 쓰기 모드로 파일 열기. 같은 이름의 파일이 있을 경우 오류가 발생한다. a 추가 모드로 파일 열기. 같은 이름의 파일이 없으면 w와 기능이 같다. b 바이너리 파일 모드로 열기 t 텍스트 파일 모드로 파일 열기(default) 지정하지 않으면 기본적으로 텍스트 모드로 지정된다. [Example] 현재 경로 안에 studentlist.t.. 2021. 4. 9. 이전 1 다음 728x90
