MAC크롤링 셋팅(pip, requests, beautifulsoup4)

맥북엔 기본적으로 python이 설치되어 있다.

$ python3 -V  로 python3 버전 확인

 

pip 설치

pip : 파이썬으로 작성된 패키지 소프트웨어를 설치 및 관리할 수 있는 시스템.

 

get-pip.py 다운

$ curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py

$ sudo python3 get-pip.py

$ sudo easy_install pip

pip 설치 여부 확인

$pip

 

requests, beautifulsoup4 설치

requests : HTTP 요청 처리를 도와주는 모듈

$ pip install requests

 

beautifulsoup4 : HTML과 XML 파일에서 데이터를 읽어내주는 라이브러리.(크롤링에 필요)

$ pip install beautifulsoup4

 

lxml 설치

- python에서 XML parser로서 주로 이용되는 패키지인 lxml

$ pip install lxml

 

※참고(XML이란?)

- XML이란 단순한 문자열을 넘어서, 내부적으로 트리 구조를 가지고 있는 파일을 표현하기 위해 사용하는 마크업 언어.

- 웹페이지를 보여주기 위해 사용되는 html 파일이 XML의 대표적인 예시

- XML의 종류는 MS Office의 워드, 엑셀 파워포인트 등이 있다