본문 바로가기

Python

파이썬으로 메일 보내기 이메일은 SMTP(Simple Mail Transfer Protocol) 이라는 프로토콜을 사용합니다. 파이썬으로도 SMTP를 이용하여 메일을 발송할 수 있습니다. 파이썬에서는 smtplib이라는 라이브러리를 이용하여 메일을 보내게 됩니다. smtplib는 기본적으로 python에서 제공하는 라이브러리이기 때문에 별도로 설치하지 않아도 사용이 가능한 것으로 알고 있습니다. 하지만 어떤 이유에서든 제대로 import가 되지 않으신다면 아래의 pip install을 이용하여 설치하시기 바랍니다. pip install smtplib 메일서버와 통신하기 위한 smtplib를 사용할 준비는 완료되었지만, smtplib는 통신을 위한 도구일뿐 이메일 자체를 만들어주지는 않습니다. 실제로 상대방에게 보낼 이메일은 e..
파이썬으로 웹 크롤러(Web Crawler) 만들기 (3) 본격적으로 파이썬을 이용하여 웹 크롤러를 개발해보도록 하겠습니다. 우선 PyCharm을 실행해서 프로젝트를 생성해줍니다. 프로젝트명은 WebCrawler로 하도록 하겠습니다. 프로젝트 생성후에는 프로젝트 내에 Python 파일을 생성해줍니다. 파일명도 동일하게 WebCrawler로 해줍니다. 이런 화면이 나온다면 개발을 위한 환경이 준비된 것입니다. 먼저 개발을 위해 사용할 라이브러리들을 import해주도록 하겠습니다. requests, bs4, pandas 세 개의 라이브러를 import 해줍니다. 만일 import에 실패했다면 정상적으로 설치가 안된 것입니다. PyCharm을 통해 설치가 가능하므로 설치가 안된 라이브러리는 설치해주시고 제대로 설치가 안되신다면 1번 글을 참고하셔서 마저 설치해주시기 ..
파이썬으로 웹 크롤러(Web Crawler) 만들기 (2) 웹 크롤러를 개발하기에 앞서 준비해야할 것이 두가지가 있습니다. 첫번째는 request를 날릴 url입니다. 무작정 우리가 아는 url에다 검색어를 붙인다고 해서 요청이 정상적으로 날아가는 것은 아닙니다. 원하는 검색결과를 반환해줄 url을 구성해야합니다. 일단 검색 결과가 나오게 될 사이트로 접속합니다. 저는 검색어 입력시 그에 관련된 Daum 뉴스 제목들을 가져오도록 하겠습니다. 접속하셨다면 원하는 검색어를 입력한 뒤 url을 확인해줍니다. 위 url이 Daum 뉴스에서 비트코인이라는 검색결과가 나오게하는 url입니다. 맨끝의 'q=비트코인'이라는 부분이 검색어에 해당하는 파라미터라는 것을 쉽게 알수 있습니다. 하지만 url에서는 현재 몇번째 페이지의 결과인지는 표시가 안되어있습니다. 이럴 때는 두번..
파이썬으로 웹 크롤러(Web Crawler) 만들기 (1) 웹 크롤러(Web Crawler)는 웹 페이지의 정보를 탐색하여 수집하는 역할을 하는 프로그램을 의미합니다. 만일 우리가 비트코인이라는 이름이 들어간 뉴스가 어떤 것이 올라와 있는지 매일 검색하여 그 타이틀을 수집한다고 가정해보겠습니다. 일반적으로 많이들 사용하는 포탈 사이트에 접속후 뉴스 카테고리에 접속한 다음 비트코인이라는 검색어를 입력하고 그 결과로 나온 수많은 뉴스 제목을 하나씩 긁어서 어딘가에 붙여넣기를 하고 또 페이지를 넘겨서 다른 페이지의 제목들도 수집합니다. 그렇게 매일 작업해줘야하는 비로소 목적에 맞는 결과물을 얻을 수 있을 것입니다. 이 귀찮은 작업을 매일 사람이 한다는 것은 상상하기 어렵습니다. 시간낭비와 인력낭비가 아닐 수 없습니다. 이러한 단순 반복적 작업을 대체해줄 수 있는 것이..