[코드라이언 / 같이 푸는 PYTHON] 실시간 검색어 확인하기

강의 내용을 직접 정리한 자료 입니다.

 

https://shaded-xylocarp-541.notion.site/d1c9bfea4cdd496c9e95156412165e6f

크롤링

노션으로 먼저 정리하고.. 티스토리에 올리기..!

 

 

Crawler? Crawling?

❓ crawler?

1. 기는 것
2. 파충류

—> 컴퓨터 언어로 번역하면, 웹사이트를 기어다니면서 데이터를 모아주는 도구

 

web crawler?
: 웹페이지의 데이터를 모아주는 소프트웨어

web crawling?
:크롤러를 사용해 웹 페이지의 데이터를 추출해 내는 행위

💡 **우리가 원하는 정보를 찾고 싶을 때 무한한 정보 속에서 찾을 때 우리는 크롤링을 사용한다.**

 

 

 

 

---

 

모듈

 

💡 크롤링을 하기 위해선 몇가지 외부 모듈이 필요하다. 해서 우리는 다른사람이 만들어 놓은 모듈(기능)을 사용하기 위해 모듈을 설치해야 한다.

pip install 모듈명
(pip라는 도구가 해당 모듈명의 도구를 찾아 설치를 진행해주는 명령어)

 

❓ 그럼 이 모듈을 사용하기 위해선 어떤 코드를 써야 할까?

우리가 마을 조립키트에 있는 자동차 조립기계로 자동차 조립을 하고 싶다고 가정하면,

1. 마을 조립 키트에서
2. 자동차 조립 기계를 꺼내
3. 재료들로 자동차를 조립한다.


이를 코드로 바꾸면,

1. 모듈에서 (requests 모듈에서)
2. 모듈 안에 있는 함수를 꺼내 (get함수를 꺼내)
3. 필요한 파라미터들을 입력하여 해당 기능을 실행한다. (요청을 보내달라고 명령한다.)

 

✅ 모듈 안 함수를 사용할 때

모듈명.함수(재료)

를 코드로 작성하면 된다.

ex)
requests.get(url) / 요청을 보내는 함수

 

 

---

 

Requests

 

💡 **요청과 응답**은 꼭 붙어다니는 단어이다.

컴퓨터 용어로
Client는 요청을 하여 응답받은 값으로 다양한 것을 하는 존재들이며,
Server는 요청에 대한 응답을 하는 역할이다.


쉽게 풀어쓰자면,

클라이언트에서 서버에 요청하면(get)
서버는 요청에 대한 응답(response)을 하며 html을 클라이언트에게 return한다.

✅ reguests 모듈의 get함수는 서버에 요청을 하는 함수이다.

https://docs.python-requests.org/en/master/api/

 

1. print(requests.get(url))

→ 응답상태를 print한다.

 

 

2. print(requests.get(url).text)

→ html 코드를 모두 가져온다.

✅ 여기서 변수 response는 requests로 응답 값을 받아서 내용물을 채워주는 통과 같은 존재인데, 이 통에는 text말고 많은 값들이 있다.

print(response.url)
#url : 응답으로 받아오는 HTML 태그의 a태그에서 url 값을 가져옵니다.

print(response.content)
#content : 텍스트 기능과 비슷하지만 약간의 차이가 있다면 텍스트는 유니코드 값을, 컨텐츠는 바이트 값을 가져오는 것을 알 수 있습니다.

print(response.encoding)
#encoding : en-이라는 단어 자체가 어디에서 “속하다”인데 데이터가 담긴 할당공간(박스)의 번호정도로 추측해 보았습니다.

print(response.headers)
#headers : HTML의 header라는 곳의 정보를 가져오는 응답 값 메소드입니다.

print(response.json)
#json : 딕셔너리와 비슷한 형태의 웹 통신에 사용되는 자료 구조라 생각하면 될 것 같습니다.

print(response.links)
#links : header에 있는 link 태그 값을 가져옵니다.

print(response.ok)
#ok : 서버에서 응답을 잘 처리했을 때 반환하는 값입니다.

print(response.status_code)
#status_code : 응답이 속하는 현황을 보여주는 번호로 200, 300, 400 등 다양한 번호가 있습니다.

---

Beautiful soup

✅ Beautiful soup는 우리가 가져온 데이터로 의미있는 데이터로 변경하게끔 도와주는 기능을 하는 bs4라는 모듈 안에 있는 함수이다. 즉, 어떤 통에다가 정보를 담아주고 문자열 데이터를 하나하나 가지런히 정리해주는 기능이다.

print(response.text)
print(BeautifulSoup(response.text, 'html.parser'))

이 둘을 print하면 똑같지만 type을 확인하면 아래와 같이 나온다.

 

이는 원래 문자열 타입이었던것을 다른 타입으로 변환해준것을 의미한다.

BeautifulSoup(response.text, 'html.parser'))

 

✅ beautifulsoup(데이터, 파싱방법)

데이터에는 html, xml이 올 수 있으며
이 과정에서 파싱 방법은 python에서 기본적으로 제공해주는 html.parer를 이용했다.

❓ parser?
우리의 문서, 데이터를 의미있게 변경하는방법을 말하며 parsing을 도와주는 프로그램을 뜻한다.

 

 

---

 

실시간 검색어 가져오기

 

BeautifulSoup의 몇가지 기능들을 살펴보면 다음과 같다.

soup = BeautifulSoup(response.text, 'html.parser')

print(soup.title)
print(soup.title.string)
print(sopup.tiltle.span)
print(soup.findAll('span')) #모든 span태그를 가져온다.

 

 

 

우리는 html에서의 인기검색어들의 공통부분을 찾아 그 부분만 가져오는 코드를 짤 것이다.
인기검색어의 공통부분은 태그가 ‘a’라는 점과, class="link_favorsch 라는 점이 같다.

print(soup.findAll("a","link_favorsch"))

를 프린트하면 인기검색어의 부분만 가져오는 것을 알 수 있다.

from bs4 import BeautifulSoup
import requests

url = "http://www.daum.net/"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

results = soup.findAll('a','link_favorsch')
print(results)

 

 

 

 

하지만 그냥 가져오게 되면 다음과 같이 링크 및 태그들 까지 몽땅 가져오는 것을 알 수 있다.

result.get_text()

를 사용하면 태그 정보 및 링크 정보들은 빠지고 텍스트만 읽어오게 한다.
이후 예쁘게 코드를 가공하면 아래와 같은 코드로 실시간 검색어를 추출할 수 있다!

 

 

 

다음 실시간 검색어 전체 코드

from bs4 import BeautifulSoup
import requests
from datetime import datetime

url = "http://www.daum.net/"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
rank = 1

results = soup.findAll('a','link_favorsch')

search_rank_file = open("rankresult.txt","a")

print(datetime.today().strftime("%Y년 %m월 %d일의 실시간 검색어 순위입니다.\n"))

for result in results:
    search_rank_file.write(str(rank)+"위:"+result.get_text()+"\n")
    print(rank,"위 : ",result.get_text(),"\n")
    rank += 1

 

 

 

 

---

 

 

+추가) 파일에 저장하기

 

 

💡 open(”파일이름”,모드)

“w” → write (내용 업데이트)
“r” → read 읽기전용모드로 열면 내용을 쓰거나 수정 불가
“a” → append (기존 내용 보존하며 추가)

 

 

 

++추가) 크롤링 방지 사이트

headers = {'User-Agent':정보정보정보}
url = "[https://datalab.naver.com/keyword/realtimeList.naver?age=20s](https://datalab.naver.com/keyword/realtimeList.naver?age=20s)"
response = requests.get(url,headers=headers)

💡 네이버와 같은 크롤링 방지가 된 사이트에선 다음과 같이 “우리는 로봇이 아니고 이러한 환경에서 크롤링하고있는 사람이다” 라고 알려주는 코드를 추가해줘야한다.