파이썬 네이버검색어 가져오기3
2020. 1. 10. 09:18ㆍIT관련
728x90
반응형
패키지 구조
[crawler.py]
import requests
def crawl(keyword): # 나중에 페이지 관리를 위해 query=aaaaa&88&cxc& 요부분을 처리하기 위함
url = "https://www.naver.com/"
data = requests.get(url)
print(data.status_code,url) # 페이지 접속 코드 정상 200반환
return data.content
[paser.py]
def parse(pageString):
bsObj = BeautifulSoup(pageString, "html.parser")
div = bsObj.find("div", {"class": "ah_list"})
lis = div.findAll("li", {"class":"ah_item"}) # 검색어가 담겨있는 부분까지 뺌
Keyvalues = []
for li in lis:
Keyvalue = getKeyword(li)
Keyvalues.append(Keyvalue)
return Keyvalues
[paser.py]
def getKeyword(li):
knum = li.find("span", {"class":"ah_r"})
key = li.find("span", {"class":"ah_k"})
return {"num": knum.text, "value": key.text}
[main_stage.py]
from Class_area.crawler import crawl
from Class_area.parser import parse
pageString = crawl('')
keyValues = parse(pageString)
for dic in keyValues:
# dictioanary 에 순위와 값을 출력하기 위해
print(f"{dic.get('num')} : {dic.get('value')}")
728x90
반응형
'IT관련' 카테고리의 다른 글
Python OSError : [Errno 22]Invaild argument (0) | 2020.01.10 |
---|---|
파이썬 16진수에서 10진수, 2진수를 10진수로, 8진수를 10진수로 (0) | 2020.01.10 |
Python 컴파일 시도 시 발생하는 '용어가 cmdlet, 함수, 스크립트 파일 또는 실행할 수 있는....' 해결 법 (0) | 2020.01.10 |
Windows의 PC 보호 끄기 (0) | 2019.06.13 |
아이폰 heic 확장자를 jpg로 변환하자! (0) | 2019.05.18 |