파이썬 네이버검색어 가져오기3

 

패키지 구조

​

[crawler.py]

import requests

def crawl(keyword): # 나중에 페이지 관리를 위해 query=aaaaa&88&cxc& 요부분을 처리하기 위함
    url = "https://www.naver.com/"
    data = requests.get(url)
    print(data.status_code,url) # 페이지 접속 코드 정상 200반환
    return data.content

​

[paser.py]

def parse(pageString):
    bsObj = BeautifulSoup(pageString, "html.parser")
    div = bsObj.find("div", {"class": "ah_list"})
    lis = div.findAll("li", {"class":"ah_item"}) # 검색어가 담겨있는 부분까지 뺌
    Keyvalues = []
    for li in lis:
        Keyvalue = getKeyword(li)
        Keyvalues.append(Keyvalue)
    return Keyvalues

 

[paser.py]

def getKeyword(li):
    knum = li.find("span", {"class":"ah_r"})
    key = li.find("span", {"class":"ah_k"})
    return {"num": knum.text, "value": key.text}

​

[main_stage.py]

from Class_area.crawler import crawl
from Class_area.parser import parse

pageString = crawl('')
keyValues = parse(pageString)

for dic in keyValues:
    # dictioanary 에 순위와 값을 출력하기 위해
    print(f"{dic.get('num')} : {dic.get('value')}")

​

​