스터디 노트 (BeautifulSoup Web data 1)

📌 BeautifulSoup - Web data 1

🚩 목표 데이터 (환율)

• 나라 이름
• 현재 환율
• 변동 폭
• 상승 or 하락 값

---

🚩 urllib, BeautifulSoup 활용

urlopen, BeautifulSoup 기억하자

• 데이터를 가져오려는 url과 urlopen, BeautifulSoup 등의 함수를 사용
• html.parser, prettify 함수로 정리된 web data를 볼 수 있다.
• 가져오려는 지표
  • https://finance.naver.com/marketindex/

https://finance.naver.com/marketindex/

• status 함수, 200이 출력되면 웹 데이터를 이용할 수 있다

HTTP 상태 코드 : 200 출력 확인

 

📒 HTTP 상태 코드 확인하기

https://ko.wikipedia.org/wiki/HTTP_%EC%83%81%ED%83%9C_%EC%BD%94%EB%93%9C

HTTP 상태 코드 - 위키백과, 우리 모두의 백과사전

🚩 특정 값 찾기

• find_all("tag_name", "class_name")
• find_all("tag_name", class_= "class_name")
• find_all("tag_name", {"class" : "class_name"})

찾으려는 금융 데이터의 tag_name, class_name 확인

find_all("tag_name", "class_name")

find_all("tag_name", class_= "class_name")

find_all("tag_name", {"class" : "class_name"})

[index] + text, string, get_text() 활

🚩 requests, BeautifulSoup 활용

requests, BeautifulSoup 활용

request.get(url) 확인

status_code 활용, 200 출력 확인

🚩 특정 값 찾기

• select 함수를 이용해 특정 값을 찾는다
  • '#' 과 '.' 을 잘 구분해야한다.
  • '#' = id, '.'= class

• select("#id_name), select(".class_name)
• select_one("#id_name), select_one(".class_name)
• 꺽쇠는 데이터의 하위 값을 찾는다

• 0번째 인덱스 값 구하기
• '.' (class) 값을 사용해 데이터 값들을 반환한다.

※ updown 값에서  > 의 의미? ※

• updown 값의 class_name = blind
• 하지만 찾을 때, 제일 처음 값을 불러오기 때문에 select_one(".blind")을 입력하면 미국 USD가 출력된다.
• 그래서 div 태그에 있는 클래스 head_info 값 밑 기준으로 찾으라는 기준을 세워줌.
  • span 태그에 있는 클래스 txt_krw 값 밑 기준 blind도 있지만, 애초에 head_info 기준으로 정해져있기 때문에
    blind 클래스 값인 상승이 출력된다.

0번째 index 값

🚩 찾은 값을 DataFrame화 시키기

for문을 통해서 데이터 값을 DataFrame화 시킬 수 있다.

# 4개 데이터 수집
exchange_datas = [] #DataFrame화 시키기 위해서 빈 리스트를 만들어 줌
baseUrl = "https://finance.naver.com" #url 넣기 위해 baseUrl 지정

for item in exchangeList: #exchangeList에서 item을 하나씩 뽑아낸다
    data = {
        "title" : item.select_one(".h_lst").text, # 이름 값
        "exchange" : item.select_one(".value").text, # 액수 값
        "change" : item.select_one(".change").text, # 변동된 액수 값
        "updown" : item.select_one(".head_info > .blind").text, # 상승 및 하락 값
        "link" : baseUrl + item.select_one("a").get("href") # url 값
    }
    print(data)
    exchange_datas.append(data)
exchange_datas
df = pd.DataFrame(exchange_datas)
df.to_excel("./naverfinance.xlsx", encoding="utf-8") # excel 파일로 저장

>>>>
{'title': '미국 USD', 'exchange': '1,327.50', 'change': '12.50', 'updown': '상승', 'link': 'https://finance.naver.com/marketindex/exchangeDetail.naver?marketindexCd=FX_USDKRW'}
{'title': '일본 JPY(100엔)', 'exchange': '918.08', 'change': '7.01', 'updown': '상승', 'link': 'https://finance.naver.com/marketindex/exchangeDetail.naver?marketindexCd=FX_JPYKRW'}
{'title': '유럽연합 EUR', 'exchange': '1,457.33', 'change': '8.07', 'updown': '상승', 'link': 'https://finance.naver.com/marketindex/exchangeDetail.naver?marketindexCd=FX_EURKRW'}
{'title': '중국 CNY', 'exchange': '182.95', 'change': '1.11', 'updown': '상승', 'link': 'https://finance.naver.com/marketindex/exchangeDetail.naver?marketindexCd=FX_CNYKRW'}