스터디 노트 (BeautifulSoup Web data 2-1)

📌 BeautifulSoup - Web data 2-1

🚩 목표 데이터

• 가게 이름
• 대표 메뉴
• 대표 메뉴의 가격
• 가게 주소

---

🚩 Web data 크롤링시 403 error 해결하기

• headers 값에 User-Agent 값을 주면 된다
• User-Agent 값?
  • Ctrl+shift+i 개발자 도구 열기
  • 네트워크 - 헤더 - User-Agent 값 확인

-

-

• 또는, fake_useragent를 사용하여 User-Agent 값을 사용하면 된다
  • 아니면 {"User-Agent" : "Chrome" } 도 대체 가능

🚩 Data 구조 확인하기

• 순위가 50위 까지 있으며, 1개당 sammy 클래스에 담겨져 있는 구조.
  • 데이터 확인

해당 링크의 데이터 구조

🚩 Data 체크 하기

• div 태그에 sammy 클래스 자료 찾기
• 총 50개인 것 까지 확인
  • select(".sammy") 사용가능

len 함수로 50개까지 데이터가 리스팅 되어 있는 것을 확인할 수 있다

• 첫 번째 index 만 체크용으로 확인

tmp_one 변수에 담아주는 것이 중요!

• 순위와 메뉴, 가게 이름을 확인할 수 있다

-

• 메뉴 이름, 가게 이름 반환 하기
  • split으로 나누기
  • \n|\r\n ?
    • \n 또는 \r\n 기준으로 나눠줘라 라는 뜻!
    • 참고 링크

-

-

-

• 상대주소 (하위주소) 반환하기

🚩 원하는 Data 추출하기!

• urllib.parse, urljoin 선언 (url 합칠 때 사용)
• urljoin(url_base, "상대주소 데이터")

-

• 각 데이터가 잘 추출되었는지 확인하기

🚩 DataFrame 제작

• 딕셔너리 안의 리스트로 감싼다

data를 pandas의 DataFrame에 넣는다

컬럼을 보기좋게 바꾼다.