스터디 노트 (BeautifulSoup + selenium)

📌 BeautifulSoup + selenium

https://www.opinet.co.kr/searRgSelect.do

싼 주유소 찾기 오피넷

🚩 목표 데이터

• 브랜드
• 가격
• 셀프 주유 여부
• 위치

---

🚩 selenium 으로 접근하기

### selenium으로 접근
from selenium import webdriver
url = 'https://www.opinet.co.kr/searRgSelect.do'
driver = webdriver.Chrome()
driver.get(url)

🚩 팝업창 화면 전환 후 닫아주는 방법 - 재요청

# 팝업창 화면 전환 후 닫아주기
import time

url = 'https://www.opinet.co.kr/searRgSelect.do'
driver = webdriver.Chrome()
driver.get(url)
time.sleep(5)

# 팝업창으로 전환
driver.switch_to_window(driver.window_handles[-1])

# 팝엉창 닫아주기
driver.close()

# 메인 화면 창 전환
driver.switch_to_window(driver.window_handles[-1])

# 접근 url 재요청
driver.get(url)

🚩 시/도 이름 가져오기

• 사이트 확인해보면 시 or 도를 선택해야하는 버튼이 있다
• 버튼의 소스를 개발자 도구로 확인해보자

# 지역 : 시/도

sido_list_raw = driver.find_element(By.ID, 'SIDO_NM0')
sido_list_raw
>>>>
<selenium.webdriver.remote.webelement.WebElement (session="879ddded5355d220345ff8dcdf185802", element="868E43D9EDC6FA4D08A403C8D0EDD5E2_element_124")>

• 결과 값이 이상해서 text로 확인해보니 데이터가 나오는 것은 확인이 가능

sido_list = sido_list_raw.find_elements(By.TAG_NAME, 'option')
# SIDO_NM0 안에 있는 option Tag를 확인
sido_list[1].text
# 1번째 index 확인

>>>>
'서울'

sido_list[1].get_attribute("value")
# option 태그의 서울로 표기되어 있는 것을 확인한 뒤 get_attribute 로 class "value" 값을 확인
>>>>
'서울특별시'

🚩 시/도 이름 리스트 만들기

# 1
sido_names = [] # 빈 리스트 생성하기

for option in sido_list: # 시/도 리스트
    sido_name = option.get_attribute('value') # 한개씩 값을 빼오면서 sido_name에 할당한다
    sido_names.append(sido_name) # 할당한 값을 sido_names 값에 append
sido_names # 결과 값 출력
>>>>
['',
 '서울특별시',
 '부산광역시',
 '대구광역시',
 '인천광역시',
 '광주광역시',
 '대전광역시',
 '울산광역시',
 '세종특별자치시',
 '경기도',
 '충청북도',
 '충청남도',
 '전라북도',
 '전라남도',
 '경상북도',
 '경상남도',
 '제주특별자치도',
 '강원특별자치도']

# 2
sido_names = [option.get_attribute('value') for option in sido_list]
>>>>
['',
 '서울특별시',
 '부산광역시',
 '대구광역시',
 '인천광역시',
 '광주광역시',
 '대전광역시',
 '울산광역시',
 '세종특별자치시',
 '경기도',
 '충청북도',
 '충청남도',
 '전라북도',
 '전라남도',
 '경상북도',
 '경상남도',
 '제주특별자치도',
 '강원특별자치도']

sido_names = sido_names[1:] # 맨 앞 비어있는 값 지우기
sido_names
>>>>
['서울특별시',
 '부산광역시',
 '대구광역시',
 '인천광역시',
 '광주광역시',
 '대전광역시',
 '울산광역시',
 '세종특별자치시',
 '경기도',
 '충청북도',
 '충청남도',
 '전라북도',
 '전라남도',
 '경상북도',
 '경상남도',
 '제주특별자치도',
 '강원특별자치도']

🚩 시/도 이름 키 값 보내기

sido_list_raw.send_keys(sido_names[0])

🚩 구 이름 가져오기

# 구

gu_list_law = driver.find_element(By.ID, 'SIGUNGU_NM0')
gu_list_law.text

ID 이름 체크

• 시/도 이름 구할때 처럼 get_attributes 활용

gu_list = gu_list_law.find_elements(By.TAG_NAME, 'option')
gu_list[1].text, len(gu_list)
>>>>
('강남구', 26)

gu_list[1].get_attribute('value')
>>>>
'강남구'

🚩 구 이름 리스트화

gu_names = [option.get_attribute('value') for option in gu_list]
gu_names
>>>>
['',
 '강남구',
 '강동구',
 '강북구',
 '강서구',
 '관악구',
 '광진구',
 '구로구',
 '금천구',
 '노원구',
 '도봉구',
 '동대문구',
 '동작구',
 '마포구',
 '서대문구',
 '서초구',
 '성동구',
 '성북구',
 '송파구',
 '양천구',
 '영등포구',
 '용산구',
 '은평구',
 '종로구',
 '중구',
 '중랑구']

gu_names = gu_names[1:]
gu_names
>>>>
['강남구',
 '강동구',
 '강북구',
 '강서구',
 '관악구',
 '광진구',
 '구로구',
 '금천구',
 '노원구',
 '도봉구',
 '동대문구',
 '동작구',
 '마포구',
 '서대문구',
 '서초구',
 '성동구',
 '성북구',
 '송파구',
 '양천구',
 '영등포구',
 '용산구',
 '은평구',
 '종로구',
 '중구',
 '중랑구']

🚩 구 이름 키 값 보내기

gu_list_law.send_keys(gu_names[3])

 

🚩 데이터 엑셀로 저장하기

• 엑셀 저장 확인 및 html 소스 확인하기

# 엑셀 저장

elements_save_excel = driver.find_element(By.ID, 'glopopd_excel').click()

• for문 사용하기

import time
from tqdm import tqdm_notebook

for gu in tqdm_notebook(gu_names): # gu_names list
    element = driver.find_element(By.ID, 'SIGUNGU_NM0') # 처음 select할 곳 지정
    element.send_keys(gu) # gu name을 하나씩 지정
    time.sleep(3) # 3초 대기
    
    elements_save_excel = driver.find_element(By.ID, 'glopopd_excel').click() # 엑셀저장 클릭
    time.sleep(3) # 3초 대기

# gu_names의 list가 끝날때까지 진행

🚩 데이터 저장 확인