스터디 노트 (BeautifulSoup + selenium 2)

📌 BeautifulSoup + selenium

🚩 목표 데이터

• 브랜드
• 가격
• 셀프 주유 여부
• 위치

---

🚩 Excel data 접근하기 (glob)

• glob("../경로/파일이름_* ")
• ex) 지역_* : '지역_' 포함된 파일 다 가져오기

import pandas as pd
from glob import glob

# 파일 목록 한 번에 가져오기
glob("../data/지역_*.xls")
>>>>
['../data\\지역_위치별(주유소) (1).xls',
 '../data\\지역_위치별(주유소) (10).xls',
 '../data\\지역_위치별(주유소) (11).xls',
 '../data\\지역_위치별(주유소) (12).xls',
 '../data\\지역_위치별(주유소) (13).xls',
 '../data\\지역_위치별(주유소) (14).xls',
 '../data\\지역_위치별(주유소) (15).xls',
 '../data\\지역_위치별(주유소) (16).xls',
 '../data\\지역_위치별(주유소) (17).xls',
 '../data\\지역_위치별(주유소) (18).xls',
 '../data\\지역_위치별(주유소) (19).xls',
 '../data\\지역_위치별(주유소) (2).xls',
 '../data\\지역_위치별(주유소) (20).xls',
 '../data\\지역_위치별(주유소) (21).xls',
 '../data\\지역_위치별(주유소) (22).xls',
 '../data\\지역_위치별(주유소) (23).xls',
 '../data\\지역_위치별(주유소) (24).xls',
 '../data\\지역_위치별(주유소) (3).xls',
 '../data\\지역_위치별(주유소) (4).xls',
 '../data\\지역_위치별(주유소) (5).xls',
 '../data\\지역_위치별(주유소) (6).xls',
 '../data\\지역_위치별(주유소) (7).xls',
 '../data\\지역_위치별(주유소) (8).xls',
 '../data\\지역_위치별(주유소) (9).xls',
 '../data\\지역_위치별(주유소).xls']

---

# 파일명 저장
station_files = glob("../data/지역_*.xls")
station_files
>>>>
['../data\\지역_위치별(주유소) (1).xls',
 '../data\\지역_위치별(주유소) (10).xls',
 '../data\\지역_위치별(주유소) (11).xls',
 '../data\\지역_위치별(주유소) (12).xls',
 '../data\\지역_위치별(주유소) (13).xls',
 '../data\\지역_위치별(주유소) (14).xls',
 '../data\\지역_위치별(주유소) (15).xls',
 '../data\\지역_위치별(주유소) (16).xls',
 '../data\\지역_위치별(주유소) (17).xls',
 '../data\\지역_위치별(주유소) (18).xls',
 '../data\\지역_위치별(주유소) (19).xls',
 '../data\\지역_위치별(주유소) (2).xls',
 '../data\\지역_위치별(주유소) (20).xls',
 '../data\\지역_위치별(주유소) (21).xls',
 '../data\\지역_위치별(주유소) (22).xls',
 '../data\\지역_위치별(주유소) (23).xls',
 '../data\\지역_위치별(주유소) (24).xls',
 '../data\\지역_위치별(주유소) (3).xls',
 '../data\\지역_위치별(주유소) (4).xls',
 '../data\\지역_위치별(주유소) (5).xls',
 '../data\\지역_위치별(주유소) (6).xls',
 '../data\\지역_위치별(주유소) (7).xls',
 '../data\\지역_위치별(주유소) (8).xls',
 '../data\\지역_위치별(주유소) (9).xls',
 '../data\\지역_위치별(주유소).xls']

🚩 데이터 확인

• index 명령어를 활용해 데이터 프레임을 만들어본다.
• header 값을 줘서 필요없는 정보는 날린다.

🚩 데이터 합치기 (concat)

• 형식이 동일하고 연달아 붙이기만 하면 될 때는 concat을 활용하면 된다.

tmp_raw=[]
for file_name in station_files: # station_files 값
    tmp = pd.read_excel(file_name, header=2) # excel 파일을 각각 하나씩 읽어온다
    tmp_raw.append(tmp) # tmp_raw 값에 append
>>>>
[       지역                    상호                            주소        상표  \
 0   서울특별시  재건에너지 재정제2주유소 고속셀프지점  서울특별시 강동구  천호대로 1246 (둔촌제2동)  HD현대오일뱅크   
 1   서울특별시                구천면주유소         서울 강동구 구천면로 357 (암사동)  HD현대오일뱅크   
 2   서울특별시                 명일주유소          서울 강동구 고덕로 168 (명일동)     SK에너지   
 3   서울특별시               방아다리주유소          서울 강동구 동남로 811 (명일동)     SK에너지   
 4   서울특별시           (주)소모 신월주유소        서울 강동구 양재대로 1323 (성내동)     GS칼텍스   
 5   서울특별시       (주)퍼스트오일 코알라주유소     서울특별시 강동구  올림픽로 556 (성내동)     S-OIL   
 6   서울특별시        (주)삼표에너지 고덕주유소           서울 강동구 고덕로 39 (암사동)     GS칼텍스   
 7   서울특별시      주)지유에너지직영 오렌지주유소          서울 강동구 성안로 102 (성내동)     SK에너지   
 8   서울특별시          대성석유(주)길동주유소              서울 강동구 천호대로 1168     GS칼텍스   
 9   서울특별시           (주)소모 성내주유소         서울 강동구 올림픽로 578 (성내동)     GS칼텍스   
 10  서울특별시              sk해뜨는주유소         서울 강동구  상일로 132 (강일동)     SK에너지   
 11  서울특별시        지에스칼텍스㈜ 동서울주유소        서울 강동구 천호대로 1456 (상일동)     GS칼텍스   
 12  서울특별시               천호현대주유소           서울 강동구 천중로 67 (천호동)  HD현대오일뱅크   
 13  서울특별시                 광성주유소         서울 강동구 올림픽로 673 (천호동)     S-OIL   
 
             전화번호 셀프여부 고급휘발유   휘발유    경유  실내등유  
 0    02-487-2030    Y     -  1719  1609     -  
 1    02-441-0536    N     -  1734  1615     -  
 2   02-3428-1739    Y  1875  1748  1625     -  
 3    02-442-5145    Y     -  1765  1645  1439  
 4   02-6956-6674    Y  1946  1766  1648  1590  
 5    02-484-1162    Y     -  1770  1640     -  
 6    02-441-3327    Y  1985  1785  1665  1635  
 7    02-484-6165    N     -  1785  1685  1580  
 8    02-474-7222    N  1995  1786  1668  1600  
 9    02-479-3838    Y     -  1788  1688     -  
 10   02-442-7801    Y  1949  1795  1689  1600  
 11   02-426-5372    Y  1981  1801  1684     -  
 12   02-484-9323    N     -  1881  1797     -  
 13   02-470-5133    N     -  1968  1868     -  , .......

stations_raw = pd.concat(tmp_raw)
stations_raw

🚩 인덱스 확인 및 rows, columns 확인

• 데이터 프레임 형태로 확인
• info() 함수를 이용해 확인

🚩 DataFrame 재정비

• pd.DataFrame({'column_name' : data})

🚩 구 column 추가하기

• 주소 컬럼에 있는 주소를 공백 기준으로 나누고 인덱스를 지정하여 구 값을 구한다.

for Address in stations["주소"]:
    print(Address.split()[1])
>>>>
강동구
강동구
강동구
강동구
강동구
강동구
강동구
강동구
강동구
강동구
강동구
강동구
강동구
강동구
동대문구
동대문구
동대문구
....
강남구
강남구
강남구

 

구 컬럼 추가하기

🚩 데이터 중 다른 데이터가 있을 시 수정

추가 한 후, unique() 함수로 구 컬럼 정보 다시 한번 확인

🚩 인덱스 재정렬

• reset_index 활용

reset_index

del을 활용, index 컬럼 삭제

🚩 주유 가격 정보 시각화

• matplotlib.pyplot, seaborn, platform 사용
• boxplot 으로 시각화 진행

📒 1. boxplot으로 간단한 시각화

📒 2. seaborn, matplotlib 으로 시각화

📒 3. seaborn, matplotlib 으로 시각화 2

• hue option으로 좀 더 구분이 쉽게 시각화

 

🚩 주유 지도 정보 시각화

• 상위, 하위 10개 씩 ascending 해보기
• 제일 비싼 곳과 제일 싼곳을 알 수 있다

🚩 pivot_table로 평균 가격 확인