스터디 노트 (EDA) Pandas 기초

📌 Pandas 기초

• python에서 R 만큼의 강력한 데이터 핸들링 성능을 제공
• 단일 프로세스에서 최대의 효율
• 코딩이 가능하고 응용가능한 엑셀 (데이터를 정제하는데에 많이 쓰인다)

📌 Series

• index와 value로 이루어져 있다.
• 한 가지 데이터 타입만 가질 수 있다 (float, object, int 등)
• 하나라도 문자열이 섞여있으면 "object" 로 인식 (int로 연산 불가)

📌 데이터 읽기

• import pandas
• 기본적으로 csv, 엑셀 등 다양한 데이터를 DataFrame 형태로 import 할 수 있다.

 🚩Column(행), Index(), Value로 나뉜다

출처 : 제로베이스 데이터 스쿨

 🚩head, tail 명령어

• head() - 상위 5개 데이터 값을 보여준다. (개수로 지정 가능)
• tail() - 하위 5개 데이터 값을 보여준다.

 🚩rename 명령어

• rename으로 컬럼의 이름을 바꿀 수 있다.
  • rename={xxx.columns[0] : "구별"}, inplace=True
  • 0번째 컬럼의 이름을 "구별"로 바꿔준다
  • inplace - 앞으로 표에 적용 여부를 선택 (일시적 or 영구)

 🚩날짜 데이터 (date datas)

• import Pandas
• date_range("날짜", period = (일자개수))

 🚩Series와 DataFrame 차이

• pandas.Series() - data(value), index 
  • data = 1차원적인 데이터만 가능.
  • data와 index는 길이가 맞아야 한다.
• pandas.DataFrame() - data(value), index, columns
• csv, excel 파일을 불러오거나, DataFrame을 통해 직접 만들 수 있다

• 딕셔너리를 활용, column과 data를 지정하여 만들 수 있다

딕셔너리 안의 리스트 형태 { "column" : ["Value"]}

리스트 안의 딕셔너리 형태 ["column" : "Value"]

🚩index, value, columns

• DataFrame의 각각 정보를 알 수 있다.

 🚩info() 명령어

• info() 명령어를 통해 기본 정보를 확인 가능
• 데이터를 정제하기 전, info 명령어를 통해 한번 더 확인해주는 작업이 필요하다.

 🚩describe()

• 데이터 프레임의 기술 통계 정보 확인
• min, 25%, 50%, 75%, max 등 다양한 값을 확인할 수 있다

 🚩데이터 정렬 sort_values(), sort_index()

• sort_values(by = "column", ascending=True or False, inplace=True)
• sort_index() -> index를 정렬 (기본적으로 오름차순)
  • ascending, inplace 입력 확인
• inplace=True 안하면 변경하기 전 데이터가 또 출력될 수 있다. 꼭 확인하자!
• by에 기준으로 삼을 컬럼을 작성

특정 컬럼인 "B" 컬럼을 기준으로 내림차순으로 정렬

 🚩데이터 선택 ["columns"]

• 특정 컬럼을 선택하여 조회할 수 있다.
• 리스트 형태를 사용하거나, 그냥 컬럼을 입력해도 조회가 가능하다
• 두 개 이상의 컬럼을 선택할 땐, list 형태로만 작성이 가능

데이터 선택

 🚩offset index [n:m]

• [n:m] - n부터 m-1 까지 index를 슬라이싱.
  • ex) df[0:3] 0부터 2까지 index를 표시.

df라는 이름의 데이터 프레임을 index 0 ~ 2 까지 슬라이싱

• ["index name":"index name2"] 으로도 슬라이싱이 가능하다.

index를 지정해서 슬라이싱 가능

 🚩loc [[index:index],["columns:columns"]]

• loc = location
• index 이름으로 특정 행, 열을 선택.
• " , " / " : " 의 차이를 유념해야한다.

index - 처음부터 끝까지, columns - "A"와 "B"만

index - 20230802~20230804까지, columns - "A" ~ "D"

• Series 형태와 dataframe 형태가 구분이 될 수 있다.

 🚩iloc [[index:index],["columns:columns"]]

• iloc : inter location
  • 컴퓨터가 인식하는 인덱스 값으로 선택

index 값을 지정하여 출력

index 3,4 / column 0, 1 출력

 🚩loc와 iloc의 차이?

• index, column의 이름을 기준으로 쓰느냐, 순번을 기준으로 쓰느냐
  • ex) 이름 : [20230804], [A, B] / 순번 : [0:4], [1, 3] 등

 🚩condition

• 조건을 거는 것 ex) df["A"] > 0 등
• 특정 컬럼의 조건을 확인하여 Series 또는 Dataframe 형태로 출력
• NaN : Not a Number

 🚩column 추가

• 기존 컬럼이 없으면, 추가
• 기존 컬럼이 있으면, 수정

기본적으로 수정 및 추가하려는 컬럼을 입력하고, value 값을 입력한다

 🚩isin()

• 특정 요소가 있는지 확인할 수 있다.

isin을 활용하여 특정 컬럼에 value가 있는지 Series 형태로 확인할 수 있다.

• Dataframe 형태로도 출력할 수 있다.

 🚩특정 컬럼 및 인덱스 제거 del, drop

• del df_name["column"]
  • 특정 컬럼 제거

del 함수 이용, 특정 컬럼 제거

• df_name.drop(["column"], axis = 1) / df_name.drop("index", axis = 0)
  • 특정 컬럼과 인덱스 둘다 제거
  • axis = 0 가로 (인덱스) /  axis = 1 세로 (컬럼)

drop 사용, 특정 인덱스, 컬럼 둘다 제거 가능

 🚩apply()

• Dataframe에 일괄적으로 함수의 기능을 적용
  • axis를 활용해 index, column 기준을 정할 수 있다
• apply("def")
  • sum, mean, min, max 등 다양한 함수 사용 가능

axis를 기준으로 합을 구하는 기준이 달라질 수 있다