Pandas 사용법 - 결측치 처리, 데이터 정렬 및 수정 [기본]

결측치 처리

데이터를 확인하면 정상적인 데이터가 들어가있기도 하지만 중간중간 비어있거나 이상한 값이 입력되어 있을수도 있다.

데이터를 분석할 때에는 결측치를 처리해 주는 것이 중요하다. 몇가지 방법을 알아보자. 

data = {
    '이름' : ['채치수', '정대만', '송태섭', '서태웅', '강백호', '변덕규', '황태산', '윤대협'],
    '학교' : ['북산고', '북산고', '북산고', '북산고', '북산고', '능남고', '능남고', '능남고'],
    '키' : [197, 184, 168, 187, 188, 202, 188, 190],
    '국어' : [90, 40, 80, 40, 15, 80, 55, 100],
    '영어' : [85, 35, 75, 60, 20, 100, 65, 85],
    '수학' : [100, 50, 70, 70, 10, 95, 45, 90],
    '과학' : [95, 55, 80, 75, 35, 85, 40, 95],
    '사회' : [85, 25, 75, 80, 10, 80, 35, 95],
    'SW특기' : ['Python', 'Java', 'Javascript', '', '', 'C', 'PYTHON', 'C#']
}
df = pd.DataFrame(data,index =['1번','2번','3번','4번','5번','6번','7번','8번'])
df.index.name = '지원번호'

'SW 특기'열을 보면 NaN값이 입력된 곳을 확인할 수 있다. 데이터를 입력할 때 아무 값도 입력하지 않아 NaN값으로 나타났다. 하지만 다른 데이터들은 NaN 말고도 다양하게 결측치를 표현할 수 있다. 따라서 데이터를 잘 확인하고 결측치 처리를 진행해야 한다.

fillna

결측 데이터를 손쉽게 채우는 방법에는 fillna 메서드가 있다.

#데이터 채우기
df.fillna('')

#데이터를 '없음'으로 채우기
df.fillna('없음')

NaN을 공백으로 채운 DataFrame

NaN을 '없음'으로 채운 DataFrame

fillna메서드를 이용하면 결측치를 자기가 원하는대로 쉽게 변경할 수 있다. 또한 fillna는 모든 DataFrame에 적용된다.

임의로 '학교'열을 NaN값으로 만들어보자.

import numpy as np
df['학교'] = np.nan
df

df.fillna('모름') #inplace를 True로 해야 원래 데이터도 변경됨

fillna로 모든 NaN값에 '모름'을 적용하는 것을 확인할 수 있다. 이 데이터를 원래 데이터에 적용시키려면 inplace 옵션을 True로 해줘야 한다.

---

데이터 제외하기 (dropna)

결측치에 다른 값을 대입할 수 도 있지만 다른 방법으로는 데이터를 제외하는 방법이 있다. 하지만 이 방법은 데이터의 수가 적어지기 때문에, 학습에 사용할 데이터의 수가 작다면 아쉬운 방법일 수 있다.

df.dropna() #NaN을 포함하는 데이터 삭제 , inplace하면 적용

NaN 값을 가지던 4번, 5번 열이 사라진 것을 확인할 수 있다.

또한 NaN값을 포함하는 행을 삭제할 것인지, 열을 삭제할 것인지 선택할 수 있으며, 삭제 조건도 추가할 수 있다.

#axis = index or columns
#how = any or all -> any면 데이터중 하나만 NaN이어도 삭제, all이면 모든 데이터가 NaN이어야 삭제
df.dropna(axis='index',how='any')

df.dropna(axis='columns')

NaN 값이 포함된 'SW특기'열이 사라짐

---

데이터 정렬

데이터가 존재할 때 기준에 의해 정렬해야하는 일이 생긴다. 다양한 방법으로 정렬하는 법을 알아보자.

df.sort_values('키',ascending=False) #키 기준으로 내림차순 정렬

키를 기준으로 내림차순 정렬

sort_values메서드를 활용하면 DataFrame을 쉽게 정렬할 수 있다. 하지만 한가지 기준이 아니라 여러가지를 기준으로 하고 싶을 때도 있을 것이다. 그런 경우에는 리스트를 활용하여 입력하면 된다.

df.sort_values(['수학','영어'],ascending=False) #수학 1순위, 영어 2순위 우선순위를 가지고 오름차순으로 정렬

위를 보면 수학점수를 기준으로 내림차순으로 정렬한 것이다.  3번학생과 4번학생의 수학점수가 똑같을 때는 영어점수를 기준으로 내림차순 정렬한다. 

한개의 Column만 뽑아서 정렬하거나, index를 활용하여 정렬할 수도 있다.

>>> df['키'].sort_values()
지원번호
3번    168
2번    184
4번    187
5번    188
7번    188
8번    190
1번    197
6번    202
Name: 키, dtype: int64

>>> df.sort_index()

---

데이터 수정

데이터를 확인하고 직접 수정할 수도 있다. 먼저 dict형을 사용하여 기존 데이터를 다른 데이터로 바꿀 수 있다.

>>> #columns 수정
>>> df['학교'].replace({'북산고':'상북고','능남고':'군포고'}) #북산고를 상북고로 바꾼다. , 능남고는 군포고로 바꾼다. 바꾸려면 inplace
지원번호
1번    상북고
2번    상북고
3번    상북고
4번    상북고
5번    상북고
6번    군포고
7번    군포고
8번    군포고
Name: 학교, dtype: object

마찬가지로 inplace를 True로 하게 되면 데이터의 변경이 적용된다.

df1 = df
df1['학교'].replace({'북산고':'성북고'},inplace=True)
df1

북산고 -> 성북고로 바뀌었다.

str을 사용하면 문자열을 수정할수 있는 여러 메서드가 제공된다.

df['SW특기'] = df['SW특기'].str.lower()
df

SW특기가 모두 소문자 처리 되었다.

df['SW특기'] = df['SW특기'].str.upper()
df

또한 일반 문자열을 처리하는 것처럼 데이터를 수정할 수 있다.

df['학교'] = df['학교'] + '등학교'
df

---

Column 추가 및 삭제

자신이 원하는 열을 추가로 생성하고 싶으면 다음과 같이 수행하면 된다.

df['총합'] = df['국어']+df['영어']+df['수학']+df['과학']+df['사회']
df['결과']= 'Fail' #컬럼 추가 후 데이터 Fail로 초기화
df

총합과 결과 column이 생성되었다.

결과를 Fail로 초기화 한 후 총 합이 400점 이상인 사람만 Pass로 업데이트를 진행한다면 다음과 같다.

df.loc[df['총합']>400, '결과'] = 'Pass' #총합이 400보다 큰 데이터에 대해서 결과를 pass로 업데이트 
df

 

총합 점수를 사용했으니 이제 다시 총합을 삭제해보자.

df.drop(columns='총합') #총합 열 삭제

drop 메서드를 사용하고 column 옵션에 총합을 집어넣으면 열이 삭제된다.

한개의 열이 아니라 여러 개를 한번에 drop하고 싶다면 columns에 list형태로 열의 이름을 넣어주면 된다.

df.drop(columns=['국어','영어','수학'])

---

Row 추가 및 삭제

row를 추가해보자. 앞서 배운 loc와 iloc를 활용하여 간단하게 행을 추가할 수 있다.

df.loc['9번']= ['이정환','해남고등학교','184','90','90','90','90','90','Kotlin',450,'Pass'] #새로운 row추가
df

row를 삭제할 때에도 drop을 동일하게 사용한다. 여기서 옵션을 살짝 바꿔주면 된다.

df.drop(index = '4번') # 4번 학생 데이터 row를 삭제

위와 같이 index에 삭제하고 싶은 index명을 입력하면 된다. 조건에 해당되는 행을 모두 삭제하고 싶다면 다음과 같은 방법을 사용할 수 있다.

filt = df['수학']<80
df[filt].index
df.drop(index = df[filt].index)

예를 들어 수학점수가 80점 미만인 사람을 걸러내는데 조건에 해당되는 인덱스를 추출한 뒤에 drop에 집어넣으면 된다.

 

---

Cell 수정

각각의 Cell을 하나씩 수정할 수도 있다.

df.loc['4번','SW특기'] = 'Python' 
df

df.loc['5번',['학교','SW특기']] = ['능남고등학교','C']
df

---

Column 순서 변경 및 이름 변경

DataFrame의 column의 순서를 바꿀 수 있다. 먼저 column을 출력해보자

>>> cols = list(df.columns)
['이름', '학교', '키', '국어', '영어', '수학', '과학', '사회', 'SW특기', '총합', '결과']

맨 끝에 있는 결과를 1열을가져오고, 나머지 column을 뒤에 배치해보자.

df = df[[cols[-1]] + cols[0:-1]] #맨 뒤에 있는 결과 Column을 앞으로 가져오고, 나머지 Column들과 합쳐서 순서 변경
df

순서가 성공적으로 바뀌었다. 여기서 첫 3열만 추출해서 이름을 변경해보자.

df = df[['결과','이름','학교']]
df

 

column의 이름을 변경하려면 다음과 같이 리스트 형태로 입력해주면 된다.

df.columns = ['Result','Name','School']
df