스터디노트 (자연어 처리)

📌 konlpy (한국어 자연어 처리)

-> Kkma, Hannanum, Okt 등의 패키지로 자연어 분석 처리가 가능하다.

→ 각각 처리하는 방식이 약간씩 차이가 있음

🔻Kkma

→ sentences, nouns, pos

from konlpy.tag import Kkma
kkma = Kkma()

# 문장 추출
kkma.sentences('한국어 분석을 시작합니다 재미있어요~~')
>>>>
['한국어 분석을 시작합니다', '재미있어요~~']

# 명사 추출
kkma.nouns('한국어 분석을 시작합니다 재미있어요~~')
>>>>
['한국어', '분석']

# 형태소 부착 (Tagging)
kkma.pos('한국어 분석을 시작합니다 재미있어요~~')
>>>>
[('한국어', 'NNG'),
 ('분석', 'NNG'),
 ('을', 'JKO'),
 ('시작하', 'VV'),
 ('ㅂ니다', 'EFN'),
 ('재미있', 'VA'),
 ('어요', 'EFN'),
 ('~~', 'SW')]

🔻Hannanum

→ nouns, morphs, pos

from konlpy.tag import Hannanum
hannanum = Hannanum()

# 명사 추출
hannanum.nouns('한국어 분석을 시작합니다 재미있어요~~')
>>>>
['한국어', '분석', '시작']

# 형태소 추출
hannanum.morphs('한국어 분석을 시작합니다 재미있어요~~')
>>>>
['한국어', '분석', '을', '시작', '하', 'ㅂ니다', '재미있', '어요', '~~']

# 품사 부착
hannanum.pos('한국어 분석을 시작합니다 재미있어요~~')
>>>>
[('한국어', 'N'),
 ('분석', 'N'),
 ('을', 'J'),
 ('시작', 'N'),
 ('하', 'X'),
 ('ㅂ니다', 'E'),
 ('재미있', 'P'),
 ('어요', 'E'),
 ('~~', 'S')]

🔻Okt

→ nouns, morphs, pos

from konlpy.tag import Okt
t = Okt()

# 명사 추출
t.nouns('한국어 분석을 시작합니다 재미있어요~~')
>>>>
['한국어', '분석', '시작']

# 형태소 추출
t.morphs('한국어 분석을 시작합니다 재미있어요~~')
>>>>
['한국어', '분석', '을', '시작', '합니다', '재미있어요', '~~']

# 품사 부착
t.pos('한국어 분석을 시작합니다 재미있어요~~')
>>>>
[('한국어', 'Noun'),
 ('분석', 'Noun'),
 ('을', 'Josa'),
 ('시작', 'Noun'),
 ('합니다', 'Verb'),
 ('재미있어요', 'Adjective'),
 ('~~', 'Punctuation')]

---

📌 Wordcloud

🔻워드클라우드 만들어보기

from wordcloud import WordCloud, STOPWORDS
import numpy as np
from PIL import Image

# alice 소설 txt 파일
text = open('../data/06_alice.txt').read()

# alice 이미지 png 파일
alice_mask = np.array(Image.open("../data/06_alice_mask.png"))

# wordcloud에서 제외되는 단어 (said라는 단어도 기존에 있던 단어에 추가시킨다)
stopwords = set(STOPWORDS)
stopwords.add("said")

🔻plot으로 그려보자

import matplotlib.pyplot as plt
from matplotlib import font_manager, rc

rc('font', family = 'Malgun Gothic')

plt.figure(figsize=(8, 8))

# image show
# alice_mask.png 파일을 뿌린다
# interpolation -> 블럭 사이에 그림이 이어질때 어떻게 이어질지 결정
plt.imshow(alice_mask, cmap='Greys_r', interpolation='bilinear')

# 배경 white
# 최대 단어 수 2000개
# mask -> 그림 파일
# stopwords -> 불용어, 예외처리
wc = WordCloud(
    background_color="white", max_words=2000, mask = alice_mask, stopwords=stopwords
)

# 생성
wc = wc.generate(text)

# Alice 단어를 1로 기준, 다른 단어의 비중

wc.words_
>>>>
{'Alice': 1.0,
 'little': 0.29508196721311475,
 'one': 0.27595628415300544,
 'know': 0.2459016393442623,
 'went': 0.226775956284153,
 .....

plt.figure(figsize=(12, 12))
# image show
# wc = 이전에 설정한 워드 클라우드
plt.imshow(wc, interpolation='bilinear')
plt.axis("off")
plt.show()

---

📌 Wordcloud 2

# a_new_hope file read
text = open('../data/06_a_new_hope.txt').read()

# 단어 처리
text = text.replace('HAN', 'Han')
text = text.replace("LUKE's", 'Luke')

# 배경이 될 그림 png 설정
mask = np.array(Image.open("../data/06_stormtrooper_mask.png"))

# 불용어 처리 및 단어 추가
stopwords = set(STOPWORDS)
stopwords.add("int")
stopwords.add("ext")

# 최대 단어 1000개
# mask, 불용어, margin
wc = WordCloud(
    max_words=1000, mask = mask, stopwords=stopwords, margin=10
).generate(text)

# 워드클라우드 안에 들어가는 글자 색을 지정
# 워드클라우드 홈페이지에 코드가 게재되어있으므로, 그대로 사용
import random

def grey_color_func(
        word, font_size, position, orientation, random_state=None, **kwargs
):
    return "hsl(0, 0%%, %d%%)" % random.randint(60, 100)

plt.figure(figsize=(12, 12))

# image show
# wc.recolor 워드클라우드 내에 있는 단어의 색상 재조정
plt.imshow(wc.recolor(color_func=grey_color_func, random_state=3), interpolation='bilinear')
plt.axis("off")
plt.show()