[텍스트 분석] 3. Bag of Words (BOW)

2022.02.23 - [머신러닝 | 딥러닝/텍스트 분석] - [텍스트 분석] 2-(3). 텍스트 전처리 - Stemming과 Lemmatization

[텍스트 분석] 2-(3). 텍스트 전처리 - Stemming과 Lemmatization

저번 포스팅에 이어서 텍스트 전처리 다음 프로세스인 Bag of Words(BOW)에 대해 공부해보려고 합니다!

---

Bag of Words - BOW

 

: BOW 모델은 문서가 가지는 모든 단어들을 문맥과 순서를 무시하고 일괄적으로 단어에 대한 빈도 값을 부여해 피처 값을 추출하는 모델이다.

비유적으로, 양념감자를 예시로 들 수 있다. 문서에 있는 모든 단어들을 추출하여 양념감자 팩에 넣고 뒤섞는 것이 이에 비유될 수 있다. Bag of Words 자체가 이런 비유에서 모델 이름이 생성되었다!

BOW 프로세스

 

만일 문장1과 문장2가 있다면 문장1과 문장2의 모든 단어들을 중복을 제외하고 추출한 후 칼럼(열)으로 나열한다. 그리고 개별 문장들을 인덱스(행)로 설정하고 각 인덱스에서 칼럼에 나열되어있는 단어들의 횟수를 value 값으로 측정한다.

 

 

장점 : 쉽고 빠른 구축이 가능

단점 :

1. 문맥과 순서를 제외하고 피처값을 설정하기 때문에 문맥해석이 어려움 

2. 희소행렬 문제 발생 : 대부분의 칼럼값이 0으로 채워지는 행렬

-> BOW는 여러 문서들이 있을 때 모든 문서들의 단어들을 추출하여 칼럼(열)로 나열한다. 각 문서들은 추출한 칼럼을 기반으로 각 문서의 단어 빈도 횟수를 칼럼 값으로 설정한다. 하지만, 각 문서에서 사용되는 단어를 추출하여 칼럼을 만들기 때문에 칼럼 개수는 무수히 많지만, 각 문서마다 사용하는 단어는 당연히 상이하기 때문에 문서마다 각 칼럼 값들이 0으로 채워질 확률이 높다. 희소 행렬은 일반적으로 머신러닝 모델의 성능을 저하시키기 때문에 이는 BOW 모델의 단점이라고 할 수 있다.

 

BOW 피처 벡터화

 

1. 카운트 기반의 벡터화 : 빈도 횟수가 높은 단어를 중요도가 높은 단어로 측정. 하지만 모든 문서에서 공통적으로 많이 사용되는 단어들조차 중요도가 높은 단어로 선정됨..

2. TF-IDF 기반의 벡터화 : 빈도수가 높은 단어를 중요도가 높은 단어로 측정하지만, 모든 문서에서 보편적으로 많이 사용되는 단어에 대해서는 페널티를 부여한다.

---

BOW 희소행렬 문제 해결 : COO / CSR

 

BOW 방식의 피처 벡터화가 희소행렬(0이 많음)이기 때문에, 메모리 문제가 발생한다. 따라서 BOW 방식은 무수히 많은 메모리를 차지하는 희소행렬을 메모리를 덜 차지하게 처리해야만 한다. 그 방식으로 COO형식과 CSR 형식이 존재한다.

 

COO방식보단 CSR 방식이 행렬에 대해서 저장하거나 계산할 때 더 유리하다.

 

• COO형식

: COO형식은 0이 아닌 데이터만 별도의 데이터 배열에 저장하고, 그 데이터가 가리키는 행과 열의 위치를 별도의 배열로 저장하는 방식이다.

 

->행위치와 열위치를 각각 배열로 생성하는 과정

0이 아닌 데이터는 [3,1,2]이며 0이 아닌 데이터의 위치를 (row, col)으로 표현하면 (0,0), (0,2), (1,1)이 됩니다.

row와 column을 별도의 배열로 저장하면 row는 [0,0,1]이고 column은 [0,2,1]이 되게 됩니다.

파이썬에서는 희소 행렬 변환을 위해 주로 사이파이(Scipy)를 사용합니다.

 

 

~패키지 다운~

import numpy as np
from scipy import sparse

 

~COO방식~

dense=np.array([[3,0,1], [0,2,0]])

#0이 아닌 데이터 추출
data=np.array([3,1,2])

#행 위치와 열 위치를 각각 배열로 생성
row_pos=np.array([0,0,1])
col_pos=np.array([0,2,1])

#sparse패키지의 coo_matrix를 이용해 COO형식으로 희소 행렬 생성
sparse_coo=sparse.coo_matrix((data, (row_pos, col_pos)))
print(sparse_coo)

* COO 형식의 문제점

: COO형식으로 변환시 데이터 배열은 [1, 5, 1, 4, 3, 2, 5, 6, 3, 2, 7, 8, 1]이고

행 위치 배열은 [0, 0, 1, 1, 1, 1, 1, 2, 2, 3, 4, 4, 5], 열 위치 배열은 [2, 5, 0, 1, 3, 4, 5, 1, 3, 0, 3, 5, 0]이 됩니다.

행 위치 배열을 자세히 보면 순차적인 같은 값이 0, 0, -> 1, 1, 1, 1,..->2, 2 이런식으로 반복적으로 나타나는 것을 확인할 수 있습니다.

 

 

• CSR형식

: COO의 문제점을 해결한 것이 CSR 방식!

행 위치 배열 내에 있는 고유한 값의 시작 위치만 다시 별도의 위치 배열로 갖는 변환 방식을 의미

행 위치 배열이 0부터 순차적으로 증가하는 값으로 이뤄졌다는 특성을 고려해 행 위치 배열의 고유한 값의 시작 위치만 표기하는 방법으로 반복을 제거!

이렇게 고유값의 시작 위치만 알고 있으면 얼마든지 행 위치 배열을 다시 만들 수 있기 때문에 COO 방식보다 메모리가 적게 들고 빠른 연산이 가능하게 됨!

 

 

~패키지 다운~

from scipy import sparse

 

~CSR방식~

dense2=np.array([[0,0,1,0,0,5],
             [1,4,0,3,2,5],
             [0,6,0,3,0,0],
             [2,0,0,0,0,0],
             [0,0,0,7,0,8],
             [1,0,0,0,0,0]])
             
#0이 아닌 데이터 추출
data2 = np.array([1, 5, 1, 4, 3, 2, 5, 6, 3, 2, 7, 8, 1])

#행위치와 열위치를 각각 array로 생성
row_pos = np.array([0, 0, 1, 1, 1, 1, 1, 2, 2, 3, 4, 4, 5])
col_pos = np.array([2, 5, 0, 1, 3, 4, 5, 1, 3, 0, 3, 5, 0])

*실제로는 0이 아닌 데이터 배열, ROW, COL 위치 배열을 지정하지 않고 sparse.coo_matrix(배열), sparse.csr_matrix(배열)로 사용해도 된다.

#COO 형식으로 변환
sparse_coo=sparse.coo_matrix((data2, (row_pos,col_pos)))

#행위치 배열의 고유한 값의 시작 위치 인덱스를 배열로 생성
row_pos_ind = np.array([0, 2, 7, 9, 10, 12, 13])

#CSR형식으로 변환
sparse_csr = sparse.csr_matrix((data2, col_pos, row_pos_ind))

print('COO 변환된 데이터가 제대로 되었는지 다시 Dense로 출력 확인')
print(sparse_coo.toarray())
print('CSR 변환된 데이터가 제대로 되었는지 다시 Dense로 출력 확인')
print(sparse_csr.toarray())

COO방식과 CSR방식이 모두 똑같이 행렬을 저장하고 있음을 확인할 수 있다.

 

 

~실제 사용~

dense3 = np.array([[0,0,1,0,0,5],
             [1,4,0,3,2,5],
             [0,6,0,3,0,0],
             [2,0,0,0,0,0],
             [0,0,0,7,0,8],
             [1,0,0,0,0,0]])

coo = sparse.coo_matrix(dense3)
csr = sparse.csr_matrix(dense3)

print('COO\n', coo)
print('CSR\n', csr)

---

오늘은 전처리 다음단계인 BOW를 공부해보았는데요!

다음 포스팅에서는 이를 활용하여 실습을 해보려고 합니다!

 

끗!-!