한국어 뉴스 데이터로 딥러닝 시작하기 – 1. 한국어 위키피디아 덤프 다운로드 받기

로보리포트에서는 자연어처리 오픈소스 저장소를 운영하고 있습니다. 그곳에서 연재했던 글들을 가져오고 이어서 글을 작성해보겠습니다.

한국어 뉴스 데이터로 딥러닝 시작하기 

뉴스 데이터를 이용하여 간단하게 딥러닝 알고리즘으로 classification 하는 과제를 수행해보고자 합니다.

 자연어를 처리하기 위해서는 단어나 문서를 vector로 변환을 해야 하는데 이러한 변환 과정을 word embedding이라고 합니다. 최근 deep learning에서는 word embedding을 위해서 word2vec, doc2vec 모델을 주로 사용하기 때문에 doc2vec 모델로 진행해보려고 합니다.

1. training data 수집 

doc2vec model 훈련을 위해서는 말뭉치 데이터가 필요합니다. 형태소 분석없이 공백 단위로 단어를 분리해서 훈련을 할 수 있지만 과거 제대로 띄어쓰기가 되어있을 경우 doc2vec 변환후 실험 성능이 더 좋은 기억이 있어 형태소 태깅된 데이터가 필요합니다. 일단 한국어 위키를 다운받아 형태소 태깅을 진행하려고 합니다. 

위키피디아는 정기적으로 덤프 파일로 릴리즈 합니다 . 언어마다 릴리즈 주기가 다르긴 하지만 한국어 덤프 파일은 한달에 한두번 릴리즈되고 있으니 참고하면 될 것 같습니다.  

한국어 위키 덤프 다운로드 사이트 바로가기

덤프 사이트에 직접 접속하려면 아래 주소로 가면 날짜별로 디렉토리가 있고 그 안에 덤프 파일들이 있습니다.


https://dumps.wikimedia.org/kowiki/

덤프 파일들 종류는 아래와 같습니다.

pages-articles.xml.bz2 – 일반 문서의 최신 버전만이 묶여 있고, 전체 편집 역사는 들어있지 않습니다. 대부분의 이용자는 이 파일을 이용하면 됩니다.

pages-current.xml.bz2 – 모든 문서의 최신 버전이 묶여 있습니다.

pages-full.xml.bz2/7z – 모든 문서(토론 포함)의 최신 버전이 묶여 있습니다.

pages-meta-history.xml.bz2 – 모든 문서의 모든 편집 내역이 묶여 있습니다.

abstract.xml.gz – 문서 요약을 묶어놓았습니다.

all_titles_in_ns0.gz – 문서 제목만을 묶어놓았습니다.

최신 버전의 문서만 필요하니 pages-articles.xml.bz2를 다운받습니다.

위키 데이터는 xml로 되어 있기 때문에 이 안에서 본문만 추출하기 위해서는 parsing이 필요합니다.

다음 포스팅에서는 위키 데이터 파싱하는 법을 이어서 설명하겠습니다.  

참고로 공백이나 형태소 단위로 토큰화된 한국어 위키 덤프 데이터 (문장만 포함)는 아래 github에 올려두었습니다.

앞으로 진행되는 다른 연재 자료들도 계속 추가할 예정이니 필요하신 분은 watch를 걸어주세요 : ) 

github 바로가기 

인공지능 분석 서비스 로보리포트