웹에서 간단하게 딥러닝 실습하기 : 구글 colab 사용방법

이제 본격적인 부동산 지수 딥러닝 실험하기 실습에 들어가기에 앞서 구글에서 제공하는 colab을 소개합니다. 정식 명칭은 Colaboratory 이며 구글에서의 소개말은 아래와 같습니다.

Colaboratory는 설치가 필요 없고 완전히 클라우드에서 실행되는 무료 Jupyter 노트북 환경입니다. Colaboratory를 사용하면 브라우저를 통해 무료로 코드를 작성 및 실행하고, 분석을 저장 및 공유하며, 강력한 컴퓨팅 리소스를 이용할 수 있습니다.

1. google Colaboratory 소개

기존에 개인이 딥러닝 실험을 하려면 클라우드 서버, gpu 구입, tensorflow 및 기타 패키지 설치 등등 여러가지 준비해야 할 사항들이 많았는데요. google colab에서는 이미 구글 클라우드에 tensorflow 등 기본 패키지들이 깔려있어서 그냥 웹을 열고 jupyter notebook 사용하듯이 사용하면 됩니다.

웹이다 보니 여러가지 제한 사항이 있기는 있습니다. 특히 GPU에서는 오랫동안 실행되는 백그라운드 계산은 도중에 중단될 수도 있습니다. 구글에서는 암호화폐 채굴에 Colaboratory를 사용하지 말라고 faq에 적어놓았습니다. 선의로 시작하는 프로그램이 악용되는 좋은 예. Colaboratory의 UI를 통해 지속적 또는 장기간 계산을 실행하고자 하는 사용자는 로컬 런타임을 사용하는 것이 좋다고 합니다.

즉 간단하게 웹에서 딥러닝 또는 기계학습을 실행하기에는 그럭저럭 괜찮다고 생각합니다. 그럼 사양을 확인해볼까요.

2. colab 사용하기


https://colab.research.google.com/ 

colab 메인 화면

colab 사이트로 들어가면 google 드라이, github, 기존 notebook 업로드 등 옵션을 선택할 수 있습니다. 어느정도 시간이 지나면 session이 끊길수 있기 때문에 google 드라이브 밑에 새 python3 노트를 실행해 봅니다.

jupyter와 비슷해서 별 문제없이 기존에 jupyter notebook을 사용했던 사람이면 무리없이 사용할 수 있습니다.

+코드를 눌러서 새 cell을 열고 colab의 성능을 확인해봅시다.

3. 기본 사양 확인하기

일단 !df -h 로 하드디스크를 확인해봅니다.

명령어 왼쪽 옆의 버튼을 누르면 실행이 됩니다. 사용자에게 55G가 배정되어 있고 그중 33기가가 지금 사용가능합니다. 실험을 하기에는 충분한 용량인 것 같습니다.

!cat /proc/meminfo 으로 사용할 수 있는 메모리를 체크해봅니다.

!cat /proc/cpuinfo 로 cpu 정보도 확인해봅니다. 듀얼코어 2.30GHz 입니다.

4. 딥러닝 관련 설정 확인하기

하지만 중요한건 cpu 뿐만이 아니라 GPU, TPU 까지 사용할 수 있다는 것입니다.

TPU는 Tensor Processing Unit의 약자로 구글에서 2016년 5월에 발표한 데이터 분석 및 딥러닝용 하드웨어입니다. 특정조건하에서는 GPU보다 10배나(?!) 빠르다고 합니다. 이번에 실험을 하면서 실제로 성능 차이를 느낄 수 있을지 확인해봐야겠습니다.

런타임-> 런타임유형변경을 클릭하면 아래와 같이 하드웨어 가속기를 선택을 할 수 있습니다. 간혹 사용자가 많으면 사용을 못할 수도 있지만 무료 서비스니까 이건 감안은 해야할 것 같습니다;

GPU로 변환하고 !nvidia-sim로 gpu정보를 확인해봅니다. cuda version은 10.0이군요.

마지막으로 기본적으로 설치되 어 있는 tensorflow 버전을 확인해보겠습니다.

import tensorflow as tf
print(tf.version)

최근에 2.0 버전이 나오긴 했는데 1.13.1 버전이네요. 그래도 왠만한 최근 코드들은 다 돌려볼수 있을 듯 합니다. 그리고 본인이 원하는 tensorflow 버전을 직접 설치해서 사용 가능합니다. (링크 참조)

그럼 다음 포스팅부터는 본격적인 실험에 들어가보겠습니다.

참고

https://jybaek.tistory.com/686


https://colab.research.google.com/notebooks/snippets/importing_libraries.ipynb

https://medium.com/@jjeaby/colaboratory-%EC%9D%98-gpu-%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%B4-deep-learning-%EC%9D%84-%ED%95%B4%EB%B3%B4%EC%9E%90-79e12e6ed3b0

댓글 남기기

이메일은 공개되지 않습니다. 필수 입력창은 * 로 표시되어 있습니다