웹에서 간단하게 딥러닝 실습하기 : 구글 colab 사용방법

이제 본격적인 부동산 지수 딥러닝 실험하기 실습에 들어가기에 앞서 구글에서 제공하는 colab을 소개합니다. 정식 명칭은 Colaboratory 이며 구글에서의 소개말은 아래와 같습니다.

Colaboratory는 설치가 필요 없고 완전히 클라우드에서 실행되는 무료 Jupyter 노트북 환경입니다. Colaboratory를 사용하면 브라우저를 통해 무료로 코드를 작성 및 실행하고, 분석을 저장 및 공유하며, 강력한 컴퓨팅 리소스를 이용할 수 있습니다.

1. google Colaboratory 소개

기존에 개인이 딥러닝 실험을 하려면 클라우드 서버, gpu 구입, tensorflow 및 기타 패키지 설치 등등 여러가지 준비해야 할 사항들이 많았는데요. google colab에서는 이미 구글 클라우드에 tensorflow 등 기본 패키지들이 깔려있어서 그냥 웹을 열고 jupyter notebook 사용하듯이 사용하면 됩니다.

웹이다 보니 여러가지 제한 사항이 있기는 있습니다. 특히 GPU에서는 오랫동안 실행되는 백그라운드 계산은 도중에 중단될 수도 있습니다. 구글에서는 암호화폐 채굴에 Colaboratory를 사용하지 말라고 faq에 적어놓았습니다. 선의로 시작하는 프로그램이 악용되는 좋은 예. Colaboratory의 UI를 통해 지속적 또는 장기간 계산을 실행하고자 하는 사용자는 로컬 런타임을 사용하는 것이 좋다고 합니다.

즉 간단하게 웹에서 딥러닝 또는 기계학습을 실행하기에는 그럭저럭 괜찮다고 생각합니다. 그럼 사양을 확인해볼까요.

2. colab 사용하기


https://colab.research.google.com/ 

colab 메인 화면

colab 사이트로 들어가면 google 드라이, github, 기존 notebook 업로드 등 옵션을 선택할 수 있습니다. 어느정도 시간이 지나면 session이 끊길수 있기 때문에 google 드라이브 밑에 새 python3 노트를 실행해 봅니다.

jupyter와 비슷해서 별 문제없이 기존에 jupyter notebook을 사용했던 사람이면 무리없이 사용할 수 있습니다.

+코드를 눌러서 새 cell을 열고 colab의 성능을 확인해봅시다.

3. 기본 사양 확인하기

일단 !df -h 로 하드디스크를 확인해봅니다.

명령어 왼쪽 옆의 버튼을 누르면 실행이 됩니다. 사용자에게 55G가 배정되어 있고 그중 33기가가 지금 사용가능합니다. 실험을 하기에는 충분한 용량인 것 같습니다.

!cat /proc/meminfo 으로 사용할 수 있는 메모리를 체크해봅니다.

!cat /proc/cpuinfo 로 cpu 정보도 확인해봅니다. 듀얼코어 2.30GHz 입니다.

4. 딥러닝 관련 설정 확인하기

하지만 중요한건 cpu 뿐만이 아니라 GPU, TPU 까지 사용할 수 있다는 것입니다.

TPU는 Tensor Processing Unit의 약자로 구글에서 2016년 5월에 발표한 데이터 분석 및 딥러닝용 하드웨어입니다. 특정조건하에서는 GPU보다 10배나(?!) 빠르다고 합니다. 이번에 실험을 하면서 실제로 성능 차이를 느낄 수 있을지 확인해봐야겠습니다.

런타임-> 런타임유형변경을 클릭하면 아래와 같이 하드웨어 가속기를 선택을 할 수 있습니다. 간혹 사용자가 많으면 사용을 못할 수도 있지만 무료 서비스니까 이건 감안은 해야할 것 같습니다;

GPU로 변환하고 !nvidia-sim로 gpu정보를 확인해봅니다. cuda version은 10.0이군요.

마지막으로 기본적으로 설치되 어 있는 tensorflow 버전을 확인해보겠습니다.

import tensorflow as tf
print(tf.version)

최근에 2.0 버전이 나오긴 했는데 1.13.1 버전이네요. 그래도 왠만한 최근 코드들은 다 돌려볼수 있을 듯 합니다. 그리고 본인이 원하는 tensorflow 버전을 직접 설치해서 사용 가능합니다. (링크 참조)

그럼 다음 포스팅부터는 본격적인 실험에 들어가보겠습니다.

참고

https://jybaek.tistory.com/686


https://colab.research.google.com/notebooks/snippets/importing_libraries.ipynb

https://medium.com/@jjeaby/colaboratory-%EC%9D%98-gpu-%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%B4-deep-learning-%EC%9D%84-%ED%95%B4%EB%B3%B4%EC%9E%90-79e12e6ed3b0

공공데이터 이용정책

최근에 공공데이터의 제공 및 이용 활성화 정책 방향에 따라서 공공 데이터를 open api로 공개하거나 따로 공개하지 않더라도 공공저작원의 자유이용을 허용하는 사이트들이 증가하고 있습니다. 이번 포스팅에서는 각 공공 기관별 공공데이터 이용정책을 확인해보겠습니다.

공공데이터포털사이트

일단 먼저 공공데이터의 산실과도 같은 공공데이터포털 사이트입니다.

공공데이터 이용정책 :
https://www.data.go.kr/guide/guide/policy.do

기본적으로 공공데이터 이용허락범위 관련하여 “이용허락범위 제한 없음”일 경우 자유로운 이용이 가능하며, 제한이 있을 경우 각 유형(공공데이터법 시행규칙 별지 제4호 제공대상 공공데이터 등록서 참고)별로 아래 내용에 유의하시기 바랍니다.

공공데이터 이용정책

개별 API 설명에 들어가보면 대부분이 “이용허락범위 제한 없음”으로 되어 있지만 가끔씩 제한이 있는 경우도 있습니다. 그럴경우 제한 범위 리스트입니다. 전체 리스트는 링크로 이동하셔서 확인 가능합니다.

공공데이터 개별 API 설명에서 이용허락범위를 허락하는 부분은 아래와 같습니다.

국가통계포털 사이트

통계청에서 제공하는 국가통계 포털 사이트 입니다.

국가통계포털 사이트 : http://kosis.kr/index/index.do

국가통계포털

통계청에서 제공하는 다양한 데이터들을 다운로드 받을 수 있습니다.

통계 정보 이용 방침: http://kosis.kr/serviceInfo/useGuide.do

이용자는 기본적으로 KOSIS 통계정보를 자유롭게 사용, 재사용 및 재배포할 수 있으며 통계정보의 비상업적 또는 상업적 활용이 모두 가능합니다. ( 공공데이터법 감사합니다 ㅠ – ㅠ )

그러나 간행물 이나 CD 로 구입한 정보나 KOSIS 에서 다운받은 그대로 사용하는 것은 허락하지 않습니다. 자세한 내용은 위 이용 방침 링크에서 확인 할 수 있습니다.

KOSIS 통계정보 이용방법

통계지리정보사이트 개발지원센터

통계지리정보서비스(SGIS)에서 통계청에서 제공하는 데이터를 API로 제공하고 있습니다.


통계지리 정보 서비스 : https://sgis.kostat.go.kr/view/index

통계지리 정보 서비스 API :
https://sgis.kostat.go.kr/developer/html/openApi/api/data.html#41

통계지리 정보 서비스 API

공공데이터 이용정책에 관련하여 개별 페이지를 따로 찾을 수 는 없었으나 위에 공공누리의 제1유형 아이콘이 있습니다.

공공누리 유형안내 사이트 :
https://www.kogl.or.kr/info/license.do

공공누리 1유형의 요약정보는 아래와 같습니다. 즉 상업적 이용을 포함하여 자유롭게 이용이 가능합니다.

  • 출처표시
  • 상업적, 비상업적 이용가능
  • 변형 등 2차적 저작물 작성 가능

한국은행 경제통계시스템

경제통계 분석을 할 경우에 꼭 사용해야 하는 API중 하나입니다. 한국은행에서 제공하는 다양한 데이터를 사용할 수 있습니다.

다만 상업적 이용까지 자유롭게 허용했던 다른 공공기관과 다르게 한국은행은 상업적인 목적으로 이용할 경우 OPEN API 서비스를 신청할때부터 통계작성기관 이용승낙서를 받아야 한다고 한다고 합니다. 한국은행은 제외한다고 했으니 한국 은행 데이터는 가능한 것 같은데 open api 사용하기 전에 통계 작성 기관을 확인해야 하니 다른 공공기관보다는 무척 불편하게 되어있네요;

이용약관:
https://ecos.bok.or.kr/jsp/openapi/OpenApiController.jsp?t=introUseProv&menuGroup=MENU000002&menuCode=MENU000011

제4조(통계정보의 상업적 이용) ① 통계정보를 상업적인 목적으로 이용하고자 하는 자는 OpenAPI 서비스를 신청할 때 통계작성기관(한국은행은 제외한다)으로부터 이용승낙서를 받아 제출하여야 한다.

② 영리 행위를 목적으로 하는 이용자가 통계작성기관으로부터 승낙 받지 않은 통계정보를 이용한 경우에는 상업적인 목적으로 이용한 것으로 간주되며 제공기관은 OpenAPI 서비스 제공을 중단할 수 있다.

③ 이용자가 OpenAPI 서비스를 활용하여 영업활동을 하는 경우 제공기관은 그 결과에 대해 일체의 책임을 지지 않는다.

당연하겠지만 데이터 출처 역시 의무입니다.

제7조(출처표시 의무) 이용자는 통계정보를 이용함에 있어 한국은행 경제통계시스템에서 제공된 정보임을 표시하여야 한다.

   ※ 출처표시의 예

      – 출처 : ECOS(한국은행, 국제수지), 2016.00.00.

      – 자료 : ECOS(한국은행)>물가>소비자물가지수, 2016.00.00

법원경매정보

대한민국법원경매에 대해 정보를 제공하는 사이트입니다.

https://www.courtauction.go.kr/

따로 API를 제공하고 있지는 않지만 공공저작물의 자유이용을 허락하고 있습니다.

https://www.courtauction.go.kr/CopyrightProtection.laf

한국교육학술정보원

한국교육학술정보원은 초중등학교 정보공시 사이트 학교알리미를 운영하고 있습니다. 학구도, 학교별 학생수, 진학률 등 학교에 대한 다양한 정보를 제공합니다. 아쉬운 점은 OPEN API로 데이터를 제공하는 것이 아니라는 것입니다. 하지만 데이터의 자유로운 사용은 보장하고 있습니다.

학교알리미 공공데이터 이용정책:
https://www.schoolinfo.go.kr/ng/pnngpi_a01_l0.do

학교알리미 공공데이터 이용정책

지금까지 공공데이터 이용정책을 확인해보았습니다. 지금까지 확인한 데이터들도 많은데 앞으로 점점 더 공공데이터가 확대되는 방향으로 간다고 하니 데이터 덕후로서는 기대가 많이 됩니다 : )

소상공인 폐업에 따른 총 사회적 비용

소상공인 폐업에 따른 총 사회적 비용에 대한 리포트가 있어 내용을 정리해 보았습니다.

2015년 기준으로 1개 소상공인 폐업에 따른 총 사회적 비용 산출 : 64,493,577원

식당이 1개 문을 닫으면 그로 인한 사회적 비용이 대략 6400만원이 드는 셈이네요. 자세한 비용 산정 기준은 아래와 같습니다.

모든 폐업이 동일한 비용을 발생하는 것이 아니라 폐업의 케이스 별로 비용이 달라집니다.

경로1: 폐업 소상공인이 모든 자기 및 국가가 지불하는 사회적 비용을 발생하는 후 재창업 또는 취업하는 경우

경로2: 폐업 소상공인이 모든 자기비용을 발생시키고, 국가가 지불하는 일부의 사회적비용을 발생시킨 후 재창업 또는 취업하는 경우

경로 3: 폐업 소상공인이 모든 자기, 국가가 지불하는 사회적비용을 발생시킨 후 재기하지 못하여 사회비용까지 발생시키는 경우

위에 산정된 6000만원은 경로3으로 최악의 방향으로 폐업을 하는 케이스에 대한 비용입니다. 폐업 케이스 별로 최소 1100만원에서 6400만원의 사회적 비용이 발생하는 것으로 추정됩니다.

리포트가 작성된 2015년 기준으로 46만개의 소상공인 사업체가 폐업하는 것으로 추정됩니다. 앞서 산출한 케이스별 사회적 비용을 곱하여 소상공인 폐업에 따른 총 사업적 비용으로 1년간 최소 5.6조원 ~ 최대 30.3조원의 사회적 비용이 발생합니다.

생각보다 무시무시한 비용이네요 -_-!

아 그리고 리포트 중간에 폐업 사회적 비용과 별개로 소상공인 폐업률에 대해서 두 개의 속성으로만 실험했는데 R2가 .99가 나왔다고 해서 흥미로워서 추가로 적어봅니다 +_+

연도별 소상공인 폐업률과, 경기동행지수, 주요 소상공인업체수 간 회귀분석을 실시한 결과 R2가 .99이며, p=0.07 수준에서 통계적으로 유의한 모형을 산출했다고 합니다.

평균 창업 비용과 창업 준비 기간

이전 포스팅에서는 자영업자의 평균 폐업률을 확인해보았습니다. 이어서 이번 포스팅에서 왜 이렇게 한국의 자영업자의 폐업률이 높은지 확인해보겠습니다. 특히 자영업자의 평균 창업 비용과 창업 준비 기간에 대하서 알아보겠습니다.

신한은행에서 ‘2018년 보통사람 금융생활 보고서’에 따르면 2018년도의 평균 창업준비 평균 비용은 8,148만원입니다. 그리고 창업자중 절반이 높은 창업준비 비용을 마련하기 위해 대출을 사용하고 있다고 합니다.

높은 창업 비용에 반해 평균 창업 준비 기간은 3개월 미만이 30% (1년 미만이 80%)로 대부분이 제대로 준비되지 못한 상황에서 창업을 하고 있습니다. 그 결과는 첫 해 폐업률 40%, 5년 내 폐업률 80%라는 아픈 결과로 이어지고 있습니다.

서울연구원에서 발간한 시 외식산업의 실태분석과 시사점 리포트에서 나오는 서울에서 5인 미만의 소규모 음식점을 운영하고 있는 외식업종 사업주 70인을 대상으로 한 설문조사에서 나온 평균 창업 기간은 더 충격적입니다.

서울시 외식업종 평균 창업기간

35%의 서울시 외식업종 창업자들이 1개월 이내의 창업기간을 가졌습니다. 3개월 미만의 준비기간을 다 합치면 전체 65%나 됩니다.

자영업 창업에는 상당한 초기 투자비용이 지출되며 자영업자들은 이러한 비용 중 많은 부분을 대출로 감당하는 것으로 나타납니다. 그러므로 자영업체들이 창업 후 1~2년도 유지하지 못한 채 짧은 기간 안에 폐업을 하는 패턴이 계속된다면 이는 결국 고용의 불안정을 야기하고 가계부채나 기업부채의 증가로 이어져 사회적인 문제를 초래할 수 있습니다.

그렇다면 이렇게 많은 비용을 들이면서 이렇게 준비 기간이 부족한 상태로 창업하게 되는 이유는 무엇일까요? 시 외식산업의 실태분석과 시사점에서 보면 외식업체 현장 인터뷰 및 설문조사 결과, 외식사업 자체에 관심을 가지고 창업한 업체보다는 생개유지를 위한 수단으로 시작한 업체가 많다고 합니다. 창업의 주된 동기는 장기적, 안정적 직업에 대한 필요성으로 직장을 갑자기 그만두게 되었거나, 기존 사업이 잘 운영되지 않았거나 등의 이유가 대부분이었습니다. 따라서 오랜 준비와 경험 없이 창업을 한 경우가 많았고, 그로 인한 어려움을 겪었던 업체가 다수였다고 합니다.

요약을 하면 창업을 해야 하는 상황에서 상권 분석과 입지, 메뉴 선정 등에 대한 준비 없이 급하게 창업을 합니다. 그 후 높은 임대료, 주변 상가와의 경쟁, 홍보 부족, 식자재료 비용의 증가, 인건비 증가 등으로 경영상의 어려움을 겪으면서 빠른 폐업으로 이어지는 하나의 흐름을 확인 할 수 있었습니다.

이런 상황에서 어떻게 창업을 준비해야 조금이라도 생존률을 높일 수 있을까요? 이 질문에 대답하기 위해 추후 포스팅을 이어가 보겠습니다.

참고 링크

https://www.si.re.kr/node/55948

https://www.mk.co.kr/news/business/view/2017/05/339046/

2019년 4월 1일 서비스 개편 안내 – 부동산 빅데이터 대시보드 추가

안녕하세요. 로보리포트입니다.

2019년 4월 1일 서비스 개편 안내 드립니다.

이번 서비스 개편은 부동산 가치분석 연구실이 추가되고 유동인구 조건검색 및 경매 데이터 세부 검색 기능이 추가되었습니다.

그동안 전해주셨던 사용하면서 불편하다고 이야기 주셨던 부분을 수정했습니다.

부동산 가치분석 연구실 추가

부동산 가치에 영향을 끼치는 여러 가지 지표들이 궁금하신가요? 금리가 오르면 부동산 가격은 과연 올라갈까요? 내려갈까요?

부동산의 가치에 영향을 끼치는 여러 요소들과 부동산 관련 지표들을 한 눈에 볼 수 있는 대시보드와 전국의 부동산 관련 지표들을 한눈에 확인할 수 있는 전국현황 대시보드가 추가되었습니다.

부동산 가치분석 연구실 사용 가이드 바로가기

지하철(유동인구) 조건 검색 추가

평균 승차 인원, 하차인원, 기간내 이용승객변동률(승차), 이용승객변동률(하차) 의 조건으로 지하철 조건 검색이 추가되었습니다.

유동인구가 증가하는 지역을 간단히 검색 가능합니다.  지도에서 역 아이콘과 함께 평균승차수, 평균하차수, 승차변동률, 하차변동률을 확인할 수 있어요.

UX 개선사항

– 안드로이드에서 뒤로 가기 버튼 클릭시 메인 화면으로 돌아가는 디자인 개선

– 태블릿에서 지도가 짤리는 오류 수정

– 조건 검색후 지도에서 찾아들어가는 불편함 개선 (지도 오른편에 조건 검색된 단지 리스트 제공)

업데이트 예고에서 안내드렸던 기능에서 빠졌던 매물 광고하기 기능은 4월 내 업데이트 하도록 하겠습니다 ^^;

그리고 베타 기능이긴 하지만 부동산 관련 속성들로 부동산 경기 및 개별 매물 가격 자동 산정을 할 수 있는평가모델 서비스도 준비가 되고 있습니다.

4월 말의 업데이트를 기대해주세요 : )