건프의 소소한 개발이야기

안녕하세요, 건프입니다. Python 을 이용해서 Machine Learning, Deep Learning 작업을 하다보면, 수많은 라이브러리를 필연적으로 사용하게 됩니다.(잘 만들어진 프레임워크를 활용하려고 파이썬을 쓰는거니까요..) 이때, 이종 OS 간, 라이브러리간 버전 충돌(Version Conflict)를 최소화할 수 있도록 도와주는 좋은 프레임워크가 있습니다.바로 아나콘다(Anaconda) 라는 것이죠.https://www.continuum.io/downloads 다음으로는 이 아나콘다를 설치한 뒤, 가상환경(Virtual Env) 를 설치하고, 파이썬 버전을 컨트롤하며이종 버전간 임포트 하는법을 정리합니다. 평소에는 Ubuntu 환경에서 주로 하지만,최근에 진행했던 프로젝트가 반드시 Wind..

안녕하세요, 건프입니다. 데이터를 모으는 크롤링 작업을 할 때, 주식데이터와 같은 시계열 데이터를 다룰 때, 날짜객체들을 계속 다뤄야 하는데기억력이 부족한 저는 사용할 때 마다 검색하는게 한심해서 아에 정리를 하고 넘어가려고 합니다. 누군가에게 도움이 될 정리가 되기를 바랍니다. 1. 일단 저는 time 객체와 datetime 객체만 사용합니다.import time from datetime import datetime, timedelta timestamp_now = time.time() # timestamp 형식으로 현재 시간 알아오기 print(timestamp_now) datetime_now = datetime.now() # datetime 형식으로 현재 시간 알아오기 print(datetime_no..

안녕하세요, 건프입니다. AWS에서 원격서버로 데이터를 계속 크롤링하면서 모으다보니까매번 FTP 나 파일질라 같은 걸로 가져와서 작업하기가 너무 귀찮아서 Dropbox 크게 하나 사놓은것이 있어, 이걸 스크립트(Script)로 자동업로드(Auto Upload) 하는 방법이 없나 찾아봤습니다.2시간 정도 삽질했더니 이제 대충 구조는 알겠습니다.필요한 누군가를 위해서 정리해봅니다. 1. 우선 계정에 대한 접속인증키(Access Token Key)를 받아야합니다. https://www.dropbox.com/developers/apps여기로 접속하면, Create app 버튼을 눌러서 app 을 만듭니다. 2. App folder 로 permission access type 을 만듭니다.이렇게하면 Dropbox..

안녕하세요, 건프입니다. 첫번재로 하기 좋은 프로젝트는 Deep Learning 계의 Hello World 에 해당하는 MNIST 데이터 셋을 가지고 노는 것입니다.관련 컴피티션은 여기서 확인할 수 있습니다. https://www.kaggle.com/c/digit-recognizer데이터는 여기서 받을 수 있습니다. https://www.kaggle.com/c/digit-recognizer/data관련되어 연구된 소스는 여기서 확인 가능합니다. https://www.kaggle.com/c/digit-recognizer/kernels 다음은 제가 Keras 라는 Python 딥러닝용 라이브러리를 이용해서 Digit Recognizer 를 해결해 보았습니다.사용한 환경은 Python 3.5+, jupyter..

안녕하세요, 건프입니다. python 의 그래프를 그리는 유용한 툴인 Matplotlib 으로데이터를 다룰때 시각화를 하다보니 그래프 한개를 쓰는법은 잘 알겠는데, (http://matplotlib.org/users/pyplot_tutorial.html)그래프를 한번에 여러개를 그리는 방법에 대해서는 잘 모르겠더라구요. 그래서 한번 정리해서 메모해봅니다. 작업한 환경은 Python 3.5+, Jupyter notebook 위에서 작업했습니다. Matplotlib-Multiple Subplot In [1]: %matplotlib inline import matplotlib.pyplot as plt import warnings In [5]: def example_plot(ax): ax.plot([1,2]) ..

안녕하세요, 건프입니다. Flask 로 웹서버를 만들고 브라우저에 실시간 모니터링 시스템을 만들기 위해서, 실시간 랜더링을 해줘야 하는 Flask Socket IO 를 공부하게 되었습니다. 일단은 동작하는 코드입니다. 기본을 익히기에 좋을 것 같아 공유합니다. 1. 우선 필요한 라이브러리를 설치합니다. 저는 python3 환경에서 작업합니다.> pip install Flask> pip install flask-socketio 2. runserver.pyfrom flask import Flask, jsonify, render_template from subprocess import call from flask_socketio import SocketIO, send app = Flask(__name__) a..

안녕하세요. 건프입니다. 파이썬에서 virtualenv 를 이용해 패키지 관리를 하다보면 느끼는 불편함이 있습니다. (가상환경이 왜 필요한지, 어떻게 설치하는지는 여기서 다루지 않겠습니다.) 해당 폴더에서는 해당 가상환경을 항상 사용하는데, 매번 source *****/bin/activate 를 불러줘야 한다는 거죠. 이것을 터미널의 스크립트로 미리 작성해서 해당 폴더를 접근할 때 자동으로 해당 환경을 실행시켜 줄 수 있습니다. 어떻게? 이렇게 1. autoenv 를 설치합니다.맥에서는> brew install autoenv 로 설치가 가능합니다. 2. 매 세션마다 autoenv 를 자동으로 실행하기 위해서 bash_profile 에 등록해줍니다.> echo 'source /usr/local/opt/au..

안녕하세요, 건프입니다. 데이터 처리를 하다보면 사용하기에 편리한 jupyter notebook 이라는 어플리케이션이 있습니다. 이를 사용하는데 여러가지 단축키(shortcut)들이 있는데요, 이를 잘 알아두면 마우스에 손을 올리지 않아도 노트북에서 작업이 가능하므로 엄청나게 효율적이랍니다. Command Mode (press Esc to enable)Enter : enter edit modeShift-Enter : run cell, select belowCtrl-Enter : run cellAlt-Enter : run cell, insert belowY : to codeM : to markdownR : to raw1 : to heading 12 : to heading 23 : to heading 34 ..

안녕하세요, 건프입니다. 이번에는 python 의 대표적인 웹크롤러인 beautifulsoup 을 이용해서, 간단한 웹크롤러의 기본을 만드려고 합니다. beautifulsoup 의 공식 홈페이지 및 Quick Start 페이지는 여기서 확인하시면 됩니다.https://www.crummy.com/software/BeautifulSoup/bs4/doc/#quick-start 그럼 본격적으로 시작해봅시다. 0. 가상환경 구축저는 파이썬 패키지들끼리 의존성에 충돌이 나는것을 굉장히 싫어하기 때문에 새로운 작업을 할때, 반드시 새로운 가상환경을 만듭니다.$ virtualenv venvBeautifulSoup$ source venvBeautifulSoup/bin/activate 1. Install가상환경을 킨 상태..

안녕하세요, 건프입니다. 로컬(내 컴퓨터) 에서 Flask 환경 설정하기-> AWS에서 nginx 설치하기-> AWS에서 nginx 설정하기-> AWS에서 uwsgi 에 해당하는 gunicorn 설치 및 사용법-> AWS에서 Flask 배포하기-> 로컬에서 git push & AWS 에서 적용 코드 git pull 받고 서버 재시동하는 방법 에서 두번째 포스팅입니다. 이제 원격지 서버인 AWS로 가봅니다. AWS에 SSH 로 터미널 원격접속을 한 뒤에, 웹서버의 종류 중 하나인 nginx (엔젠엑스)를 설치하고, 그 설정법에 대해서 알아보려고 합니다.1. 설치> sudo apt-get update> sudo apt-get install -y python python-pip nginx gunicorn-y ..