건프의 소소한 개발이야기

안녕하세요, 건프입니다. Python 을 이용해서 Machine Learning, Deep Learning 작업을 하다보면, 수많은 라이브러리를 필연적으로 사용하게 됩니다.(잘 만들어진 프레임워크를 활용하려고 파이썬을 쓰는거니까요..) 이때, 이종 OS 간, 라이브러리간 버전 충돌(Version Conflict)를 최소화할 수 있도록 도와주는 좋은 프레임워크가 있습니다.바로 아나콘다(Anaconda) 라는 것이죠.https://www.continuum.io/downloads 다음으로는 이 아나콘다를 설치한 뒤, 가상환경(Virtual Env) 를 설치하고, 파이썬 버전을 컨트롤하며이종 버전간 임포트 하는법을 정리합니다. 평소에는 Ubuntu 환경에서 주로 하지만,최근에 진행했던 프로젝트가 반드시 Wind..

안녕하세요, 건프입니다. 데이터를 모으는 크롤링 작업을 할 때, 주식데이터와 같은 시계열 데이터를 다룰 때, 날짜객체들을 계속 다뤄야 하는데기억력이 부족한 저는 사용할 때 마다 검색하는게 한심해서 아에 정리를 하고 넘어가려고 합니다. 누군가에게 도움이 될 정리가 되기를 바랍니다. 1. 일단 저는 time 객체와 datetime 객체만 사용합니다.import time from datetime import datetime, timedelta timestamp_now = time.time() # timestamp 형식으로 현재 시간 알아오기 print(timestamp_now) datetime_now = datetime.now() # datetime 형식으로 현재 시간 알아오기 print(datetime_no..

안녕하세요, 건프입니다. AWS에서 원격서버로 데이터를 계속 크롤링하면서 모으다보니까매번 FTP 나 파일질라 같은 걸로 가져와서 작업하기가 너무 귀찮아서 Dropbox 크게 하나 사놓은것이 있어, 이걸 스크립트(Script)로 자동업로드(Auto Upload) 하는 방법이 없나 찾아봤습니다.2시간 정도 삽질했더니 이제 대충 구조는 알겠습니다.필요한 누군가를 위해서 정리해봅니다. 1. 우선 계정에 대한 접속인증키(Access Token Key)를 받아야합니다. https://www.dropbox.com/developers/apps여기로 접속하면, Create app 버튼을 눌러서 app 을 만듭니다. 2. App folder 로 permission access type 을 만듭니다.이렇게하면 Dropbox..

안녕하세요. 건프입니다. 파이썬에서 virtualenv 를 이용해 패키지 관리를 하다보면 느끼는 불편함이 있습니다. (가상환경이 왜 필요한지, 어떻게 설치하는지는 여기서 다루지 않겠습니다.) 해당 폴더에서는 해당 가상환경을 항상 사용하는데, 매번 source *****/bin/activate 를 불러줘야 한다는 거죠. 이것을 터미널의 스크립트로 미리 작성해서 해당 폴더를 접근할 때 자동으로 해당 환경을 실행시켜 줄 수 있습니다. 어떻게? 이렇게 1. autoenv 를 설치합니다.맥에서는> brew install autoenv 로 설치가 가능합니다. 2. 매 세션마다 autoenv 를 자동으로 실행하기 위해서 bash_profile 에 등록해줍니다.> echo 'source /usr/local/opt/au..

안녕하세요, 건프입니다. 이번에는 python 의 대표적인 웹크롤러인 beautifulsoup 을 이용해서, 간단한 웹크롤러의 기본을 만드려고 합니다. beautifulsoup 의 공식 홈페이지 및 Quick Start 페이지는 여기서 확인하시면 됩니다.https://www.crummy.com/software/BeautifulSoup/bs4/doc/#quick-start 그럼 본격적으로 시작해봅시다. 0. 가상환경 구축저는 파이썬 패키지들끼리 의존성에 충돌이 나는것을 굉장히 싫어하기 때문에 새로운 작업을 할때, 반드시 새로운 가상환경을 만듭니다.$ virtualenv venvBeautifulSoup$ source venvBeautifulSoup/bin/activate 1. Install가상환경을 킨 상태..