건프의 소소한 개발이야기

라는 인트로로 시작하여, 2016년도에 Tistory 를 처음 시작하고, 2017년도에 꾸준히 포스팅해온 것 같습니다. 시작할때는 언제나 가볍고 순수한 마음으로 시작하게 됩니다. 건프의 소소한 개발이야기 블로그는 말그대로 소소하게 개발을 하면서 얻었던 지식을 기록하는 용도로 시작이 되었으나, 어느덧, 나는 항상 인터넷으로부터 좋은 정보를 얻어가는데, 나는 이 세계에 기여할 수 있는 것이 없는가를 고민하면서더 열심히 포스팅을 하게 된 것 같습니다. 물론 인터넷에서 정보검색을 하다보면, 다른 누군가의 잘쓴글이 여러번 배껴져서 그대로 올라오는 안타까운 경우를 발견할 수 있으나,저는 어떠한 비슷한 지식을 쓰더라도, 말만이 아닌 내가 직접 해보고, 성공이든 실패이든 도달하기 직전까지의 여러 시행착오들을 최대한 자..

안녕하세요, 건프입니다. 이번에는 최근에 제가 관심있게 연구하고 있는 Generative Adversarial Network 모델, 속칭 GAN 모델에 대해서 알아보고, 우리에게 친숙한 손글씨 데이터인 MNIST 를 이용해서, 간단히 Code Level 에서의 Implement 를 해보고자 합니다. GAN 모델을 간단하게 설명해보면,- 두개의 모델이 존재합니다.- 하나는 생성기(Generator) 이며, 또 하나는 분류기(Discriminator) 입니다.- 두 모델은 학습하면서 서로에게 영향을 미치면서 고도화 됩니다.- 생성기는 노이즈로부터, 어떠한 결과물을 만들어내는데, 이 결과물은 분류기에 의해서 평가됩니다.- 분류기는 생성기로부터 온 결과물과, 실제 데이터(Real Data) 를 구분해내는 역할을..

안녕하세요, 건프입니다. 손글씨 우편번호 데이터셋 MNIST 를 시작으로, Google 의 Tensorflow Open Source Project 에 힘입어, 모두가 한번쯤은 딥러닝(Deep Learning)을 해보는 시기가 되었는데요. 학교 수업이나 기타 머신러닝 강의들에서 흔히 볼 수 있는 Workflow 과 실제로 프로젝트를 하면서 느꼇던 Workflow 는 조금 큰 차이가 있었습니다.그간 SWMaestro 과정에서 Object Detection & Tracking 프로젝트를 진행하며 느꼈던 Deep Learning Program Development Workflow 를 제 기준으로 정리해보고자 합니다. 이 길을 함께 걸어가고 있을 누군가에게 도움이 될 수 있기를 바랍니다. 일반적으로 우리가 흔히 ..

안녕하세요, 건프입니다. AWS EC2 인스턴스의 종류는 다양하며, 다양한 만큼 그 용도도 다양합니다.EC2 인스턴스의 특징을 이해하고, 적정한 스펙의 적정한 가격으로 최고의 효율을 뽑아내는 능력이 AWS를 이용하는 개발자의 능력이라고 생각하는데요,이는 경험치가 확실히 도움이 됩니다. 그 중 우리 Machine Learning, Deep Learning 을 하는 사람들에게 반가운 유형이 있습니다. 바로 GPU 가속환경을 지원해주는 g2, p2 instance 들이죠. 사실 이들의 가격이 싼편은 아니기 때문에, 이것만 사용하면 딥러닝을 할 수 있다, 고 생각하지는 않습니다. 그만큼 처음 시작하는 사람들을 환경설정하는데 삽질을 많이 할 수 밖에 없으니까요. 다만, 이미 어느정도 환경설정에 익숙해진 사람의 입..

안녕하세요, 건프입니다. Python 을 이용해서 Machine Learning, Deep Learning 작업을 하다보면, 수많은 라이브러리를 필연적으로 사용하게 됩니다.(잘 만들어진 프레임워크를 활용하려고 파이썬을 쓰는거니까요..) 이때, 이종 OS 간, 라이브러리간 버전 충돌(Version Conflict)를 최소화할 수 있도록 도와주는 좋은 프레임워크가 있습니다.바로 아나콘다(Anaconda) 라는 것이죠.https://www.continuum.io/downloads 다음으로는 이 아나콘다를 설치한 뒤, 가상환경(Virtual Env) 를 설치하고, 파이썬 버전을 컨트롤하며이종 버전간 임포트 하는법을 정리합니다. 평소에는 Ubuntu 환경에서 주로 하지만,최근에 진행했던 프로젝트가 반드시 Wind..

안녕하세요, 건프입니다. 데이터를 모으는 크롤링 작업을 할 때, 주식데이터와 같은 시계열 데이터를 다룰 때, 날짜객체들을 계속 다뤄야 하는데기억력이 부족한 저는 사용할 때 마다 검색하는게 한심해서 아에 정리를 하고 넘어가려고 합니다. 누군가에게 도움이 될 정리가 되기를 바랍니다. 1. 일단 저는 time 객체와 datetime 객체만 사용합니다.import time from datetime import datetime, timedelta timestamp_now = time.time() # timestamp 형식으로 현재 시간 알아오기 print(timestamp_now) datetime_now = datetime.now() # datetime 형식으로 현재 시간 알아오기 print(datetime_no..

안녕하세요, 건프입니다. AWS에서 원격서버로 데이터를 계속 크롤링하면서 모으다보니까매번 FTP 나 파일질라 같은 걸로 가져와서 작업하기가 너무 귀찮아서 Dropbox 크게 하나 사놓은것이 있어, 이걸 스크립트(Script)로 자동업로드(Auto Upload) 하는 방법이 없나 찾아봤습니다.2시간 정도 삽질했더니 이제 대충 구조는 알겠습니다.필요한 누군가를 위해서 정리해봅니다. 1. 우선 계정에 대한 접속인증키(Access Token Key)를 받아야합니다. https://www.dropbox.com/developers/apps여기로 접속하면, Create app 버튼을 눌러서 app 을 만듭니다. 2. App folder 로 permission access type 을 만듭니다.이렇게하면 Dropbox..

안녕하세요, 건프입니다. 지능형 영상 분석 솔루션 RapidCheck 의 기술문서를 정리한 것입니다. RapidCheck 프로젝트를 진행하면서, 저희가 고민했고, 개발했던 내용들을 총괄하는 페이지입니다. 각각의 모듈들을 개발하면서 어떤 이슈가 있었고, 어떻게 해결했는지를 정리하였고, 전체를 확인할 수 있는 하나의 페이지를 준비했습니다. 자세한 내용은 다음과 같습니다. RapidCheckSmart Video Anaylsis Solution We're developing video analysis solution to easily find out specific objects using informations such as direction, speed, colors, an so on. Entire ..

안녕하세요, 건프입니다. 지능형 영상 분석 솔루션 RapidCheck 의 기술문서를 정리한 것입니다. 앞에서 이미지로 부터 객체를 검출해내고, 영상에서 동일한 객체를 Tracking 하는 기법에 대해서 논하는 Engine 이었다면, 이제는 RapidCheck 의 목적에 부합하도록, 어떻게 보여줄것인가(Display)의 관점에서 논하는 Engine 입니다. 저희는 이를 "객체 등장 시점 기준 병렬화 알고리즘" 이라는 이름을 붙였는데요. 자세한 내용은 다음과 같습니다. Overlay SummaryRapidCheck tech documents about Detection Engine powered by Junsu Lee (ljs93kr@gmail.com)개요 RapidCheck 의 병렬화 알고리즘은 영상의 객..

안녕하세요, 건프입니다. 지능형 영상 분석 솔루션 RapidCheck 의 기술문서를 정리한 것입니다. RapidCheck Tracking Engine 의 기본 단위인 Tracklet(짧은 구간 경로)를 구해내면, 비슷한 원리로 Tracklet 을 연결하게 되면 곧, 긴 구간경로인 Trajectory가 됩니다. 마치 Merge Sort 처럼, 작은 단위에서 시작해 큰 단위로 올라가며 identity 값을 유지하는 아이디어인 것이죠. 자세한 내용은 다음과 같습니다. TrajectoryRapidCheck tech documents about Tracking Engine powered by Junsu Lee (ljs93kr@gmail.com)개념 Trajectory는 어떤 대상의 전체 구간 경로를 의미하며, 앞..