건프의 소소한 개발이야기

안녕하세요, 건프입니다. 데이터를 모으는 크롤링 작업을 할 때, 주식데이터와 같은 시계열 데이터를 다룰 때, 날짜객체들을 계속 다뤄야 하는데기억력이 부족한 저는 사용할 때 마다 검색하는게 한심해서 아에 정리를 하고 넘어가려고 합니다. 누군가에게 도움이 될 정리가 되기를 바랍니다. 1. 일단 저는 time 객체와 datetime 객체만 사용합니다.import time from datetime import datetime, timedelta timestamp_now = time.time() # timestamp 형식으로 현재 시간 알아오기 print(timestamp_now) datetime_now = datetime.now() # datetime 형식으로 현재 시간 알아오기 print(datetime_no..

안녕하세요, 건프입니다. AWS에서 원격서버로 데이터를 계속 크롤링하면서 모으다보니까매번 FTP 나 파일질라 같은 걸로 가져와서 작업하기가 너무 귀찮아서 Dropbox 크게 하나 사놓은것이 있어, 이걸 스크립트(Script)로 자동업로드(Auto Upload) 하는 방법이 없나 찾아봤습니다.2시간 정도 삽질했더니 이제 대충 구조는 알겠습니다.필요한 누군가를 위해서 정리해봅니다. 1. 우선 계정에 대한 접속인증키(Access Token Key)를 받아야합니다. https://www.dropbox.com/developers/apps여기로 접속하면, Create app 버튼을 눌러서 app 을 만듭니다. 2. App folder 로 permission access type 을 만듭니다.이렇게하면 Dropbox..

안녕하세요, 건프입니다. 지능형 영상 분석 솔루션 RapidCheck 의 기술문서를 정리한 것입니다. RapidCheck 프로젝트를 진행하면서, 저희가 고민했고, 개발했던 내용들을 총괄하는 페이지입니다. 각각의 모듈들을 개발하면서 어떤 이슈가 있었고, 어떻게 해결했는지를 정리하였고, 전체를 확인할 수 있는 하나의 페이지를 준비했습니다. 자세한 내용은 다음과 같습니다. RapidCheckSmart Video Anaylsis Solution We're developing video analysis solution to easily find out specific objects using informations such as direction, speed, colors, an so on. Entire ..

안녕하세요, 건프입니다. 지능형 영상 분석 솔루션 RapidCheck 의 기술문서를 정리한 것입니다. 앞에서 이미지로 부터 객체를 검출해내고, 영상에서 동일한 객체를 Tracking 하는 기법에 대해서 논하는 Engine 이었다면, 이제는 RapidCheck 의 목적에 부합하도록, 어떻게 보여줄것인가(Display)의 관점에서 논하는 Engine 입니다. 저희는 이를 "객체 등장 시점 기준 병렬화 알고리즘" 이라는 이름을 붙였는데요. 자세한 내용은 다음과 같습니다. Overlay SummaryRapidCheck tech documents about Detection Engine powered by Junsu Lee (ljs93kr@gmail.com)개요 RapidCheck 의 병렬화 알고리즘은 영상의 객..

안녕하세요, 건프입니다. 지능형 영상 분석 솔루션 RapidCheck 의 기술문서를 정리한 것입니다. RapidCheck Tracking Engine 의 기본 단위인 Tracklet(짧은 구간 경로)를 구해내면, 비슷한 원리로 Tracklet 을 연결하게 되면 곧, 긴 구간경로인 Trajectory가 됩니다. 마치 Merge Sort 처럼, 작은 단위에서 시작해 큰 단위로 올라가며 identity 값을 유지하는 아이디어인 것이죠. 자세한 내용은 다음과 같습니다. TrajectoryRapidCheck tech documents about Tracking Engine powered by Junsu Lee (ljs93kr@gmail.com)개념 Trajectory는 어떤 대상의 전체 구간 경로를 의미하며, 앞..

안녕하세요, 건프입니다. 지능형 영상 분석 솔루션 RapidCheck 의 기술문서를 정리한 것입니다. Tracklet 은 RapidCheck Tracking Engine 에서 객체의 ID값을 유지하는데 구하는 짧은구간경로를 의미합니다. 검출한 K개의 Detection 결과를 모두두고, 유사도(Similarity)를 기준으로 가장 유사도가 큰 객체의 ID를 유지하는 작업을 말하는 것이죠. 자세한 내용은 다음과 같습니다. TrackletRapidCheck tech documents about Tracking Engine powered by Junsu Lee (ljs93kr@gmail.com)Tracklet 을 구하는 과정(a) detection on a image 짧은 구간(k개의 Frame)에 대해 Det..

안녕하세요, 건프입니다.지능형 영상 분석 솔루션 RapidCheck 의 기술문서를 정리한 것입니다. 사용하기 용이한 프로그램을 만들기 위해서는, 높은 확률로 객체를 인지(Object Detection) 해내는 정확도도 중요하지만, 영상에서 10번 프레임의 사람이 A라는 정보가 30번 프레임의 사람이 A라는 것을 유지할 수 있어야 한다.우리는 이것을 객체의 정체성(Identity)를 유지한다는 표현을 사용하는데, 이 방법을 객체 추적(Object Tracking)이라고 한다. 적절한 추적알고리즘이 도입이 되었을 때, 영상에서 객체 정보를 유지하는데 큰 도움이 된다.첫번째, 장애물에 가리는 현상과 같이 Detection 으로는 검출할 수 없는 상황이 발생한다.두번째, Detection Engine 이 충분히..

안녕하세요, 건프입니다. 지능형 영상 분석 솔루션 RapidCheck 의 기술문서를 정리한 것입니다. 좋은 모델을 만들기 위해서는 좋은 모델에 대한 지식도 필요하지만 양질의 데이터를 확보하여야 한다고 생각합니다. Object Detection 을 하기 위한 기본 데이터와 도메인 데이터를 확보하고, 어떻게 처리했는지를 정리해보았습니다. 자세한 내용은 다음과 같습니다. DatasetRapidCheck tech documents about Detection Engine powered by Junsu Lee (ljs93kr@gmail.com) RapidCheck가 동작하는 환경의 특성상 기관과 협약을 맺는 경우가 아니고서는 CCTV 영상을 안정적으로 확보하기가 쉬운 일은 아니다. 설사 대량의 영상을 확보하더라도..

안녕하세요, 건프입니다. 지능형 영상 분석 솔루션 RapidCheck 의 기술문서를 정리한 글입니다. 제가 RapidCheck Object Detection Engine 을 만들면서, 수많은 CNN 모델을 만들고 실험해보았습니다. 그러면서 얻을 수 있었던 몇가지 테크닉과 모델의 동작원리, 각 레이어(Layer)들의 특징들을 발견할 수 있었습니다. 학습을 직접하는것부터, 다른 모델의 학습지식(Learned Knowledge)을 이어 받아 진행하는 전이학습(Transfer Learning)등 다양한 것을 시도해 볼 수 있었습니다. 자세한 내용은 다음과 같습니다. Model Structure & Learning MechanismRapidCheck tech documents about Detection Engi..

안녕하세요, 건프입니다. 지능형 영상 분석 솔루션 RapidCheck의 기술문서를 정리한 것입니다. 개인적으로 Machine Learning, Deep Learning 모두 데이터분석의 영역이고, 따라서 이것이 수치이든, 이미지이든 Data 를 어떻게 다룰(Process)것인가 가 정말로 중요하다고 생각합니다. 제가 RapidCheck Detection Engine 를 만들때 사용하였던 데이터 전처리과정을 다뤄보았습니다. 자세한 내용은 아래와 같습니다. Data PreprocessingRapidCheck tech documents about Detection Engine powered by Junsu Lee (ljs93kr@gmail.com)Preprocessing 다음은 RCNet 이 학습을 하기 위해..