2014 공개 소프트웨어 <실시간 데이터분석 오픈소스 프로젝트> 참가 후기

2014년 11월 22일 2014 공개 소프트웨어 <실시간 데이터분석 오픈소스 프로젝트>에 참가하게 되었습니다. 

총 5가지의 세션으로 이루어졌고 세미나는 오후 1시에서 6시까지 진행되었습니다. 

저는 5가지 세션중 1가지 세션이 기억에 많이 남았는데요. 

그건 바로 실시간스트리밍 데이터분석을 위한 인프라운영입니다.

실시간으로 데이터를 분석 하는 것은 부담이 많이 되는 작업입니다.  그래서 이러한 작업을 하면서 목표로 하는 것은 어떠한 트래픽에도 문제 없이 돌아갈 수 있도록 하는 것인데요. 

발표자 안명호씨는 이러한 목표를 이루기 위해서는 아래의 3가지가 필요하다고 하셨습니다.

1. Dynamic 

2. More Management 

3. Scalability

그리고 이러한 목적을 이루는데 도움이 되는 것으로  클라우드가 많이 언급되었습니다. 

첫번째. Dynamic 

물리적인 서버에서는 불가능 하지만 클라우드에서는 가상 서버, 가상 네트워크, 가상 스토리지를 동적(Dynamic)으로 생성 소멸이 가능하다는 점 입니다. 

이러한 점을 잘 활용한 곳이 Netflix라는 기업이라고 합니다.

이에 관해서 구글신에 검색해 보니 아래와 같은 글이 있어 링크 첨부합니다 ^^

Why Netflix is one of the most important cloud computing companies

두번째. Management

물리적인 구성에서는 하나하나 관리하기가 힘들지만 클라우드에서는 가상 인프라로 통합관리(Management)가 가능하다는 점입니다.

세번째. Scalability

발표자는 Scalability라는 것을 집고 넘어갔는데, 

Scalability라는 것은 클라우드에서 얼마나 많은 인스턴스들이 돌아가느냐가 아니라 얼마나 많은 인스턴스들을 클라우드에서 동시에 생성할수 있느냐가 맞으며,  얼마나 많은 노드를 가지고 있느냐가 아니라 많은 노드를 생성하는데 얼마나 걸리냐가 맞는 것이라고 했습니다. 

위에 세가지를 말했는데, 간단하게 말하면 클라우드를 통해 Automation를 실현시킬수 있다고 합니다.

소프트웨어기반은 표준화가 가능하고 결국 표준에 맞게 작성할수 있는데,  사용자가 템플릿을 작성하면 동적으로 만들어 Resource Management가 가능하고,  사람이 하지 않고, 자동화 도구(즉, 소프트웨어)를 통해서 Configuration Management를 실현할 수 있다고 합니다. 

발표를 들으면서 100% 완전히 이해 된 것은 아니지만 이를 통해 민기부장님이 내주신 숙제가 생각 났었는데요. 

아래와 같습니다. 

투표를 한 유저정보를 최대 5초내로 다른 시스템에 http call하게 해달라.

B 업체에선 http call해서 받은 데이터를 디비에 저장한다.

회사에서 어떠한 것이든 지원해준다 생각하고 설계를 해 보아라.

제가 생각해낸 방법은 아래 링크에 기록되어 있습니다. 

https://docs.google.com/document/d/1pGt4cRLB2UHsVXr1bKMY-EzowDyADmRe3MPBALbIog0/edit?usp=sharing

결론(물론 정답은 아니지만 ^^;)을 도출하기까지 과정이 적힌 간단한 스케치지만 이 발표를 들으면서 제가 내린 결론에서 확장해서(Azure같은 것을 생각해보며 ^^;) 생각해보는 계기가 되었습니다. 

그외 나머지 5가지 세션들은 BigStorage,Fastcatsearch 등등 제품 설명으로 이루어지는 시간이었습니다.

발표자료 하나가 slideshare에 공유되어 있길래 첨부해 놓았습니다.^^

이상으로 소은양의 <실시간 데이터분석 오픈소스 프로젝트> 참가 후기글을 마치겠습니다.