HAMA 블로그

Apache Storm 버전 : Storm 1.0.0 released (12 Apr 2016)Apache Kafka 버전 : 0.9.0.1 (2016년 4월 20일 글쓴시점) Spark Streaming 버전 : 1.6.1 (2016년 3월 9일) Apache Storm 스톰은 메세지전달 실패시 바로잡는 능력(fault tolerant) 이 있으며, 다양한 레벨의 메세지 보증 전f략을 가지고 있다. at-most-once: 이 모드에서는 만약 실패나 타임아웃이 발생했을때 메세지를 버릴수 있으며, 이 모드는 특별한 핸들링을 요구하지 않으며, 메세지들은 스파웃에 의해 생성된 순서대로 처리된다.at-least-once: 이 모드는 각각의 스파웃 튜플이 설정된 타임아웃 안에서 "fully" 진행상태인지 아닌지를..

생산자 (Sender) 테스트 결과 이유카프카 생산자는 브로커로 부터의 ack 를 기다리지 않고 메세지를 보낸다.브로커가 핸들링 할수있는 만큼 빠르게 메세지를 마구 보낸다.카프카는 좀더 효율적인 저장소 포맷을 가지고있다. 평균적으로 카프카 각 메세지들은 9byte 의 오버헤드를 가지며, 반면 ActiveMQ 에서는 144 bytes 를 가진다. 이것은 메세지 헤더때문인데 JMS 에 의해 요구되어진것과 다양한 인덱싱구조를 유지하기위한 것이다. LinkedIn 은 관찰하길 ActiveMQ 의 가장 바쁜쓰레드는 메세지 메타데이터와 상태를 유지하기위한 B-Tree 에 접근하기위해 대부분의 시간을 소비하는것을 발견했다. 소비자 (Receiver) 테스트결과Reason카프카는 좀더 효율적인 저장소 포맷을 가지고있다..

역주: 메세지큐에 대한 글을 적기 전에 왜 메세지큐냐? 를 먼저 생각해봐야한다.메세지큐는 그냥 메세지를 전달해주는 서버인건데, 기술자체에 집중할 필요는 나중에 생각해보고 , 처음 생각해볼것은 왜 메세지를 전달하냐인데.. 이것의 가장 큰 이유는 행위(메세지)를 분산시키기 위함이라고 볼수있다. 말이 좀 어려운거 같은데 쉽게 말하면 대부분의 경우 하나의 일을 하기위한 프로세스에서는 쓸 필요가 없다는 뜻이고 , 어떤 행위에 대한 프로세스가 여러갈래인 경우에 사용하면 된다. 예를들어 브라우저에서 사용자가 버튼은 클릭했을때, 서버에 전달된 행위를 디비에 전달하고 바로 리턴해주는게 하나의 프로세스이라고 보면, 그 행위를 다른곳으로 전파시킬 필요가 있을때 메세지큐를 사용한다. 실질적인 예로는 소셜서버에 글을 올렸을때,..

MQTT 시작하기 좋은 글 https://dzone.com/refcardz/getting-started-with-mqtt MQTT 란?(http://www.codejs.co.kr/mqtt-mq-telemetry-transport%EC%9D%B4%ED%95%B4%ED%95%98%EA%B8%B0/ 펌) [MQTT 프로토콜 설계의 의도]프로토콜이 차지하는 모든 면의 리소스 점유(footprint)를 최소화느리고 품질이 낮은 네트워크의 장애와 단절에 대비클라이언트 애플리케이션 동작에 자원 활용이 극히 제한적임을 고려다수의 클라이언트 연결에 접합한 Publish/Subscribe 네트워크 채용신뢰성 있는 메시징을 위한 QoS(Quality of Service) 옵션 제공.개방형 표준 메시징 프로토콜을 지향 – 제..

http://opentsdb.net/overview.html를 번역했다. OpenTSDB 는 사물인터넷 분야에서 많이 사용되며, 잘 알려진 에너지 IoT 기업인 OPower (http://blog.opower.com/category/technology/) 에서도 사용중이다. OpenTSDB 는 타임 시리즈 데몬(Time Series Daemon (TSD)) 들로 구성된다.(몇몇 커맨드라인 유틸리티셋 포함)OpenTSDB 상호작용은 TSD 하나 혹은 그 이상이 작동하면서 이루어진다. 각각의 TSD 는 독립적이며 상태공유없이 돌아가기때문에 여러가지 일들을 하기위해 여러 TSD 들에게 일거리를 던져주는데 아무 문제없다. 각각의 TSD 는 HBase 오픈소스 데이타베이스를 사용하며 타임시리즈데이터를 가져와서 저..

저는 최근에 사물인터넷 플랫폼에 대해 살펴보는 중에 OSGi 에 대해서 좀 더 관심을 갖게되었습니다. (예전에 이클립스 플러그인 책에서도 쳐음 접하고..) OSGi 는 얼핏 보기에 JNDI 가 제공하는 리소스투명성 및 컴포넌트 베이스 기반 방법론을 합쳐놓은 느낌입니다. 당연하지만 예전부터 많은 컴포넌트 조립 기술(CORBA, COM+) 들이 난립해 왔기 때문에 각각 기술들의 테두리가 분명할리는 없겠지요. 2008년에 쓰여진글이라 좀 됬지만 OSGi 가 궁금하신분은 아래 번역글을 통해서 첫인사를 해보시길 바랍니다. 딱히 OSGi 가 궁금하지 않더라도 옛날얘기 들려주듯이 작성된 IT 선배의 개발 모델 이야기는 충분히 재미있을것입니다. ( 2020년 현재 업데이트: 참고로 자바 9버전의 모듈리티를 이용하면 좀..

JNDI 는 자바 네이밍 / 디렉토리 인터페이스인데 J2EE 의 가장 중요한 스펙중하나이다.많은 전문가들은 JNDI 의 역할과 중요성을 이해하지 못하고서는 진정한 J2EE EJB 를 알고있다고 말할수없다고 한다.과연 JNDI 의 역할은 멀까?JNDI 의 역할을 이해하기위해 "JNDI 가 없다면 어떻게 해야하는지" 를 먼저 보고 JNDI 를 사용하는것에 대해 살펴보자. 마지막으로 JNDI 의 실행모습과 환경설정등에 대해 알아보자. * 구체적인 사용방법은 다른 블로그를 참고하도록하자. 1. JNDI 왜 사용하나? JNDI 의 역할을 이해하기위해 "JNDI 가 없다면 어떻게 해야하는지" 를 먼저 보고 JNDI 를 사용하는것에 대해 살펴보자. JNDI 없이 MySQL 데이타베이스에 접근하기위한 어플리케이션을 개..

https://thrift.apache.org/ 아파치 쓰리프트 프레임워크는 다양한 언어로 서비스되며 , 효율적인 코드생성엔진을 갖고 소프트웨어 스택을 묶으며 다음과 같은 다양한 언어들을 지원한다 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, OCaml and Delphi and 기타등등. 시작하기 Apache Thrift 다운로드 To get started, download a copy of Thrift.Apache Thrift compiler 빌드/인스톨You will then need to build the Apache Thrift compiler and install it...

큐 시스템을 이용한 NPUSH-GW 개선 네이버 NAVER LABS 배상용, 임영완, 조항수, 김민곤, 김종현Apple의 APNS(Apple Push Notification Service)나 Google의 GCM(Google Cloud Messaging) 같은 푸시 메시지 플랫폼은 모바일 서비스를 개발하면서 대부분 한 번씩은 사용해 봤을 만한 핵심 기능입니다. 최근에는 운영체제와 플랫폼 사업자별로 푸시 메시지 플랫폼이 끊임없이 개발되고 있습니다. 다양한 플랫폼을 이용해 메시지를 전송하려면 서비스 개발자가 모든 플랫폼의 명세를 이해하고 구현해야 합니다. 이런 불편 사항을 해결하려 네이버는 다양한 푸시 메시지 플랫폼을 하나의 인터페이스로 사용할 수 있도록 푸시 게이트웨이 시스템(이하 NPUSH-GW)을 개발..