HAMA 블로그

Apache Storm 버전 : Storm 1.0.0 released (12 Apr 2016)Apache Kafka 버전 : 0.9.0.1 (2016년 4월 20일 글쓴시점) Spark Streaming 버전 : 1.6.1 (2016년 3월 9일) Apache Storm 스톰은 메세지전달 실패시 바로잡는 능력(fault tolerant) 이 있으며, 다양한 레벨의 메세지 보증 전f략을 가지고 있다. at-most-once: 이 모드에서는 만약 실패나 타임아웃이 발생했을때 메세지를 버릴수 있으며, 이 모드는 특별한 핸들링을 요구하지 않으며, 메세지들은 스파웃에 의해 생성된 순서대로 처리된다.at-least-once: 이 모드는 각각의 스파웃 튜플이 설정된 타임아웃 안에서 "fully" 진행상태인지 아닌지를..

생산자 (Sender) 테스트 결과 이유카프카 생산자는 브로커로 부터의 ack 를 기다리지 않고 메세지를 보낸다.브로커가 핸들링 할수있는 만큼 빠르게 메세지를 마구 보낸다.카프카는 좀더 효율적인 저장소 포맷을 가지고있다. 평균적으로 카프카 각 메세지들은 9byte 의 오버헤드를 가지며, 반면 ActiveMQ 에서는 144 bytes 를 가진다. 이것은 메세지 헤더때문인데 JMS 에 의해 요구되어진것과 다양한 인덱싱구조를 유지하기위한 것이다. LinkedIn 은 관찰하길 ActiveMQ 의 가장 바쁜쓰레드는 메세지 메타데이터와 상태를 유지하기위한 B-Tree 에 접근하기위해 대부분의 시간을 소비하는것을 발견했다. 소비자 (Receiver) 테스트결과Reason카프카는 좀더 효율적인 저장소 포맷을 가지고있다..

역주: 메세지큐에 대한 글을 적기 전에 왜 메세지큐냐? 를 먼저 생각해봐야한다.메세지큐는 그냥 메세지를 전달해주는 서버인건데, 기술자체에 집중할 필요는 나중에 생각해보고 , 처음 생각해볼것은 왜 메세지를 전달하냐인데.. 이것의 가장 큰 이유는 행위(메세지)를 분산시키기 위함이라고 볼수있다. 말이 좀 어려운거 같은데 쉽게 말하면 대부분의 경우 하나의 일을 하기위한 프로세스에서는 쓸 필요가 없다는 뜻이고 , 어떤 행위에 대한 프로세스가 여러갈래인 경우에 사용하면 된다. 예를들어 브라우저에서 사용자가 버튼은 클릭했을때, 서버에 전달된 행위를 디비에 전달하고 바로 리턴해주는게 하나의 프로세스이라고 보면, 그 행위를 다른곳으로 전파시킬 필요가 있을때 메세지큐를 사용한다. 실질적인 예로는 소셜서버에 글을 올렸을때,..

MQTT 시작하기 좋은 글 https://dzone.com/refcardz/getting-started-with-mqtt MQTT 란?(http://www.codejs.co.kr/mqtt-mq-telemetry-transport%EC%9D%B4%ED%95%B4%ED%95%98%EA%B8%B0/ 펌) [MQTT 프로토콜 설계의 의도]프로토콜이 차지하는 모든 면의 리소스 점유(footprint)를 최소화느리고 품질이 낮은 네트워크의 장애와 단절에 대비클라이언트 애플리케이션 동작에 자원 활용이 극히 제한적임을 고려다수의 클라이언트 연결에 접합한 Publish/Subscribe 네트워크 채용신뢰성 있는 메시징을 위한 QoS(Quality of Service) 옵션 제공.개방형 표준 메시징 프로토콜을 지향 – 제..

http://opentsdb.net/overview.html를 번역했다. OpenTSDB 는 사물인터넷 분야에서 많이 사용되며, 잘 알려진 에너지 IoT 기업인 OPower (http://blog.opower.com/category/technology/) 에서도 사용중이다. OpenTSDB 는 타임 시리즈 데몬(Time Series Daemon (TSD)) 들로 구성된다.(몇몇 커맨드라인 유틸리티셋 포함)OpenTSDB 상호작용은 TSD 하나 혹은 그 이상이 작동하면서 이루어진다. 각각의 TSD 는 독립적이며 상태공유없이 돌아가기때문에 여러가지 일들을 하기위해 여러 TSD 들에게 일거리를 던져주는데 아무 문제없다. 각각의 TSD 는 HBase 오픈소스 데이타베이스를 사용하며 타임시리즈데이터를 가져와서 저..

저는 최근에 사물인터넷 플랫폼에 대해 살펴보는 중에 OSGi 에 대해서 좀 더 관심을 갖게되었습니다. (예전에 이클립스 플러그인 책에서도 쳐음 접하고..) OSGi 는 얼핏 보기에 JNDI 가 제공하는 리소스투명성 및 컴포넌트 베이스 기반 방법론을 합쳐놓은 느낌입니다. 당연하지만 예전부터 많은 컴포넌트 조립 기술(CORBA, COM+) 들이 난립해 왔기 때문에 각각 기술들의 테두리가 분명할리는 없겠지요. 2008년에 쓰여진글이라 좀 됬지만 OSGi 가 궁금하신분은 아래 번역글을 통해서 첫인사를 해보시길 바랍니다. 딱히 OSGi 가 궁금하지 않더라도 옛날얘기 들려주듯이 작성된 IT 선배의 개발 모델 이야기는 충분히 재미있을것입니다. ( 2020년 현재 업데이트: 참고로 자바 9버전의 모듈리티를 이용하면 좀..

JNDI 는 자바 네이밍 / 디렉토리 인터페이스인데 J2EE 의 가장 중요한 스펙중하나이다.많은 전문가들은 JNDI 의 역할과 중요성을 이해하지 못하고서는 진정한 J2EE EJB 를 알고있다고 말할수없다고 한다.과연 JNDI 의 역할은 멀까?JNDI 의 역할을 이해하기위해 "JNDI 가 없다면 어떻게 해야하는지" 를 먼저 보고 JNDI 를 사용하는것에 대해 살펴보자. 마지막으로 JNDI 의 실행모습과 환경설정등에 대해 알아보자. * 구체적인 사용방법은 다른 블로그를 참고하도록하자. 1. JNDI 왜 사용하나? JNDI 의 역할을 이해하기위해 "JNDI 가 없다면 어떻게 해야하는지" 를 먼저 보고 JNDI 를 사용하는것에 대해 살펴보자. JNDI 없이 MySQL 데이타베이스에 접근하기위한 어플리케이션을 개..

https://thrift.apache.org/ 아파치 쓰리프트 프레임워크는 다양한 언어로 서비스되며 , 효율적인 코드생성엔진을 갖고 소프트웨어 스택을 묶으며 다음과 같은 다양한 언어들을 지원한다 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, OCaml and Delphi and 기타등등. 시작하기 Apache Thrift 다운로드 To get started, download a copy of Thrift.Apache Thrift compiler 빌드/인스톨You will then need to build the Apache Thrift compiler and install it...