HAMA 블로그

순서 1) 하둡 RPC2) 하둡 스트리밍3) 하둡 & 보안4) 하둡 HDFS 읽기5) 하둡 HDFS 쓰기6) 하둡 IO (Writable / Avro)7) 하둡 & 가용성 (Zookeeper) 8) 하둡 쉘 스크립트 및 환경 하둡은 HDFS 라는 분산파일시스템과 맵리듀스라는 그것을 이용하여 계산을 하는 도구를 가지고있습니다. (YARN 이전) 계산에는 간단한 배치성 작업이 주를 이루며 다양한 머신러닝 알고리즘 (머하웃 라이브러리) 을 실행할수도 있습니다.계산복잡도,알고리즘형태에 따라서 지라프,하마같은 다른 도구를 사용할수도 있으며 , 하둡 YARN 과 함께 다양한 빅데이터 솔루션들이 하모니를 이루고 있습니다. Storm-yarn 같은 도구를 사용하여 실시간 분석을 용이하게 할수도있으며, 메모리를 적극적으..

순서 1) 하둡 RPC2) 하둡 스트리밍3) 하둡 & 보안4) 하둡 HDFS 읽기5) 하둡 HDFS 쓰기6) 하둡 IO (Writable / Avro)7) 하둡 & 가용성 (Zookeeper) 8) 하둡 쉘 스크립트 및 환경 하둡은 HDFS 라는 분산파일시스템과 맵리듀스라는 그것을 이용하여 계산을 하는 도구를 가지고있습니다. (YARN 이전) 계산에는 간단한 배치성 작업이 주를 이루며 다양한 머신러닝 알고리즘 (머하웃 라이브러리) 을 실행할수도 있습니다.계산복잡도,알고리즘형태에 따라서 지라프,하마같은 다른 도구를 사용할수도 있으며 , 하둡 YARN 과 함께 다양한 빅데이터 솔루션들이 하모니를 이루고 있습니다. Storm-yarn 같은 도구를 사용하여 실시간 분석을 용이하게 할수도있으며, 메모리를 적극적으..

순서 1) 하둡 RPC2) 하둡 스트리밍3) 하둡 & 보안4) 하둡 HDFS 읽기5) 하둡 HDFS 쓰기6) 하둡 IO (Writable / Avro)7) 하둡 & 가용성 (Zookeeper) 8) 하둡 쉘 스크립트 및 환경 하둡은 HDFS 라는 분산파일시스템과 맵리듀스라는 그것을 이용하여 계산을 하는 도구를 가지고있습니다. (YARN 이전) 계산에는 간단한 배치성 작업이 주를 이루며 다양한 머신러닝 알고리즘 (머하웃 라이브러리) 을 실행할수도 있습니다.계산복잡도,알고리즘형태에 따라서 지라프,하마같은 다른 도구를 사용할수도 있으며 , 하둡 YARN 과 함께 다양한 빅데이터 솔루션들이 하모니를 이루고 있습니다. Storm-yarn 같은 도구를 사용하여 실시간 분석을 용이하게 할수도있으며, 메모리를 적극적으..

0. 인증 / 인가 / 무결성 이란 ? 인증 (Authentication) : A 라는 사람이 그 싸이트 혹은 그 서비스를 사용할수있는가? 신원 확보 목적. 인가 (Authorization) : A 라는 사람이 서비스에서 어떤것을 할수있도록 하는가 ? ( 파일 리딩만 하게하자) 무결성 : A -> B 로 어떤 메세지를 보냈을때 그 메세지가 바뀌거나 깨지지 않음을 보장하는것. 1. 암호화 / 복호화 란 ? 암호화 : 어떤 문자열 "hello world" 를 "332XF3FX_*)3" 로 바꾸는것.복호화 : "332XF3FX_*)3" 을 다시 "hello world" 로 환원하는것. 암호화 알고리즘에는 DES , AES 등이 있다. JAVA AEC : http://andang72.blogspot.kr/201..

이번주 토요일 발표된 하둡 쉘에 대하여 간단히 정리해봤습니다. 지저분한것들이 많지만..핵심은 저것인데요. 0. 실행은 항상 마스터컴퓨터에서 합니다.1. 먼저 start-dfs.sh 로 실행합니다. ( 하둡의 HDFS 를 실행시키기 위함) 2. start-dfs.sh 은 내부에서 hdadoop-config.sh 을 가져와서 실행합니다. config 에는 별거 없습니다.3. hadoop-config.sh 내부에서는 다시 hadoop-env.sh 을 가져옵니다. 위에 보시다시피 각종 환경변수들을 설정해줍니다.4. 마지막으로 start-dfs.sh 은 hadoop-daemon.sh 와 hadoop-daemons.sh 를 실행합니다. 5. 단수인것은 네임노드만 실행하는것이구요 ( 네임노드는 마스터에 존재)6. 복..

hadoop-2.2.0 경우는 이클립스에서 maven 으로 import 하면 됩니다만 hadoop-1.2.1 은 이클립스에서 ant 로 import 할 경우 ivy-common (??) 에러나면서 안됩니다. 그럴 경우 아래 방법을 참고하셔서 import 하시면 됩니다. Basic Environment Description: OS: Ubuntu 12.04JAVA version: jdk 1.6.0_27Eclipse version: Service Release 1 Part 1: Building Hadoop Developing Environment 1) download hadoop source code.For Hadoop release, download it here. I used Hadoop 1.2.0;For..

1편 언어에서 강력함 과 대중성 그리고 스칼라 이글은 스칼라에 대한 전문적인글이 아니며 , 스칼라의 모든부분을 말하는글은 아닙니다.스칼라의 함수자(Functor) , 컬렉션 및 유틸리티 에 대해서 한정되있으며, 먼저 스칼라말고 다른 여러가지 언어들에 대해서 말하고도 있습니다. 제목에 일반적이라고 붙힌이유는 , 스칼라의 다른 기능들 , 소위 Active Object & Actor Pattern 기반의 동시성 구현라이브러리로 알려진 아카라든지,콤비네이터를 이용한 인터프리터 개발같은것들을 대중적이라고 보기엔 무리라고 판단하였기에 그런것들을 제외한 극소수의 내용들로 이루어져있기때문입니다. 그리고 아래 글에서 예시로 보여지는 (슈도)코드는 문법적으로 정확치 않은 예 이며, 글에 쓰여진 모든 지식은 저의 것이아니라..

2편. 여러언어를 통해본 함수형 스타일 ( 함수포인터,함수자,람다 ) 본글은 멀 주장하거나 전문적인 글이 아니라, 정보를 공유하기위한 모음글입니다. 시간이 될때 관심이 있으면 편하게 읽어보시면 될듯합니다. 같이 익숙해져가는게 목표입니다.먼가를 주장하는글은 1편 언어에서의 강력함과 대중성 그리고 스칼라 http://okky.kr/article/275634 에 있습니다. 참고로 함수형이라는 말에는 다양한 개념들이 있으나 이 글에서는 함수를 매개변수로 넘기는 스타일들부터 익숙해지자는것에 한정되있습니다. 함수 포인터의 정의는 전달가능한 행위의 시작위치! 라고 말할수있으며 사용이유로는 아래와 같이 3가지정도를 말할수있을듯 합니다. 1번이 가장 핵심이구요 .람다도 마찬가지로 지연호출이 핵심중 하나입니다. 1. 호출..

순서 1) 하둡 RPC2) 하둡 스트리밍3) 하둡 & 보안4) 하둡 HDFS 읽기5) 하둡 HDFS 쓰기6) 하둡 IO (Writable / Avro)7) 하둡 & 가용성 (Zookeeper) 8) 하둡 쉘 스크립트 및 환경 하둡은 HDFS 라는 분산파일시스템과 맵리듀스라는 그것을 이용하여 계산을 하는 도구를 가지고있습니다. (YARN 이전) 계산에는 간단한 배치성 작업이 주를 이루며 다양한 머신러닝 알고리즘 (머하웃 라이브러리) 을 실행할수도 있습니다.계산복잡도,알고리즘형태에 따라서 지라프,하마같은 다른 도구를 사용할수도 있으며 , 하둡 YARN 과 함께 다양한 빅데이터 솔루션들이 하모니를 이루고 있습니다. Storm-yarn 같은 도구를 사용하여 실시간 분석을 용이하게 할수도있으며, 메모리를 적극적으..

/* * Copyright 1993-2012 NVIDIA Corporation. All rights reserved. * * Please refer to the NVIDIA end user license agreement (EULA) associated * with this source code for terms and conditions that govern your use of * this software. Any use, reproduction, disclosure, or distribution of * this software and related documentation outside the terms of the EULA * is strictly prohibited. * */ /* Volume..