HAMA 블로그

순서 1) 하둡 RPC2) 하둡 스트리밍3) 하둡 & 보안4) 하둡 HDFS 읽기5) 하둡 HDFS 쓰기6) 하둡 IO (Writable / Avro)7) 하둡 & 가용성 (Zookeeper) 8) 하둡 쉘 스크립트 및 환경 하둡은 HDFS 라는 분산파일시스템과 맵리듀스라는 그것을 이용하여 계산을 하는 도구를 가지고있습니다. (YARN 이전) 계산에는 간단한 배치성 작업이 주를 이루며 다양한 머신러닝 알고리즘 (머하웃 라이브러리) 을 실행할수도 있습니다.계산복잡도,알고리즘형태에 따라서 지라프,하마같은 다른 도구를 사용할수도 있으며 , 하둡 YARN 과 함께 다양한 빅데이터 솔루션들이 하모니를 이루고 있습니다. Storm-yarn 같은 도구를 사용하여 실시간 분석을 용이하게 할수도있으며, 메모리를 적극적으..

순서 1) 하둡 RPC2) 하둡 스트리밍3) 하둡 & 보안4) 하둡 HDFS 읽기5) 하둡 HDFS 쓰기6) 하둡 IO (Writable / Avro)7) 하둡 & 가용성 (Zookeeper) 8) 하둡 쉘 스크립트 및 환경 하둡은 HDFS 라는 분산파일시스템과 맵리듀스라는 그것을 이용하여 계산을 하는 도구를 가지고있습니다. (YARN 이전) 계산에는 간단한 배치성 작업이 주를 이루며 다양한 머신러닝 알고리즘 (머하웃 라이브러리) 을 실행할수도 있습니다.계산복잡도,알고리즘형태에 따라서 지라프,하마같은 다른 도구를 사용할수도 있으며 , 하둡 YARN 과 함께 다양한 빅데이터 솔루션들이 하모니를 이루고 있습니다. Storm-yarn 같은 도구를 사용하여 실시간 분석을 용이하게 할수도있으며, 메모리를 적극적으..

순서 1) 하둡 RPC2) 하둡 스트리밍3) 하둡 & 보안4) 하둡 HDFS 읽기5) 하둡 HDFS 쓰기6) 하둡 IO (Writable / Avro)7) 하둡 & 가용성 (Zookeeper) 8) 하둡 쉘 스크립트 및 환경 하둡은 HDFS 라는 분산파일시스템과 맵리듀스라는 그것을 이용하여 계산을 하는 도구를 가지고있습니다. (YARN 이전) 계산에는 간단한 배치성 작업이 주를 이루며 다양한 머신러닝 알고리즘 (머하웃 라이브러리) 을 실행할수도 있습니다.계산복잡도,알고리즘형태에 따라서 지라프,하마같은 다른 도구를 사용할수도 있으며 , 하둡 YARN 과 함께 다양한 빅데이터 솔루션들이 하모니를 이루고 있습니다. Storm-yarn 같은 도구를 사용하여 실시간 분석을 용이하게 할수도있으며, 메모리를 적극적으..

순서 1) 하둡 RPC2) 하둡 스트리밍3) 하둡 & 보안4) 하둡 HDFS 읽기5) 하둡 HDFS 쓰기6) 하둡 IO (Writable / Avro)7) 하둡 & 가용성 (Zookeeper) 8) 하둡 쉘 스크립트 및 환경 하둡은 HDFS 라는 분산파일시스템과 맵리듀스라는 그것을 이용하여 계산을 하는 도구를 가지고있습니다. (YARN 이전) 계산에는 간단한 배치성 작업이 주를 이루며 다양한 머신러닝 알고리즘 (머하웃 라이브러리) 을 실행할수도 있습니다.계산복잡도,알고리즘형태에 따라서 지라프,하마같은 다른 도구를 사용할수도 있으며 , 하둡 YARN 과 함께 다양한 빅데이터 솔루션들이 하모니를 이루고 있습니다. Storm-yarn 같은 도구를 사용하여 실시간 분석을 용이하게 할수도있으며, 메모리를 적극적으..

이번주 토요일 발표된 하둡 쉘에 대하여 간단히 정리해봤습니다. 지저분한것들이 많지만..핵심은 저것인데요. 0. 실행은 항상 마스터컴퓨터에서 합니다.1. 먼저 start-dfs.sh 로 실행합니다. ( 하둡의 HDFS 를 실행시키기 위함) 2. start-dfs.sh 은 내부에서 hdadoop-config.sh 을 가져와서 실행합니다. config 에는 별거 없습니다.3. hadoop-config.sh 내부에서는 다시 hadoop-env.sh 을 가져옵니다. 위에 보시다시피 각종 환경변수들을 설정해줍니다.4. 마지막으로 start-dfs.sh 은 hadoop-daemon.sh 와 hadoop-daemons.sh 를 실행합니다. 5. 단수인것은 네임노드만 실행하는것이구요 ( 네임노드는 마스터에 존재)6. 복..

hadoop-2.2.0 경우는 이클립스에서 maven 으로 import 하면 됩니다만 hadoop-1.2.1 은 이클립스에서 ant 로 import 할 경우 ivy-common (??) 에러나면서 안됩니다. 그럴 경우 아래 방법을 참고하셔서 import 하시면 됩니다. Basic Environment Description: OS: Ubuntu 12.04JAVA version: jdk 1.6.0_27Eclipse version: Service Release 1 Part 1: Building Hadoop Developing Environment 1) download hadoop source code.For Hadoop release, download it here. I used Hadoop 1.2.0;For..

순서 1) 하둡 RPC2) 하둡 스트리밍3) 하둡 & 보안4) 하둡 HDFS 읽기5) 하둡 HDFS 쓰기6) 하둡 IO (Writable / Avro)7) 하둡 & 가용성 (Zookeeper) 8) 하둡 쉘 스크립트 및 환경 하둡은 HDFS 라는 분산파일시스템과 맵리듀스라는 그것을 이용하여 계산을 하는 도구를 가지고있습니다. (YARN 이전) 계산에는 간단한 배치성 작업이 주를 이루며 다양한 머신러닝 알고리즘 (머하웃 라이브러리) 을 실행할수도 있습니다.계산복잡도,알고리즘형태에 따라서 지라프,하마같은 다른 도구를 사용할수도 있으며 , 하둡 YARN 과 함께 다양한 빅데이터 솔루션들이 하모니를 이루고 있습니다. Storm-yarn 같은 도구를 사용하여 실시간 분석을 용이하게 할수도있으며, 메모리를 적극적으..