[ 하둡 인사이드 ] 4. HDFS 읽기

순서

1) 하둡 RPC

2) 하둡 스트리밍

3) 하둡 & 보안

4) 하둡 HDFS 읽기

5) 하둡 HDFS 쓰기

6) 하둡 IO  (Writable / Avro)

7) 하둡 & 가용성  (Zookeeper) 

8) 하둡 쉘 스크립트 및 환경

하둡은 HDFS 라는 분산파일시스템과 맵리듀스라는 그것을 이용하여 계산을 하는 도구를 가지고있습니다.  (YARN 이전) 계산에는 간단한 배치성 작업이 주를 이루며 다양한 머신러닝 알고리즘 (머하웃 라이브러리) 을 실행할수도 있습니다.계산복잡도,알고리즘형태에 따라서  지라프,하마같은 다른 도구를 사용할수도 있으며 , 하둡 YARN 과 함께 다양한 빅데이터 솔루션들이 하모니를 이루고 있습니다. 

Storm-yarn 같은 도구를 사용하여 실시간 분석을 용이하게 할수도있으며, 메모리를 적극적으로 활용한 Spark 라는 제품도 각광을 받고 있습니다.

HDFS : http://www.slideshare.net/madvirus/hdfs-28871456 

Map&Reduce: http://www.slideshare.net/madvirus/ss-29075031 

...작성중..