파이썬으로 클라우드 (병렬,분산) 하고 싶어요

파이썬으로 클라우드 하고 싶어요  (http://www.slideshare.net/yongho/2011-h3)

2011년 발표니 꽤 된 내용이지만 굉장히 깔끔하게 잘 정리 되 있네요.

최근에 파이썬으로 분산,병렬 컴퓨팅하는 방법에 대해 개인적으로 다시 정리 할 예정이고 아래 대략 메모.

사실 어떻게 보면 굉장히 명쾌하다. 하둡/스파크같은 시스템을 직접 만들려고 하면 어렵지만 ㅎㅎ

확장 순서는 이렇게 될 꺼 같다.  

1. 자신의 컴퓨터에서 단일 프로세스로 자신이 만든 데이터 분석 프로그램을 돌린다.

2. 자신의 컴퓨터에서 멀티쓰레드로 자신이 만든 데이터 분석 프로그램을 돌린다.

3. 자신의 컴퓨터에서 멀티 프로세싱으로 자신이 만든 데이터 분석 프로그램을 여러개 돌린다.

4. 고성능 파이썬등의 책을 참고하든지 최대한 성능을 올릴 수 있는 방안을 찾아보자. (옵션. 추천하지 않음) 

5. 자신의 컴퓨터에서 GPU 를 이용해서 돌린다. (이것도 옵션)

6. 성능좋은 서버에 자신의 프로그램을 복사해 두고 , 삼바같은것으로 연결한 후에 내용을 수동으로 바꿔서 돌린다.

    (즉 자신의 컴퓨터와 서버 n대로 분산되었다) 

7. 이제 자동화 할 타이밍. 각서버에서 돌아갈 프로세스는 동일하지만 옵션이 다를 것이다. 그 옵션을 분리한다.

   - 분리된 옵션을 자신의 PC에서 각각의 서버에서 돌아가는 프로그램에 전달해서 돌린다.

8. 지금 까지는 특정 알고리즘/프로그램 대상으로 자신이 직접 구축한 병렬/분산이었고 , 이제 범용화 할 타이밍이 됬다.

   즉 클라이언트에서 짠 알고리즘을  분산서버에 제출하여 실행하도록 하자.

9. 최신의 자신에 적합한 병렬도구를 찾아보자. 분산도구를 찾아보자.클라우드 도구를 찾아보자.