HAMA 블로그

순서 1. 통계 - 카운팅,min,max,평균,중앙값,산포도,분산,편차,공분산,상관관계 2. 가설과 추론 (베이지언 - 사후확률,우도) 3. 군집화 (K-Means)4. 연관 (Apriori)5. 함수형으로 데이터 다루기 6. 경사하강법7. 회귀분석8. 은닉 마코프법 (HMM) 9. k-NN10. DTW * 참고로 "밑바닥부터 배우는 데이터과학" 서적은 numpy,scikit-learn 등의 외부라이브러리를 활용은 배제되었습니다. 데이터 다루기 대부분의 언어들이 함수형을 차용하고 있으며 , 파이썬도 빠질리는 없다. 파이썬의 함수형 도구들을 사용하여 데이 터 분석을 해보자.참고: 파이썬, C++ ,Java 8은 모두 기본적으로는 객체지향언어에 가깝지만 모두 함수형 파라다임을 차용하고 있다. 스칼라 같은 언..

다른언어를 꼭 써야 하는 몇몇 특별한 경우가 아니라면 무조건 파이썬으로 손이 가네요. 멈출수없는..블랙홀 같습니다. (사랑의 블랙홀 ? ^^) 아마도 전자정부프레임워크같은 코미디만 없어지면 자바와 양분 하는 것은 금방일듯.@@첫언어 또는 상상의 매개체로서의 최고의 언어라 생각합니다. ( 실행가능한 슈도코드라고 하지요) 구석기도 아니고 C 타령은 이제 그만.. 포인터와 저레벨 같은 사소한것에 발목 잡혀 있기엔 세상은 너무 다양해지고 급격히 변해가고 있습니다. 꼭 저레벨이 필요한 소수만 고생스럽겠지만 그거 열심히 하시면 됩니다. 모두가 저레벨에 대한 이해가 필요하다고 구라치는 놈은 저 한테 걸리면 손목아지 날아갑니다~~ㅎㅎ내 소프트웨어 개발 인생에 가장 한이 되는거 한가지 뽑으라면 C++로 14년 개발하는 ..

요즘 데이터분석과 관련하여 텐서플로우와 스파크(ML)등의 머신러닝 솔루션들이 굉장히 유행하고 있습니다. 물론 저것들이 삶을 편안하게 만들어주기도 하지만 대부분의 데이터 분석은 저런 거창한 것 말고 평균,편차 같은 기본적인 개념으로 부터 시작되고 있으며 이러한 개념을 조금씩 변경해가며 더 의미있는 가치를 찾기 위해 빠르게 적용해보는 과정을 거쳐야하는데 그러기 위해서는 1. 직접 코딩해서 기본적인 데이터분석 유틸리티 함수들을 만들어봐야한다. 2. SQL문을 잘 다루어야한다. 3. 엑셀을 잘 다루어야 한다. 이 3가지는 기본이라고 저는 생각합니다. 소규모 데이터를 가지고 이리저리 반복해서 돌려보는 과정은 매우 중요하며 이런 기본적인 것들도 못하면서 하둡,텐서플로우나 깔짝대고, 데이터 분석 한다 라고 칭할 수는..

요즘 데이터분석과 관련하여 텐서플로우와 스파크(ML)등의 머신러닝 솔루션들이 굉장히 유행하고 있습니다. 물론 저것들이 삶을 편안하게 만들어주기도 하지만 대부분의 데이터 분석은 저런 거창한 것 말고 평균,편차 같은 기본적인 개념으로 부터 시작되고 있으며 이러한 개념을 조금씩 변경해가며 더 의미있는 가치를 찾기 위해 빠르게 적용해보는 과정을 거쳐야하는데 그러기 위해서는 1. 직접 코딩해서 기본적인 데이터분석 유틸리티 함수들을 만들어봐야한다. 2. SQL문을 잘 다루어야한다. 3. 엑셀을 잘 다루어야 한다. 이 3가지는 기본이라고 저는 생각합니다. 소규모 데이터를 가지고 이리저리 반복해서 돌려보는 과정은 매우 중요하며 이런 기본적인 것들도 못하면서 하둡,텐서플로우나 깔짝대고, 데이터 분석 한다 라고 칭할 수는..

순서 1. 통계 - 카운팅,min,max,평균,중앙값,산포도,분산,편차,공분산,상관관계 2. 가설과 추론 (베이지언 - 사후확률,우도) 3. 군집화 (K-Means)4. 연관 (Apriori)5. 함수형으로 데이터 다루기 6. 경사하강법7. 회귀분석8. 은닉 마코프법 (HMM) 9. k-NN10. DTW * 참고로 "밑바닥부터 배우는 데이터과학" 서적은 numpy,scikit-learn 등의 외부라이브러리를 활용은 배제되었습니다. 여기서 배울 베이즈 이론의 경우 데이터 분석 및 요즘 유행하고 있는 딥러닝 및 뇌과학에서도 핵심에 있는 중요한 이론입니다.박문호 박사님의 아래 동영상에서는 모든것은 베이즈로 이루어져 있다고도 말합니다. 시간 날때 함 보세요 재밌습니다.-> 뇌과학으로 본 인공지능의 현주소와 미래..

목적 에너지경제연구원에 따르면 2013년 국내 에너지 소비 현황은 산업 62%, 건물 21%, 수송 18% 순으로 공장 등 산업현장이 에너지 소비에서 큰 비중을 차지하고 있습니다. 현재 우리나라의 산업용 전력요금은 OECD 가입국 대비 약 55% 수준이지만 전력사용량은 약 2배 수준으로 높은 비효율적인 에너지 다소비형 산업구조를 나타내고 있습니다. 고효율 설비 교체 등 하드웨어 중심의 기존 에너지 효율화 방식의 한계를 획기적으로 뛰어넘어 선진국 수준으로 전환하기 위한 방안으로 소프트웨어를 활용한 FEMS가 대두되고 있습니다. 기능 FEMS는 통합 데이터베이스와 애플리케이션으로 구성된 소프트웨어 시스템으로 기능은 크게 △에너지 모니터링 △현황 분석 △에너지 수요예측 △에너지 수요 공급 최적화 등으로 구분할..

public class QuickSort { public void sort(int[] data, int l, int r){ int left = l; int right = r; int pivot = data[(l+r)/2]; do{ while(data[left] pivot) right--; if(left

요즘 데이터분석과 관련하여 신경망(특히 딥러닝) 과 스파크(ML)등의 머신러닝 솔루션들이 굉장히 유행하고 있습니다. 물론 저것들이 그 동안 해결해주지 못했던 것을 좀 더 잘 해주기 때문에 인기를 끄는 것은 당연하지만, 데이터 분석이라는 바운더리에서 저런 것 들은 아주 작은 부분인 것이 사실입니다. 대부분의 데이터 분석은 저런 거창한 것 말고 평균,편차 같은 기본적인 개념으로 부터 시작되고 있으며 이러한 개념을 조금씩 변경해가며 더 의미있는 가치를 찾기 위해 빠르게 적용해보는 과정을 거쳐야하는데 그러기 위해서는 1. 직접 코딩해서 기본적인 데이터분석 유틸리티 함수들을 만들어봐야한다. 2. SQL문을 잘 다루어야한다. 3. 엑셀을 잘 다루어야 한다. 이 3가지는 기본이라고 생각해서 항상 공부해야 한다고 생각..

- Scala 2.11.8 기반 - Akka 2.4.11 기반 - Java 8 (akka 2.4 부터는 java 8 요구함. scala 2.11 은 java 7도 괜찮지만~) 서비스로 설치 ( Deploying ) 이전 포스팅에 이어서 이번에는 서비스로 만드는 방식을 알아보겠습니다. 즉 서버가 시작하면 자동으로 시작되게 하고 , 이전까지는 ./helloakka 로 시작한 후에는 Ctrl+C 나 kill -9 pid 를 이용하여 적절한 리소스해제 없이 강제로 죽였어야 했는데요. 좀 더 우아하게 stop 시켜 봅시다. 이전 포스팅에서 만든 프로젝트에서 이어서 해봅니다.* 이전 포스팅과 마찬가지로 더 좋은 방법이 있을 수 있으며 적극적인 공유가 필요합니다. 이번 포스팅에서는 2가지를 합니다. 1. 서비스로 실..

- Scala 2.11.8 기반 - Akka 2.4.11 기반 - Java 8 (akka 2.4 부터는 java 8 요구함) 설치 ( Deploying ) 모든 작업을 마치고 나면 실제 서비스를 위해 설치를 해야합니다. Scala 기반의 Akka 에서는 어떻게 하는지 알아보겠습니다. 참고로 이렇게 하는방법 말고 다른 방식으로도 할 수 있습니다. 매우 다양한 방식이 도처에 흩날리고 있다는.. OTL.... 하지만 제가 소개하는 Sbt stage 방식이 Akka 나 Play 전개에 가장 좋은거 같네요. * 우아하게 종료하는 부분에 대해서는 apache 데몬등을 이용해서 만들 수 있을 것 같습니다. * 서비스로서 만들기 위해서는 저는 그냥 실행스크립트를 init.d 에 넣어줘서 처리합니다. 다른 방법있으면 소..