HAMA 블로그

데이터 분석에 대한 기본적인 감과 덤으로 파이썬 코딩에 대한 감을 익히기 위한 강좌입니다. 개발자는 코드로 이해하는게 가장 빠른 길이며, 오래 기억하는 길이라 믿습니다.순서 1. 통계 - 카운팅,min,max,평균,중앙값,산포도,분산,편차,공분산,상관관계 2. 가설과 추론 (베이지언 - 사후확률,우도) 3. 군집화 (K-Means)4. 연관 (Apriori)5. 함수형으로 데이터 다루기 6.경사하강법7. 회귀분석8. 은닉 마코프법 (HMM) 9. k-NN10. DTW DTW (Dynamic time wrapping) 란?두개의 시계열 데이터가 있다고 할 때 그 둘간의 유사도를 알아내기 위한 알고리즘 중 하나 이다.예를들어 IoT 센서에서 시간마다 생성되는 데이터를 비교하여, 현재 데이터흐름은 과거의 어떤..

데이터 분석에 대한 기본적인 감과 덤으로 파이썬 코딩에 대한 감을 익히기 위한 강좌입니다. 개발자는 코드로 이해하는게 가장 빠른 길이며, 오래 기억하는 길이라 믿습니다. 이 글의 소스인 "밑바닥부터 배우는 데이터과학" 및 "밑바닥부터 시작하는 딥러닝" 은 그런 기본적인 코드를 주요 매개체로 머신러닝을 설명해주는 훌륭한 서적이니 데이터사이언스에 관심있는 개발자라면 추천해드립니다. (수학도 미분,편미분 정도만 알면 되며, 바닥부터 쉽게 설명해줌) 순서 1. 통계 - 카운팅,min,max,평균,중앙값,산포도,분산,편차,공분산,상관관계 2. 가설과 추론 (베이지언 - 사후확률,우도) 3. 군집화 (K-Means)4. 연관 (Apriori)5. 함수형으로 데이터 다루기 6.경사하강법7. 회귀분석8. 은닉 마코프법..

순서 1. 통계 - 카운팅,min,max,평균,중앙값,산포도,분산,편차,공분산,상관관계 2. 가설과 추론 (베이지언 - 사후확률,우도) 3. 군집화 (K-Means)4. 연관 (Apriori)5. 함수형으로 데이터 다루기 6.경사하강법7. 회귀분석8. 은닉 마코프법 (HMM) 9. k-NN10. DTW HMM (은닉마코프법) 이번 글은 HMM에 대해서 대략 알고 있는 상태에서 , HMM 의 3가지 문제중 가장 고난이도인 학습문제에 대해 코드로 알아보고자 한다. HMM 자체에 대해서 알고 싶은 분은 , 오일석 저자의 "패턴인식" 을 추천한다. 이 책은 진짜 설명을 해주려고 애쓰는 모습이 느껴지는 책이고,그 책으로 어느정도 이해한 후에 그에 파생되는 연구(MHMM, FHMM, CFHSMM 등) 에 대한 논문..

순서 1. 통계 - 카운팅,min,max,평균,중앙값,산포도,분산,편차,공분산,상관관계 2. 가설과 추론 (베이지언 - 사후확률,우도) 3. 군집화 (K-Means)4. 연관 (Apriori)5. 함수형으로 데이터 다루기 6.경사하강법7. 회귀분석8. 은닉 마코프법 (HMM) 9. k-NN10. DTW * 참고로 "밑바닥부터 배우는 데이터과학" 서적은 numpy,scikit-learn 등의 외부라이브러리를 활용은 배제되었습니다. 회귀분석 Okky 싸이트에 들어오는 사람들이 Okky 싸이트에 머무는 시간과 그들의 경력에 대해서 생각해보자.머무는 시간이 1시간이면 , 경력은 5년 머무는 시간이 2시간이면, 경력은 7년 ..이렇게 데이터가 누적되었을때, 그 둘 간의 어떠한 상관관계가 있는지 살펴봐서 , 머무는..

요즘 데이터분석과 관련하여 텐서플로우와 스파크(ML)등의 머신러닝 솔루션들이 굉장히 유행하고 있습니다. 물론 저것들이 삶을 편안하게 만들어주기도 하지만 대부분의 데이터 분석은 저런 거창한 것 말고 평균,편차 같은 기본적인 개념으로 부터 시작되고 있으며 이러한 개념을 조금씩 변경해가며 더 의미있는 가치를 찾기 위해 빠르게 적용해보는 과정을 거쳐야하는데 그러기 위해서는 1. 직접 코딩해서 기본적인 데이터분석 유틸리티 함수들을 만들어봐야한다. 2. SQL문을 잘 다루어야한다. 3. 엑셀을 잘 다루어야 한다. 이 3가지는 기본이라고 저는 생각합니다. 소규모 데이터를 가지고 이리저리 반복해서 돌려보는 과정은 매우 중요하며 이런 기본적인 것들도 못하면서 하둡,텐서플로우나 깔짝대고, 데이터 분석 한다 라고 칭할 수는..

순서 1. 통계 - 카운팅,min,max,평균,중앙값,산포도,분산,편차,공분산,상관관계 2. 가설과 추론 (베이지언 - 사후확률,우도) 3. 군집화 (K-Means)4. 연관 (Apriori)5. 함수형으로 데이터 다루기 6. 경사하강법7. 회귀분석8. 은닉 마코프법 (HMM) 9. k-NN10. DTW * 참고로 "밑바닥부터 배우는 데이터과학" 서적은 numpy,scikit-learn 등의 외부라이브러리를 활용은 배제되었습니다. 데이터 다루기 대부분의 언어들이 함수형을 차용하고 있으며 , 파이썬도 빠질리는 없다. 파이썬의 함수형 도구들을 사용하여 데이 터 분석을 해보자.참고: 파이썬, C++ ,Java 8은 모두 기본적으로는 객체지향언어에 가깝지만 모두 함수형 파라다임을 차용하고 있다. 스칼라 같은 언..

요즘 데이터분석과 관련하여 텐서플로우와 스파크(ML)등의 머신러닝 솔루션들이 굉장히 유행하고 있습니다. 물론 저것들이 삶을 편안하게 만들어주기도 하지만 대부분의 데이터 분석은 저런 거창한 것 말고 평균,편차 같은 기본적인 개념으로 부터 시작되고 있으며 이러한 개념을 조금씩 변경해가며 더 의미있는 가치를 찾기 위해 빠르게 적용해보는 과정을 거쳐야하는데 그러기 위해서는 1. 직접 코딩해서 기본적인 데이터분석 유틸리티 함수들을 만들어봐야한다. 2. SQL문을 잘 다루어야한다. 3. 엑셀을 잘 다루어야 한다. 이 3가지는 기본이라고 저는 생각합니다. 소규모 데이터를 가지고 이리저리 반복해서 돌려보는 과정은 매우 중요하며 이런 기본적인 것들도 못하면서 하둡,텐서플로우나 깔짝대고, 데이터 분석 한다 라고 칭할 수는..

요즘 데이터분석과 관련하여 텐서플로우와 스파크(ML)등의 머신러닝 솔루션들이 굉장히 유행하고 있습니다. 물론 저것들이 삶을 편안하게 만들어주기도 하지만 대부분의 데이터 분석은 저런 거창한 것 말고 평균,편차 같은 기본적인 개념으로 부터 시작되고 있으며 이러한 개념을 조금씩 변경해가며 더 의미있는 가치를 찾기 위해 빠르게 적용해보는 과정을 거쳐야하는데 그러기 위해서는 1. 직접 코딩해서 기본적인 데이터분석 유틸리티 함수들을 만들어봐야한다. 2. SQL문을 잘 다루어야한다. 3. 엑셀을 잘 다루어야 한다. 이 3가지는 기본이라고 저는 생각합니다. 소규모 데이터를 가지고 이리저리 반복해서 돌려보는 과정은 매우 중요하며 이런 기본적인 것들도 못하면서 하둡,텐서플로우나 깔짝대고, 데이터 분석 한다 라고 칭할 수는..

순서 1. 통계 - 카운팅,min,max,평균,중앙값,산포도,분산,편차,공분산,상관관계 2. 가설과 추론 (베이지언 - 사후확률,우도) 3. 군집화 (K-Means)4. 연관 (Apriori)5. 함수형으로 데이터 다루기 6. 경사하강법7. 회귀분석8. 은닉 마코프법 (HMM) 9. k-NN10. DTW * 참고로 "밑바닥부터 배우는 데이터과학" 서적은 numpy,scikit-learn 등의 외부라이브러리를 활용은 배제되었습니다. 여기서 배울 베이즈 이론의 경우 데이터 분석 및 요즘 유행하고 있는 딥러닝 및 뇌과학에서도 핵심에 있는 중요한 이론입니다.박문호 박사님의 아래 동영상에서는 모든것은 베이즈로 이루어져 있다고도 말합니다. 시간 날때 함 보세요 재밌습니다.-> 뇌과학으로 본 인공지능의 현주소와 미래..

요즘 데이터분석과 관련하여 신경망(특히 딥러닝) 과 스파크(ML)등의 머신러닝 솔루션들이 굉장히 유행하고 있습니다. 물론 저것들이 그 동안 해결해주지 못했던 것을 좀 더 잘 해주기 때문에 인기를 끄는 것은 당연하지만, 데이터 분석이라는 바운더리에서 저런 것 들은 아주 작은 부분인 것이 사실입니다. 대부분의 데이터 분석은 저런 거창한 것 말고 평균,편차 같은 기본적인 개념으로 부터 시작되고 있으며 이러한 개념을 조금씩 변경해가며 더 의미있는 가치를 찾기 위해 빠르게 적용해보는 과정을 거쳐야하는데 그러기 위해서는 1. 직접 코딩해서 기본적인 데이터분석 유틸리티 함수들을 만들어봐야한다. 2. SQL문을 잘 다루어야한다. 3. 엑셀을 잘 다루어야 한다. 이 3가지는 기본이라고 생각해서 항상 공부해야 한다고 생각..