• Notes on Machine Learning 1: What is machine learning?

    (ML 1.1) What is machine learning? “Designing algorithms for inferring what is unknown from knowns.” MM considers ML as a subfield of statistics, with emphasis on algorithms. Got to read an interesting article Machine Learning vs. Statistics, thanks to Whi Kwon. Applications Spam (filtering out) Handwriting (recognition) Google streetview Netflix...


  • Notes on Machine Learning (master page)

    This is the master page for Notes on Machine Learning posts, in which I summarize in a succinct and straighforward fashion what I learn from Machine Learning course by Mathematical Monk, along with my own thoughts and related resources. Notes on Machine Learning 1: What is machine learning? Notes on...


  • Incremental means and updates

    시간의 이산적인 흐름에 따라 새로운 데이터들이 수집될 때 매번 그 평균을 구해야 하는 상황이 종종 발생한다. 새로운 데이터가 들어올 때마다 평균을 정의에 의해 계산하는 것은 매우 비효율적이다. 반면 이전 스텝까지 계산된 평균을 이용하여 상대적으로 빠르게 계산할 수 있는 방법이 있다. 시간이 $t=1, 2, \ldots$ 와 같이 변함에 따라 수집되는 데이터를...


  • MDP (Markov Decision Process)

    논의를 시작하기 전에 지난번 살펴보았던 확률변수의 개념에 대해 몇 가지 언급해야 할 사항이 있다. 첫째, 지난 포스트 /확률변수를 이해하다/에서는 이산 확률변수 중에서도 표본공간이 유한(finite)한 경우만을 다루었다. 유한인 경우의 모든 내용이 무한이면서 이산인 경우로 일반화되는데, 달라지는 거의 유일한 포인트는 극한 개념을 도입해야 한다는 것이다. 극한의 개념이 요구되는 이유를 두 가지로 생각해볼...


  • 확률변수를 이해하다

    불확실성이 포함된 상황을 체계적으로 기술하기 위해 수학의 확률이란 개념을 이용하게 된다. 작년 이맘때쯤 확률의 개념이 어떻게 탄생하게 되었는지 그 역사적 배경에 관한 김민형 교수님의 공개강연이 있었다. 고맙게도 온라인상에 동영상이 올라와 있으니 시청을 권한다 [2]. 강연의 내용 중 인상 깊었던 것 하나는 확률 개념이 탄생하던 17세기 유럽 그 시대의 석학들에게도 난제였던...