베이즈 이론

베이즈 정리란, 두 확률변수의 사전확률과 사후확률의 관계를 나타내는 정리이다.

기본 아이디어는 기존의 가설에 현재의 자료를 반영해서 더 새로운 것을 만들어낸다는 아이디어로,

기존의 통계학의 패러다임과는 약간 다른 유형이었다. 베이즈 정리는 통계학적으로 비판적인 시각을 받고 있었으나, 심리학, 신경과학, 인공지능 등의 분야에서 인간의 정보처리방식과 유사하다는 점에서 계속하여 발전되어 왔었다. 최근에는 컴퓨팅 환경이 좋아지면서 머신 러닝에 대한 흐름이 가속화됨에 따라 베이즈주의적으로 해석하는 기법이 많이 발전되었다. 이제 수학적인 측면에서 살펴보자.

---

기본적 용어로 다음의 용어들이 있다. 1. 사후 확률 : 관측자가 이미 알고 있는 사건으로부터 나온 확률로, 베이즈 정리에서는 P(A1), P(A2)... 을 의미함 2. 우도 : 이미 알고 있는 사건이 발생했다는 조건 하게 다른 사건이 발생할 확률. P(B|A1), P(B|A2)...을 의미함 3. 사전 확률 : 사전확률과 우도를 통해서 알게되는 조건부 확률. P(Ak|B)를 의미함.

결국 베이즈 정리의 의미를 생각해보자면, 사후 확률을 알고싶은데 직접적인 확률을 구할 변수가 없는 상황에서 사전확률과 우도를 이용하여 사후확률을 구할 수 있다는 것이다. 이때 기준 자체를 바꿔서 재정의 하는 것이 가능하다는 게 중요한 개념이기도 하다. 최종적으로 정리하자면, 이전의 경험과 현재의 증거를 토대로 어떤 사건의 확률을 추론하는 알고리즘이라는 것이다.