가설의 검정과 p-value

지도학습의 영역에서 모델을 학습할 때, 가장 중요한 것은 "어떤 변수를 학습에 포함할 것인가?" 라는 질문이라고 할 수 있다.

이 질문에 대한 답은 반드시 수치적 해석과 검증을 통한 것이어야 한다.

그래서 필요한 것이 변수에 대한 가설의 설정, 이에 대한 검정과 판단이다.

변수가 의미있는 변수일 것이란 가설을 세운 뒤 이를 통계적인 방법으로 검정해야 한다.

---

1. p-value의 의미에 대하여

통계학적 관점에서 가설을 검증하는 방법이다. 어떤 자료에 대한 수치적 특성, 이를테면 평균 같은 것을 구한다고 하자. 하지만 실제의 집단(모집단)은 전수조사 할 수 없기 때문에 주어진 자료는 샘플링된 자료이고, 샘플링이라는 것을 통해 실제 집단의 수치적 특성을 추론해야 한다.

예를 들어 실제 모집단의 평균이 50, 분산이 10인 자료가 있다고 할 때, 우리는 그 자료에서 샘플링된 데이터가 있을 것이다. 이 데이터의 평균은 48, 분산은 8로 나타났다. 이때 이 자료를 통해 실제 모집단은 평균이 50, 분산이 10일 것이라는 가설을 세울 수 있다. 이 가설을 검증하기 위한 수치가 p-value이다.

여기서 p-value는, 데이터를 새로 샘플링 했을 때 지금 내가 갖고있는 48라는 값보다 크거나 같은 값이 나올 확률이다.
간단하게 말하면, 귀무가설이 맞다는 전제 하에 현재 나온 통계값 이상이 나올 확률이 p-value 이다.

48이 나올 확률이 아니라는 것에 주의할 필요가 있다.

만약 p-value가 너무 낮으면, 가설이 일어날 확률이 너무 낮기 때문에 귀무가설을 기각하게 된다. 보통 그 기준은 정하기 나름이지만 일반적인 사회통계학에서는 0.05나 0.01을 기준으로 한다. 이 기준을 바로 유의수준이라고 한다.

p-value 사용시 주의해야 할 점은,

가설 검증을 실행할 도메인에 따라 유의수준 설정에 유의해야 한다는 것이다. 예를 들어 사람의 생명과 직결되는 질병 판단의 경우 1종오류에 해당하는 영가설에 대한 유의수준을 낮게 설정해야 한다.

- 참고

영가설(귀무가설), 대립가설(연구가설)

무언가를 비교할 때 두 통계치간의 차이가 없다는 것, 샘플과 모집단의 차이가 없다는 것 등의 효과가 없다는 가설을 영가설이라 한다.

반대로 통계치가 차이가 있다, 효과가 있다는 가설을 대립가설이라 한다.

이 때, 1종 오류는 영가설이 참이지만 기각하는 경우이고, 2종 오류는 영가설이 거짓이지만 채택하는 오류이다.

2. 가설 검정 방법

여러가지 모델의 학습 중, 가장 이해하기 쉬운 다중 선형 회귀의 검정 통계량들을 통해 가설 검정에 대해 알아보자.

(상황별 여러가지 가설 검정에 대한 내용은 이곳을 참고)

다중회귀분석에서는 회귀계수 추정을 통해 모델을 학습하게 된다. 회귀계수 추정이란, 무언가를 예측하거나 설명하는 회귀 분석의 회귀식에서 베타로 표현되는 회귀 계수들을 근사적으로 추정해나가는 것을 의미한다. 이러한 회귀계수들을 추정한 뒤 추정이 얼마나 통계적으로 믿을만 한 것인지를 검정 통계량 t, F, 각각의 t와 F에 대한 p-value로 나타낸다.

T, F 통계량 : 회귀분석에서 각 변수(회귀계수)를 추정하는 것은 ′𝐻0∶𝛽=0′ 라는 가설을 검정하는 문제라고 할 수 있다. 하나의 설명변수에 하나의 종속변수를 설명하는 것은 t 통계량을 사용한다(단순선형회귀). 다중선형회귀에서도 마찬가지다. 각각의 설명변수가 종속변수에 대해 미치는 영향을 t-test로 수행할 수 있다. 다중선형회귀에서 여러 개의 설명변수(==독립변수)가 종속변수를 설명하는데에 통계적으로 유의미하게 기여하는지에 대한 여부를 검증해야 한다. 이는 분산분석의 형태로 진행되고, 귀무가설 ′𝐻 ∶ 𝛽 =𝛽 =⋯=𝛽 =0’ 를 검정하는 문제가 된다. 이 가설을 검정하기 위한 검정 통계량이 F 통계량이다. F 통계량이 커질수록 p-value는 작아지게 된다. 따라서 F 통계량으로 p-value를 결정하게 되고, p-value를 통해 가설에 대한 결론을 내리게 된다.

3. 검정 통계량에 대한 해석

위에서 정한 다중 선형회귀에서의 귀무가설 ′𝐻 ∶ 𝛽 =𝛽 =⋯=𝛽 =0' 에 대한 검정통계량들은 각각의 유의 수준, 즉 판단의 기준이 되는 p-value를 가지고 있다. R, SPSS, Python 등의 컴퓨터 모델 학습 도구가 발명되기 전까지, p-value는 원래는 수동으로 t값과 참조 표를 이용하여 계산하였다.

T-test 검정을 할 때 두 그룹간에 차이가 있는지를 알기위해 계산되어지는 검정통계량이 바로 t값인데, 이 t값을 가지고 가설을 기각하는 기준치와 비교하게 된다 된다. 결국 t값은 p-value를 위한 검정통계량이라고 할 수 있다. 그래서 컴퓨터로 통계분석을 자동적으로 할 때는 p-value와 유의수준만을 가지고 평가하는 것이고, t값에 의해서 자동적으로 p-value가 결정된다는 것이다.

그래서 언급한 방법들에서 t값을 특별히 해석하거나 고심할 필요가 없다. t값이 양수인지 음수인지, 크기는 얼마나 큰지 정도를 체크하면 된다. 또한, T-test의 검정 통계량이 t라면 anova에서의 검정 통계량은 F이다. 다중 회귀분석에서는 변수간의 분산분석을 진행하기 때문에 이러한 검정 통계량을 사용할 뿐이다.