P값 계산기 - Z, t, F, 카이제곱 검정
Z, t, F, 카이제곱 등 어떤 검정 통계량이든 p값을 구하고, 양측·우측·좌측 옵션으로 바로 유의성을 판단합니다.
통계 검정 유형과 꼬리 방향을 선택한 뒤 검정 통계량과 자유도를 입력하면 정확한 p값과 유의성 판정을 얻을 수 있습니다.
P값 계산기 - Z, t, F, 카이제곱 검정
Z, t, F, 카이제곱 등 어떤 검정 통계량이든 p값을 구하고, 양측·우측·좌측 옵션으로 바로 유의성을 판단합니다.
P값 계산기 소개
p값은 귀무가설이 참이라고 가정했을 때, 실제로 관측된 검정 통계량만큼 또는 그보다 더 극단적인 결과가 나올 확률입니다. 이는 거의 모든 고전적 통계 검정의 핵심 출력이며, 귀무가설을 기각할지 판단하는 주된 기준입니다. p값이 작을수록 귀무가설 아래에서 이런 데이터가 나올 가능성이 낮다는 뜻이므로, 대립가설을 지지하는 근거가 됩니다.
절차는 보통 귀무가설 H₀(대개 효과 없음, 차이 없음, 관련 없음)과 대립가설 H₁을 설정하는 것부터 시작합니다. 그다음 데이터를 수집하고 검정 통계량(Z, t, F, 또는 χ²)을 계산한 뒤, H₀ 하에서의 분포를 이용해 p값을 구합니다. p값이 미리 정한 유의 수준 α(가장 흔한 값은 0.05)보다 작거나 같으면 H₀를 기각하고, 결과를 통계적으로 유의하다고 봅니다.
검정 통계량마다 따르는 확률 분포가 다릅니다. Z 통계량은 표준정규분포를 따르며, 모집단 표준편차를 알고 있거나 표본이 매우 클 때 사용합니다. t 통계량은 특정 자유도를 가진 Student의 t 분포를 따르며(단일표본 검정에서는 df = n − 1), 모집단 표준편차를 모를 때 소규모~중간 규모 표본에 사용합니다. F 통계량은 분자와 분모 자유도를 가진 F 분포를 따르며, 분산분석과 분산의 동일성 검정의 기초입니다. 카이제곱 통계량은 자유도 df를 갖는 카이제곱 분포를 따르며, 분할표 독립성 검정과 적합도 검정에 사용됩니다.
꼬리 유형은 p값을 계산할 때 분포의 어느 영역을 사용할지 결정합니다. 대립가설이 비방향적(H₁: μ ≠ μ₀)일 때는 양측 검정을 사용하며, p값은 양쪽 극단의 확률을 합칩니다. 대립가설이 양의 방향(H₁: μ > μ₀)을 지정하면 우측 검정, 음의 방향(H₁: μ < μ₀)을 지정하면 좌측 검정을 사용합니다. F 검정과 카이제곱 검정은 실제로 본질적으로 단측이며(검정 통계량은 음수가 될 수 없음), 표준 보고값은 우측 p값입니다.
가장 흔한 오해 중 하나는 p값이 H₀가 참일 확률이라는 생각입니다. 그렇지 않습니다. p값은 조건부 확률, 즉 P( H₀가 참일 때 이 정도로 극단적인 데이터가 나올 확률 )입니다. H₀나 H₁이 참일 확률은 알려주지 않으며, 그 답을 얻으려면 사전확률이 포함된 베이지안 추론이 필요합니다. 또 다른 오해는 p < 0.05이면 효과가 크거나 실질적으로 중요하다는 생각입니다. 통계적 유의성은 표본 크기에 좌우됩니다. 표본이 충분히 크면 아주 작고 의미 없는 효과도 p < 0.05가 나올 수 있습니다. p값과 함께 효과 크기도 반드시 보고하세요.
유의 수준 α는 데이터를 보기 전에 정해야 하며, 허용 가능한 위양성(제1종 오류) 위험을 반영해야 합니다. 분야마다 관행이 다릅니다. 대부분의 생의학·사회과학 연구에서는 α = 0.05가 표준이고, 위양성 비용이 큰 경우 α = 0.01이 흔하며, 전장유전체연관분석에서는 동시에 많은 검정을 수행하므로 α = 5 × 10⁻⁸을 사용합니다. 이 계산기는 α = 0.01, 0.05, 0.10을 지원합니다.
실전 예시
지원되는 각 검정 유형을 하나씩 보여 주는 네 가지 예시로, 입력값과 p값, 유의성 판정을 확인할 수 있습니다.
| 검정 설정 | P값 | α = 0.05에서의 판정 |
|---|---|---|
| Z 검정, 양측, Z = 2.5, α = 0.05 | p = 0.0124 | p < 0.05 → 유의함. H₀ 아래에서 |Z| ≥ 2.5일 확률은 약 1.24%입니다. |
| T 검정, 우측, t = 2.1, df = 15, α = 0.05 | p = 0.0267 | p < 0.05 → 유의함. df = 15, t = 2.1인 단측 t 검정의 p값은 약 0.027입니다. |
| 카이제곱 검정, 우측, χ² = 18.3, df = 10, α = 0.01 | p = 0.0499 | p > 0.01 → α = 0.01에서는 유의하지 않음. 같은 결과는 α = 0.05에서는 유의합니다. |
| F 검정, 우측, F = 3.8, df1 = 2, df2 = 27, α = 0.05 | p = 0.0347 | p < 0.05 → 유의함. 자유도 2와 27의 분산분석 F 비가 3.8입니다. |
P값 계산기 사용법
- 검정 통계량을 계산한 방식에 맞는 검정 유형(Z 검정, T 검정, F 검정, 카이제곱 검정)을 선택하세요.
- 꼬리 유형을 선택하세요. H₁: ≠이면 양측, H₁: >이면 우측, H₁: <이면 좌측입니다.
- ‘검정 통계량’ 입력란에 값을 넣으세요. T 검정, F 검정, 카이제곱 검정은 자유도도 입력해야 합니다(F 검정은 두 값 필요).
- 유의 수준 α를 설정한 뒤 ‘계산’을 클릭하면 p값과 유의성 판정이 표시됩니다.
- p ≤ α이면 H₀를 기각하고 통계적으로 유의하다고 보고합니다. p > α이면 H₀를 기각하지 못합니다. 항상 효과 크기도 함께 제시하세요.
자주 묻는 질문
p값은 실제로 무엇을 측정하나요?
p값은 귀무가설이 참이라고 가정했을 때, 계산한 검정 통계량만큼 또는 그보다 더 극단적인 값이 관측될 확률을 의미합니다. H₀ 아래에서 데이터가 얼마나 ‘의외’인지 수치로 나타냅니다. H₀가 참일 확률, 효과의 크기, 또는 실수를 했을 확률을 의미하는 것은 아닙니다.
왜 α = 0.05가 관례적 기준인가요?
0.05 기준은 Ronald Fisher가 1920년대에 널리 퍼뜨린 편의적 관행일 뿐, 보편적 진리는 아닙니다. 이는 5%의 위양성 위험을 감수한다는 뜻입니다. 분야별 기준은 다릅니다. 입자물리학은 보통 p < 5×10⁻⁷을 요구하고, 유전체학은 대개 p < 5×10⁻⁸을 사용하며, 임상시험에서는 α = 0.01을 쓰기도 합니다. 적절한 기준은 위양성과 위음성의 비용에 따라 달라집니다.
단측 검정과 양측 검정의 차이는 무엇인가요?
양측 검정은 어느 방향의 차이든 확인하며 α를 양쪽 꼬리에 나눕니다. 단측 검정은 전체 α를 한 방향에 집중하므로 그 방향의 효과를 더 잘 잡아내지만, 데이터 보기 전에 방향이 미리 정해져 있어야만 타당합니다. 애매한 양측 결과를 살리려고 단측으로 바꾸는 것은 p-hacking입니다.
자유도는 어떻게 정해지나요?
자유도(df)는 데이터 속 독립적인 정보의 개수를 나타냅니다. 단일표본 t 검정에서는 df = n − 1입니다. 독립표본 t 검정에서는 df = n₁ + n₂ − 2입니다. r × c 분할표의 카이제곱 독립성 검정에서는 df = (r − 1)(c − 1)입니다. 일원분산분석 F 검정에서는 분자 자유도 = k − 1(집단 수 − 1), 분모 자유도 = N − k(전체 관측치 − 집단 수)입니다.
p-hacking이란 무엇이고 왜 해로운가요?
p-hacking은 p < 0.05가 나올 때까지 여러 검정, 하위집단, 모델 사양을 반복해서 시도한 뒤, 그 결과만 보고하는 행위입니다. 이는 실제 제1종 오류율을 α보다 훨씬 높여 재현되지 않는 위양성을 만들어냅니다. 이를 피하려면 분석 계획을 사전 등록하고, 다중비교 보정(예: Bonferroni 보정)을 적용하며, 수행한 모든 검정을 보고해야 합니다.
p값이 매우 작으면 결과가 중요하지 않다는 뜻인가요?
그럴 수 있습니다. 표본이 충분히 크면 혈압을 0.1 mmHg만 낮추는 약처럼 극히 작은 효과도 p < 0.001이 될 수 있습니다. 통계적 유의성과 실질적 유의성은 다릅니다. p값과 함께 효과 크기(Cohen's d, 오즈비, R² 등)를 반드시 계산하고 보고해, 그 효과가 실제로 의미 있는지 독자가 판단할 수 있게 하세요.