p-value·1종 오류·2종 오류 총정리｜빅데이터분석기사·ADsP

p-value, 유의수준, 1종 오류, 2종 오류는 빅데이터분석기사 필기 2과목과 ADsP 3과목에서 함께 다루는 공통 핵심 주제입니다. 공식을 길게 외우기보다 “귀무가설을 기각할 근거가 충분한가”를 판단하는 절차로 이해하면 선택지가 바뀌어도 흔들리지 않습니다.

최종 확인: 2026년 8월 28일. 실제 시험의 세부 출제 범위와 시행 공고는 데이터자격시험 공식 사이트에서 응시 회차별로 확인하세요. 이 글은 공개된 범위의 통계 개념 학습을 위한 자료이며, 비공개 시험문항을 복원하거나 공유하지 않습니다.

영상으로 먼저 이해하기: p-value·유의수준·기각역

글의 표와 판단 순서가 낯설다면 슬기로운통계생활의 「수식없이 통계검정 개념잡기 – 유의확률(p-value) vs. 유의수준과 기각역에 대하여」를 먼저 시청해 보세요. 귀무가설 아래에서 p-value를 해석하는 이유와 유의수준·기각역이 어떻게 연결되는지를 수식 부담 없이 설명합니다.

시청 포인트: 영상에서는 개념의 큰 그림을 잡고, 이 글에서는 시험 선택지에 바로 적용할 수 있도록 1종·2종 오류 표, 단측·양측검정, 신뢰구간과의 관계를 이어서 확인하면 됩니다.

먼저 외울 한 문장: p-value는 ‘귀무가설이 참일 확률’이 아니다

p-value는 귀무가설이 참이라고 가정했을 때, 지금 관측한 결과와 같거나 더 극단적인 결과가 나올 확률입니다. 따라서 p-value가 작다는 말은 “현재 관측값이 귀무가설 아래에서는 드물다”는 뜻입니다. 귀무가설 자체가 참일 확률이나, 대립가설이 참일 확률을 직접 알려 주는 값은 아닙니다.

용어	시험장에서 쓰는 뜻	헷갈리기 쉬운 오해
귀무가설 H₀	차이·효과·관계가 없다는 기본 가정	반드시 참이라고 선언하는 가설
대립가설 H₁	차이·효과·관계가 있다는 연구 가설	p-value가 작으면 100% 참인 가설
유의수준 α	기각 기준으로 사전에 정한 허용 위험	데이터를 본 뒤 p-value에 맞춰 고르는 값
p-value	H₀ 아래에서 관측 결과 이상이 나올 확률	H₀가 참일 확률

가설검정은 네 단계만 지키면 된다

1. H₀와 H₁을 문장으로 세운다. 예: “새 추천 알고리즘의 전환율 차이는 없다”가 H₀입니다.
2. 유의수준 α를 먼저 정한다. 일반 학습 문제에서는 0.05가 자주 쓰이지만, 실제 업무에서는 오류 비용과 분야 기준을 함께 고려합니다.
3. 검정통계량 또는 p-value를 확인한다. 이 단계에서 단측·양측 검정의 방향을 놓치지 않습니다.
4. p-value와 α를 비교해 결론을 쓴다. p-value < α이면 H₀를 기각하고, 그렇지 않으면 ‘기각하지 못한다’고 표현합니다.

표현 체크: p-value가 0.05 이상이면 “귀무가설을 채택한다”보다 “귀무가설을 기각할 충분한 근거가 없다”가 더 정확합니다. 검정은 H₀가 참임을 증명하는 절차가 아닙니다.

1종 오류와 2종 오류: 2×2 표로 판단하기

현실	H₀를 기각하지 않음	H₀를 기각
H₀가 참	올바른 판단	1종 오류(α): 참인 H₀를 기각
H₀가 거짓	2종 오류(β): 거짓 H₀를 기각하지 못함	올바른 판단, 검정력 1−β

1종 오류는 ‘없는데 있다고 판단’하는 오류, 2종 오류는 ‘있는데 없다고 놓치는 오류’입니다. 의료 선별검사, 이상거래 탐지, A/B 테스트처럼 사례가 바뀌어도 이 방향을 먼저 판별하면 됩니다. 일반적으로 표본 수를 늘리면 검정력이 높아져 2종 오류를 줄이는 데 도움이 되지만, 연구 설계·효과 크기·유의수준도 함께 작용합니다.

1종·2종 오류 사례 문제 3개

1. A/B 테스트: H₀를 “새 배너는 전환율을 높이지 않는다”로 설정했다. 실제로는 효과가 없는데 H₀를 기각하고 새 배너를 적용했다면? 정답: 1종 오류. 참인 H₀를 기각했다.
2. 이상거래 탐지: H₀를 “정상 거래다”로 설정했다. 실제 사기 거래인데 알람을 울리지 않았다면? 정답: 2종 오류. 거짓인 H₀를 기각하지 못했다.
3. 유의수준 판단: α=0.05이고 p-value=0.032라면? 정답: H₀ 기각. p-value가 α보다 작다. 단, 이 결론이 효과가 크다거나 H₁이 참일 확률이 96.8%라는 뜻은 아니다.

시험장 풀이법: 사례의 주제보다 H₀의 진위와 내린 판단을 먼저 2×2 표에 넣으세요. 진단·탐지 용어에 끌려가면 양성·음성과 1종·2종 오류를 바꾸는 실수가 생깁니다.

유의수준을 낮추면 무엇이 바뀌나

다른 조건이 같을 때 α를 0.05에서 0.01로 낮추면 H₀를 기각하기가 더 어려워집니다. 즉 1종 오류 위험은 낮아지지만, 2종 오류 위험은 커질 수 있고 검정력은 낮아질 수 있습니다. “엄격한 기준이므로 모든 오류가 동시에 줄어든다”는 선택지는 경계하세요.

상황	주로 달라지는 것	판단 포인트
α를 낮춤	1종 오류 감소, 기각 기준 엄격	2종 오류·검정력과의 상충 관계
표본 수 증가	추정의 불확실성 감소, 검정력 향상 가능	효과 크기와 설계가 같다는 전제
양측검정을 단측검정으로 변경	한 방향에 검정력을 집중	데이터를 보기 전에 방향을 정해야 함

선택지에서 바로 쓰는 30초 점검법

• p-value가 무엇을 조건으로 한 확률인지: H₀가 참이라는 가정을 찾습니다.
• 판단 기준이 p-value인지 임계값인지 확인하고, 양쪽 모두 α와 비교합니다.
• ‘채택’과 ‘기각하지 못함’을 구분합니다.
• 1종 오류는 H₀가 참인데 기각, 2종 오류는 H₀가 거짓인데 기각하지 않음으로 표에 다시 넣습니다.

p-value 계산은 ‘검정통계량 → 꼬리확률’ 순서다

p-value 계산 문제는 검정마다 공식이 달라 보여도 흐름은 같습니다. 먼저 H₀ 아래에서 관측값을 표준화한 검정통계량을 구하고, 해당 분포에서 그 값보다 같거나 더 극단적인 영역의 확률을 계산합니다. 모평균 검정이라면 조건에 따라 z분포나 t분포, 분산 검정이라면 카이제곱 또는 F분포를 이용합니다.

검정 방향	p-value가 세는 영역	문제의 표현
우측 단측	관측 통계량보다 큰 오른쪽 꼬리	증가했다, 더 크다
좌측 단측	관측 통계량보다 작은 왼쪽 꼬리	감소했다, 더 작다
양측	양쪽의 같은 정도 이상 극단 영역	다르다, 차이가 있다

예를 들어 양측검정에서 계산된 p-value가 0.032이고 α=0.05라면 H₀를 기각합니다. 같은 검정통계량이라도 단측·양측 여부에 따라 p-value가 달라질 수 있으므로 대립가설의 방향을 데이터 확인 전에 정했다는 조건을 먼저 읽어야 합니다.

95% 신뢰구간과 유의수준 0.05의 연결

같은 가정과 같은 양측검정을 사용할 때, 95% 신뢰구간이 H₀의 기준값을 포함하지 않으면 보통 α=0.05에서 H₀를 기각하는 결과와 대응합니다. 예를 들어 두 집단 평균 차이의 95% 신뢰구간이 (1.2, 4.8)이라면 차이 0을 포함하지 않습니다. 반대로 (−0.8, 3.1)처럼 0을 포함하면 α=0.05에서 유의하다고 보기 어렵습니다.

통계적 유의성과 실질적 중요성은 다르다

표본이 매우 크면 실제 차이가 작아도 p-value가 작아질 수 있습니다. 따라서 실제 분석에서는 p-value만 제시하기보다 효과크기와 신뢰구간을 함께 해석해야 합니다. 시험 선택지에서도 “p-value가 작으므로 효과가 크다” 또는 “실무적으로 중요하다”는 결론이 자동으로 따라오지 않는다는 점을 기억하세요.

2·3과목 연결 학습: 통계 개념 전체의 과락 방어 순서는 2·3과목 과락 방어 가이드에서 확인하세요. 현재 점수 위치는 합격·과락 계산기로 먼저 점검하면 좋습니다.

자주 묻는 질문

다음 복습: 가설검정에서 판단 순서가 익숙해졌다면, 3과목의 ARIMA·AR·MA·ACF·PACF 시계열 정리로 넘어가 모델 식별 문제를 이어서 학습하세요.