ADsP 평가지표 정리, 혼동행렬로 정밀도·재현율 구분

안녕하세요, 공부하는 감자입니다 🥔

ADsP 3과목 공부하면서 제일 어이없게 점수를 흘린 데가 모델 평가지표였어요. 개념을 몰라서가 아니라, 시험장에서 정밀도와 재현율의 분모를 바꿔 쓴 거죠.

식이 비슷비슷하게 생겨서 긴장하면 꼭 헷갈립니다. 그런데 이 영역, 매회 2~3문제씩 고정으로 나와요.

식만 정확하면 그대로 회수되는 점수라 시험 직전 30분 투자 가성비가 가장 높은 구간입니다.

결론은 하나예요.

혼동행렬 4칸만 정확히 박아두면 모든 지표가 거기서 파생됩니다.

출발점 — 혼동행렬 4칸

이 표 한 장이 이 글의 전부입니다.

	예측 양성 (P)	예측 음성 (N)
실제 양성	TP	FN
실제 음성	FP	TN

읽는 법은 글자 순서대로예요.

• 첫 글자 T/F: 예측이 맞았는지 (True면 정답)
• 둘째 글자 P/N: 무엇으로 예측했는지 (P면 양성 예측)

그래서 TP는 "양성으로 예측해서 맞춘 것", FP는 "양성으로 예측했는데 틀린 것"입니다. 문제지를 받으면 표의 4칸에 TP/FN/FP/TN부터 라벨링하고 시작하세요.

정밀도 vs 재현율 — 분모가 전부

둘의 차이는 결국 분모 하나뿐이에요.

구분	정밀도 (Precision)	재현율 (Recall)
공식	TP / (TP+FP)	TP / (TP+FN)
분모	모델이 양성으로 예측한 전체	실제 양성 전체
관점	예측이 얼마나 정확한가	실제 양성을 얼마나 안 놓쳤나

정밀도는 "예측 기준", 재현율은 "실제 기준". 분모에 FP가 있으면 정밀도, FN이 있으면 재현율.

둘은 트레이드오프 관계가 자주 생겨요. 양성 판정 기준을 까다롭게 잡으면 정밀도가 오르고 재현율이 떨어지고, 느슨하게 잡으면 반대가 됩니다.

그래서 상황별 우선순위를 묻는 문제가 나와요. 암 진단처럼 놓치면 큰일 나는 경우는 재현율, 정상 메일을 스팸 처리하면 곤란한 스팸 필터는 정밀도.

하나 더 — 민감도 = 재현율입니다. 같은 개념의 다른 이름인데, 이 사실 자체를 묻는 문제가 종종 나와요.

짝꿍인 특이도는 TN/(TN+FP), 실제 음성 중 음성으로 잘 분류한 비율이고요.

정확도의 함정

정확도 = (TP+TN)/전체. 제일 직관적인데 함정이 있습니다.

데이터가 불균형하면 무의미해져요. 환자 1%, 정상 99%인 데이터에서 모델이 무조건 "정상"이라고만 해도 정확도는 99%가 나옵니다.

그래서 "데이터 불균형 시 적절한 지표는?"이라는 문제의 답은 정확도가 아니라 정밀도·재현율·F1이에요.

F1 — 산술평균 아니고 조화평균

F1 = 2 × (정밀도 × 재현율) / (정밀도 + 재현율)

조화평균이라는 게 핵심이에요. 둘 중 하나가 낮으면 F1이 그쪽으로 확 끌려갑니다.

정밀도 0.9에 재현율 0.1이면 산술평균은 0.5지만 F1은 0.18밖에 안 돼요. 그래서 "둘 다 균형 있게 좋은 모델"을 찾을 때 F1을 씁니다.

산술평균 (P+R)/2로 계산한 보기가 오답으로 깔려 나오니 조심하세요.

ROC와 AUC

임계값을 바꿔가며 모델 성능을 그린 곡선이 ROC예요. 축부터 정확히: x축은 1-특이도(FPR), y축은 재현율(TPR). 곡선이 왼쪽 위 모서리에 붙을수록 좋은 모델입니다.

곡선 아래 면적이 AUC고, 해석 기준은 이래요.

• 1.0: 완벽한 분류
• 0.91.0 우수 / 0.80.9 좋음 / 0.7~0.8 보통
• 0.5: 동전 던지기 (대각선)
• 0.5 미만: 거꾸로 예측 중 (반전하면 오히려 쓸 만함)

여기서 함정 하나. "AUC 최악은 0이다"라는 보기 — 사실 AUC 0은 완벽하게 거꾸로 맞추는 모델이라 뒤집으면 완벽해집니다.

진짜 최악은 0.5(무작위)예요.

회귀 지표는 분리해서

분류 지표가 메인이지만 회귀 평가도 가끔 나옵니다.

• MAE: 평균 절대 오차, 단위가 원본과 같아 직관적
• MSE: 평균 제곱 오차, 큰 오차에 가중
• RMSE: MSE의 제곱근
• R²: 1-SSE/SST, 0~1 사이에서 클수록 좋음

분류 지표와 섞이지 않게 서랍을 따로 두세요.

제 오답 노트에서 — 자주 틀리는 순서대로

1. 정밀도·재현율 분모 바꿔 쓰기 (압도적 1위)
2. 정확도 99%를 좋은 모델로 착각 (불균형 체크 누락)
3. F1을 산술평균으로 계산
4. ROC 축 반대로 보기
5. AUC 0을 최악이라고 답하기

이런 건 글로 읽을 때는 다 아는 것 같은데, 막상 표를 주고 계산시키면 틀려요. 그래서 혼동행렬 문제는 손으로 여러 번 풀어보는 게 답입니다.

저는 문어CBT에서 모의고사 돌리면서 평가지표 문제만 따로 오답으로 모았는데, 무료에 반복 출제 유형이 잘 걸러져서 이 영역 잡는 데는 충분했어요.

SQLD·정처기·컴활·ADsP 무료 CBT 모의고사

시험장 루틴은 네 단계입니다.

1. 표 받자마자 4칸 라벨링
2. 묻는 게 정밀도인지 재현율인지 확인하고 분모 결정
3. 계산 후 0~1 사이인지 상식 체크
4. F1이면 정밀도·재현율 먼저 구하기

이 순서만 몸에 붙이면 평가지표는 버리는 점수가 없는 영역이 됩니다 💪