검사 정확도·측정 용어

건강 정보에는 "신뢰도는 높지만 타당도는 따로 확인해야 한다", "단면연구라 순서를 알 수 없다" 같은 말이 자주 나와요. 처음 보면 낯설지만, 각각 하나의 질문을 담고 있어요. 이 문서에서는 그 질문들을 한자리에 모아 알기 쉬운 예시와 함께 정리했어요. 아래 내용을 순서대로 읽으면 하나의 검사 결과를 네 가지 관점에서 점검하는 요령을 쉽게 파악할 수 있어요.

타당도(validity)는 어떤 도구가 재려던 대상을 실제로 재고 있는지를 말해요. 체중계로 키를 재면 아무리 일관된 숫자가 나와도 키를 확인하는 데는 쓸 수 없어요. 비슷한 개념인 신뢰도는 "다시 재도 같은 값이 나오는가"를 묻고, 타당도는 "그 값이 확인하려는 대상을 제대로 가리키는가"를 물어요.

둘의 관계는 한쪽으로 기울어 있어요. 신뢰도가 낮으면 타당도도 높기 어렵지만, 신뢰도가 높다고 해서 타당도까지 저절로 따라오지는 않아요. 과녁이 엉뚱한 곳에 있어도 늘 같은 자리를 맞힐 수 있으니까요. 타당도는 다음과 같이 구분돼요.

• 내용타당도 — 측정하려는 개념의 범위를 문항이 골고루 담고 있는지 살펴봐요.
• 구성타당도 — 점수가 이론상 관련 있는 다른 지표와 예상한 방향으로 일치하는지 확인해요.
• 준거타당도 — 이미 인정받은 기준과 견주어 살펴봐요. 같은 시점에 비교하면 동시타당도, 미래의 결과를 예측하는지 확인하면 예측타당도예요.
• 안면타당도 — 겉보기에 그럴듯한지를 뜻해요. 가장 약한 형태라서 이것만으로는 충분하지 않아요.

검사에서 발생하는 오류는 크게 두 가지 방향이에요. 실제로 있는 상태를 놓치거나, 없는 상태를 있다고 잘못 판정하는 경우예요. 민감도는 놓치는 오류를, 특이도는 잘못 지목하는 오류를 얼마나 잘 피하는지 보여 줘요. 두 값은 서로 맞물려 있어서, 기준선을 느슨하게 하면 민감도는 올라가고 특이도는 내려가요. 자세한 계산은 아래 각 절에서 설명해요.

여기서 기억할 점은 두 가지예요. 첫째, 민감도와 특이도는 검사에 붙은 고정된 수치처럼 인용되지만, 대상 집단의 구성에 따라 달라질 수 있다고 보고돼 왔어요(Leeflang 외, 2013). 둘째, 사람들이 정말 알고 싶은 것은 "양성이 나왔을 때 실제로 그 상태가 맞는지"인데, 이는 민감도와 특이도만으로 정해지지 않고 그 집단에서 해당 상태가 얼마나 흔한지에 크게 좌우돼요.

연구에서 "통계적으로 유의한 개선"이라는 말은 그 차이가 우연이라고 보기 어렵다는 뜻이에요. 차이가 크다는 뜻은 아니에요. 참가자 수가 아주 많으면 미세한 차이도 통계적으로 유의하게 나올 수 있거든요.

그래서 사람이 "좋아졌다"고 느낄 만한 최소한의 변화 폭을 미리 정해 두고, 관찰된 차이가 그 기준선을 넘어서는지 확인하는 개념이 최소 임상 중요 차이(MCID)예요. 계산 방법과 기준값이 연구마다 달라서, 어떤 기준을 썼는지 같이 보는 것이 좋아요. 자세한 내용은 최소 임상 중요 차이에서 확인할 수 있어요.

단면연구(cross-sectional study)는 한 시점에 원인으로 짐작되는 특성과 나타난 결과를 동시에 측정해요. 어떤 특성이 있는 사람과 없는 사람 사이에 통증 빈도가 다른지를 한 번의 조사로 살펴보는 설계가 대표적이에요.

빠르고 비용이 적게 들어서 어떤 상태가 얼마나 흔한지 파악하거나 가설을 세우는 데 활용도가 높아요. 다만 무엇이 먼저였는지는 알 수 없어요. 특정한 요인 때문에 통증이 생겼는지, 아니면 통증 때문에 그 특성이 나타났는지는 한 번의 조사만으로 전후 관계를 가려낼 수 없거든요. 시간의 방향을 알려면 같은 대상자들을 오래 추적하거나 무작위 대조 시험처럼 미리 배정하는 설계가 필요해요. 설계 이름의 뜻은 임상연구 설계 용어(무작위·맹검·대조군)에서 확인할 수 있어요.

하나의 문장을 네 방향에서 점검해 보세요.

1. 무엇을 재고 있나요? (타당도) 2. 어떻게 틀릴 수 있나요? (민감도와 특이도) 3. 그 차이가 체감될 만큼 큰가요? (최소 임상 중요 차이) 4. 그 결과가 순서를 말해 주나요? (연구 설계)

한 항목의 평가가 좋다고 해서 나머지가 저절로 좋아지지는 않아요. 근거 전체의 확실성을 단계로 정리하는 방법은 GRADE 근거 등급에서 확인할 수 있어요.

민감도(sensitivity)는 실제로 그 상태인 사람들만 놓고 계산한 값으로, 진양성 ÷ (진양성 + 위음성)이에요. 실제 해당자 100명을 검사했을 때 몇 명을 찾아내는지 나타내요. 진양성률이라고도 하고, 기계학습 분야에서는 같은 값을 재현율(recall)이라고 불러요.

결과를 읽을 때 기억할 점은 두 가지예요. 첫째, 기준(절단값)에 따라 달라져요. 기준을 느슨하게 하면 더 많이 양성으로 분류해서 민감도가 올라가고 특이도는 내려가요. 둘째, 민감도는 대상 집단에 해당자가 얼마나 많은지에 크게 영향을 받지 않아요. 반면 "양성이 나왔을 때 실제 해당할 확률"인 양성예측도는 해당 집단의 비율에 따라 크게 달라져요.

SnNout은 민감도(Sensitivity)가 높은 검사에서 음성(Negative)이 나오면 그 상태를 배제(rule out)하는 데 유용하다는 점을 정리한 기억법이에요. 민감도가 높다는 것은 놓치는 경우가 적다는 뜻이라서 음성 결과가 나왔을 때 해당 상태가 아닐 가능성을 뒷받침해 줘요. 다만 모두를 양성으로 판정하는 극단적인 기준에서는 민감도가 가장 높게 나오지만 가려내는 힘은 없어요. 그래서 민감도는 특이도와 함께 읽어야 해요.

특이도(specificity)는 실제로 그 상태가 아닌 사람들만 놓고 계산한 값으로, 진음성 ÷ (진음성 + 위양성)이에요. 1에서 특이도를 뺀 값이 위양성률이에요. 민감도가 '놓치지 않는 힘'이라면 특이도는 '잘못 지목하지 않는 힘'이에요. 특이도가 높은 검사에서 양성이 나오면 해당 상태일 가능성이 높아진다는 기억법이 SpPin(Specificity가 높고 Positive이면 rule in)이에요.

특이도가 왜 중요한지는 해당자가 드문 집단에서 잘 드러나요. 해당 비율이 1%인 집단 10,000명에게 민감도 90%, 특이도 90%인 검사를 한다고 해 볼게요.

• 실제 해당자 100명 중 90명이 양성으로 판정돼요.
• 해당하지 않는 9,900명 중 10%인 990명도 양성으로 나와요(위양성).
• 양성 1,080명 중 실제 해당자는 90명이라 약 8%예요.

검사 성능이 나빠서가 아니에요. 드문 것을 넓게 훑으면 잘못 지목된 사람 수가 제대로 찾은 사람 수보다 많아지기 때문이에요. 대규모 선별검사에서 특이도를 아주 높게 요구하는 이유가 여기에 있어요.

민감도와 특이도를 하나로 묶어 읽을 때는 우도비를 쓰기도 해요. 양성우도비는 민감도 ÷ (1 − 특이도)이고, 음성우도비는 (1 − 민감도) ÷ 특이도예요. 우도비는 검사 전 확률이 검사 결과에 따라 검사 후 확률로 어떻게 달라지는지 보여 줘요.

민감도와 특이도가 "실제로 그런 사람을 검사가 얼마나 잘 가려내는가"를 묻는다면, 예측도는 방향이 반대예요. 검사 결과를 받아 든 입장에서 확인하는 질문이에요.

• 양성예측도(PPV) — 양성이 나온 사람 중 실제로 그 상태인 사람의 비율이에요.
• 음성예측도(NPV) — 음성이 나온 사람 중 실제로 그 상태가 아닌 사람의 비율이에요.

두 값은 그 상태가 집단에서 얼마나 흔한지에 크게 좌우돼요. 같은 성능의 검사라도 드문 상태를 찾으려는 집단에서는 양성예측도가 낮아지고, 흔한 집단에서는 높아져요. 그래서 민감도와 특이도는 검사 자체의 성질에 가깝고, 예측도는 어떤 집단에 썼는지까지 포함한 값으로 읽어야 해요.

곡선하면적(AUC)은 판정 기준선을 옮기면서 민감도와 특이도의 조합을 그린 ROC 곡선 아래의 면적이에요. 특정 기준선 하나에 얽매이지 않고 검사 전체의 변별력을 수치 하나로 요약해 줘요. 0.5는 동전 던지기와 같은 수준이고, 1.0은 완벽하게 구분한다는 뜻이에요. 0.5에서 멀어질수록 구분하는 힘이 커져요.

예측타당도(predictive validity)는 현재 측정한 값이 이후에 일어날 결과를 얼마나 잘 예측하는지 나타내요. 신뢰도가 같은 대상을 보고 일관된 값을 얻는 문제라면, 예측타당도는 그 값이 실제 미래의 결과와 맞아떨어지는지의 문제예요. 검사자들끼리 점수가 완벽하게 일치해도 그 점수가 이후 결과를 제대로 예측하지 못할 수 있어서, 두 가지는 따로 확인해요.

집단 수준에서 위험이 두세 배 높다는 연관과, 한 개인의 미래 결과를 예측하는 능력은 다른 문제예요. 상대위험이나 승산비가 커도 개인 단위의 변별력은 낮을 수 있어요. 기사에서 "위험이 몇 배"라는 말을 보면 AUC나 예측도도 함께 확인해 보세요.

검사자 간 신뢰도(inter-rater reliability)는 같은 사람이나 현상을 두 명 이상의 검사자가 각각 평가했을 때 결과가 얼마나 일치하는지를 나타낸 값이에요. 자세 각도를 측정하거나 움직임의 질을 평가하는 것처럼 사람의 판단이 개입되는 측정에서는, 누가 측정하느냐에 따라 결과가 달라지면 신뢰하기 어려워요. 그래서 신뢰도는 측정이 재현되는지 확인하는 기본 조건이에요. 같은 검사자가 시간 간격을 두고 다시 측정해 결과가 일치하는지 살펴보는 것은 검사자 내 신뢰도(intra-rater reliability)라고 해요.

일치도를 숫자로 나타내는 방법은 자료의 종류에 따라 달라요.

• 급내상관계수(ICC) — 키나 각도처럼 수치 자료에 활용해요. 대략 0.75 이상이면 양호, 0.90 이상이면 우수로 보는 관행이 있지만 절대적인 기준은 아니에요.
• 카파 계수(Cohen's κ) — '정상/비정상'처럼 범주 자료에 써요. 우연히 일치할 몫을 빼고 계산해요.

신뢰도가 높다는 것은 여러 검사자가 측정해도 일관된 결과가 나온다는 뜻이에요. 그 값이 알고 싶은 것을 정확히 가리키는지는 타당도로 따로 확인해요. 또 검사자의 경험이나 훈련 정도에 따라 일치도가 달라질 수 있어서, 연구 결과를 볼 때 검사자가 어떤 훈련을 받았는지 함께 살펴보면 좋아요.