검사 정확도·측정 용어

위키가 어떤 검사나 지표를 다룰 때 "신뢰도는 괜찮은데 타당도는 약하다"거나 "단면연구라 인과를 말할 수 없다" 같은 문장이 반복해 나온다. 이 문서는 그 표현들이 각각 무엇을 뜻하는지를 한자리에 모아 둔다. 개별 지표를 깊이 다루는 문서들이 따로 있으므로, 여기서는 네 용어가 어떻게 다른 질문에 답하는지에 초점을 둔다.

타당도(validity) 는 어떤 도구가 재려던 것을 실제로 재고 있는지를 가리킨다. 검사자 간 신뢰도가 다루는 신뢰도와 자주 뭉뚱그려지지만 물음이 다르다. 신뢰도는 "다시 재면 같은 값이 나오는가"이고, 타당도는 "그 값이 알고 싶은 것을 가리키는가"이다.

둘의 관계는 비대칭이다. 신뢰도가 낮으면 타당도도 높을 수 없지만, 신뢰도가 높다고 타당도가 보장되지는 않는다. 잘못 겨눈 과녁을 정확히 반복해 맞히는 상황이 가능하기 때문이다. 몸을 다루는 분야에서 "검사자들끼리 판정이 잘 일치한다"는 결과가 곧 "그 검사가 통증이나 손상을 알아낸다"는 뜻으로 옮겨 쓰이는 오류가 여기서 나온다( 원칙).

타당도는 다시 몇 갈래로 나뉜다.

• 내용타당도 — 재려는 개념의 범위를 문항·항목이 골고루 담고 있는가.
• 구성타당도 — 그 도구의 점수가 이론적으로 예상되는 다른 지표들과 예상한 방향·크기로 관계 맺는가.
• 준거타당도 — 이미 인정된 기준과 비교했을 때 어떤가. 같은 시점에 비교하면 동시타당도, 미래의 결과를 맞히는지 보면 예측타당도다.
• 안면타당도 — 겉보기에 그럴듯한가. 가장 약한 종류이며, 근거로 쓰이기 어렵다.

움직임 평가·자세 평가 계열에서 논쟁이 몰리는 곳은 거의 언제나 예측타당도다. 점수가 낮은 사람이 실제로 더 다치는가라는 질문에 대한 근거가, 검사자 간 일치도에 대한 근거보다 훨씬 얇은 경우가 반복된다(~, 도구마다 다름).

민감도는 실제로 그 상태인 사람을 검사가 얼마나 잘 잡아내는가이고, 특이도는 그 상태가 아닌 사람을 얼마나 잘 걸러내는가다. 두 값은 서로 맞바꿔지는 관계여서, 기준선을 낮춰 민감도를 올리면 특이도가 내려간다. 자세한 내용은 민감도·특이도 문서가 다룬다.

여기서 함께 기억할 점은 두 가지다. 첫째, 민감도·특이도는 검사에 고정된 상수처럼 인용되지만 대상 집단의 구성에 따라 달라진다고 보고돼 왔다(Leeflang 외, 2013, *CMAJ*). 둘째, 사람들이 실제로 알고 싶은 것은 "검사가 양성인데 정말 그런가"인데, 이 값(예측도)은 민감도·특이도만으로 정해지지 않고 그 집단에서 해당 상태가 얼마나 흔한지에 크게 좌우된다. 이 구분은 검사 정확도 지표(예측도·AUC·예측타당도)에서 다룬다.

연구에서 "통계적으로 유의한 개선"이라는 문장은 그 차이가 우연으로 보기 어렵다는 뜻일 뿐, 그 크기가 사람에게 의미 있다는 뜻이 아니다. 참가자가 많으면 아주 작은 차이도 유의해질 수 있다.

이 간극을 메우려는 개념이 최소 임상 중요 차이(MCID) 다. 사람이 "좋아졌다"고 느낄 만한 최소한의 변화 폭을 미리 정해 두고, 관찰된 차이가 그 선을 넘는지 보는 방식이다. 산출 방법과 기준값이 연구마다 다르다는 한계가 있다(최소 임상 중요 차이).

단면연구(cross-sectional study) 는 한 시점에 노출과 결과를 동시에 측정한다. 어떤 특성을 가진 사람과 그렇지 않은 사람 사이에 통증 빈도가 다른지를 한 번의 조사로 확인하는 설계가 여기 해당한다.

빠르고 비용이 적게 들어 유병률 파악과 가설 생성에 유용하다. 그러나 결정적인 한계가 있다. 무엇이 먼저였는지를 알 수 없다. 자세가 달라서 아픈 것인지, 아파서 자세가 달라진 것인지를 이 설계는 구분하지 못한다(역인과의 문제)( 원칙). 아픈 사람이 활동을 줄여 측정값이 달라지는 경우도 마찬가지다.

이 한계가 위키에서 자주 언급되는 이유는, 자세·정렬·체형과 통증의 관계를 다룬 연구 상당수가 단면 설계이기 때문이다. 연관이 관찰됐다는 사실과 원인이 밝혀졌다는 진술 사이의 거리를 표시해 두는 것이 이 용어의 역할이다. 시간의 방향을 확보하려면 전향 추적이나 배정 설계가 필요하다(임상연구 설계 용어(무작위·맹검·대조군)·무작위 대조 시험).

이 넷은 하나의 문장을 네 방향에서 검문한다. 무엇을 재고 있는가(타당도) → 어떻게 틀리는가(민감도·특이도) → 그 차이가 체감될 크기인가(MCID) → 그 결과가 순서를 말해 주는가(설계). 어느 한 칸이 좋다는 이유로 나머지를 건너뛴 요약이 오해의 대부분을 만든다. 근거 전체의 확실성을 등급으로 정리하는 방식은 GRADE 근거 등급에서 다룬다.

"신뢰도가 높으니 믿을 만한 검사다". 일관되게 재는 것과 옳은 것을 재는 것은 다르다.

"정확도 90%인 검사". 정확도라는 단일 숫자는 대상 집단에서 해당 상태가 얼마나 흔한지에 따라 크게 흔들린다. 드문 상태에서는 전부 음성으로 판정해도 정확도가 높게 나온다.

"유의미한 차이가 나왔다". 통계적 유의성은 크기의 정보를 담지 않는다. 효과의 크기와 신뢰구간, 그리고 그 크기가 체감될 만한지를 함께 봐야 한다.

"연관이 확인됐으니 원인이다". 단면 설계에서 나온 연관은 시간의 방향을 담지 못한다.

• Mokkink LB 외 (2010). 건강 측정 도구의 측정 속성에 대한 용어와 정의의 국제 합의(COSMIN) — 신뢰도·타당도·반응성의 위계적 정리. Journal of Clinical Epidemiology.
• Terwee CB 외 (2007). 건강 상태 설문의 측정 속성에 대한 질 기준 제안. Journal of Clinical Epidemiology.
• Leeflang MMG, Rutjes AWS, Reitsma JB, Hooft L, Bossuyt PMM (2013). 질병 유병률에 따른 검사 민감도·특이도의 변동. CMAJ.

*근거등급 범례: 근거 탄탄 / 제한적 / 논쟁적·근거 부족 / 이론·모델 / 일화. 본 문서는 비의료 정보성 백과 항목으로 진단·검사 해석을 제공하지 않는다.*