Inter-rater Reliability
검사자 간 신뢰도는 같은 대상을 서로 다른 검사자가 관찰·측정했을 때 결과가 얼마나 일치하는가를 나타내는 지표로, 흔히 급내상관계수(ICC)나 카파(κ)로 표현한다. 핵심은 '신뢰도가 높다 = 정확하다(타당하다)'가 아니라는 점이다 — 여러 사람이 똑같이 재현하는 것과, 그 측정이 실제로 의미 있는 것을 맞히는 것(타당도)은 별개의 문제다. 그래서 신뢰도가 좋은 검사도 예후·인과를 예측하는 힘은 약할 수 있다.
검사자 간 신뢰도(inter-rater reliability)는 동일한 사람이나 현상을 두 명 이상의 검사자가 각각 관찰·평가했을 때 그 결과가 얼마나 서로 일치하는지를 수치화한 것이다. 자세 각도를 재거나 움직임의 질을 채점하는 것처럼 사람의 판단이 개입하는 측정에서, "누가 재느냐에 따라 값이 달라진다면" 그 도구로 얻은 결론을 신뢰하기 어렵다. 신뢰도는 그 재현 가능성을 확인하는 최소 조건이다.
같은 검사자가 시간 간격을 두고 다시 재도 값이 일치하는지를 보는 것은 검사자 내 신뢰도(intra-rater reliability)라 하며, 둘을 묶어 측정의 안정성을 평가한다.
수치 자료에는 흔히 급내상관계수(ICC, intraclass correlation coefficient), 범주(있다/없다 등) 자료에는 카파 계수(Cohen's κ)가 쓰인다. ICC는 대략 0.75 이상이면 양호, 0.90 이상이면 우수로 해석하는 관행이 있으나 절대 기준은 아니다. 예를 들어 사진으로 전방머리자세를 재는 두개척추각(CVA) 측정은 검사자 간 신뢰도가 비교적 높게 보고된다(ICC 약 0.88, ) — 즉 여러 사람이 재도 비슷한 각도가 나온다.
가장 중요한 오해는 '신뢰도가 높으니 맞는 측정'이라고 여기는 것이다. 신뢰도는 재현성(consistency)을, 타당도는 정확성(측정하려던 것을 실제로 재는가)을 뜻한다. 여러 사람이 늘 똑같이 빗나갈 수도 있으므로, 일관성은 정확성을 보장하지 않는다.
움직임 선별검사(FMS)가 대표적이다. 훈련받은 검사자끼리 점수가 잘 일치해 신뢰도는 우수하지만, 그 점수로 실제 부상자를 맞히는 예측력은 약하다는 것이 메타분석의 결론이다(예후 인자·효과 크기 참조, ~). 선택적 기능동작평가(SFMA)는 신뢰도가 검사자 경험에 크게 좌우되어 초보 검사자에서는 일치도가 떨어지는 것으로 보고된다.
본 문서는 순수 정보성 서술이며 진단·치료·처방을 담지 않는다. 문장 끝의 색 표시는 서술의 근거 수준을 나타내는 편집 기준이며, 개별 사례의 판단을 대신하지 않는다.
바디리플은 의료기관이 아니며 진단·치료를 제공하지 않습니다. 이 문서의 모든 내용은 일반적인 정보 제공이며, 필요한 경우 의료기관 상담을 함께 고려해 주세요. 이 문서가 어떻게 작성·검수되는지는 편집·근거 방침을 참고하세요.