비뚤림 · AMSTAR 2 · 대리 표지자) (Risk of bias · AMSTAR 2 · Surrogate marker · Self-selection · Self-report
연구를 읽을 때 필요한 것은 결론이 아니라 그 결론이 어디서 흔들릴 수 있는지를 짚는 도구다. 비뚤림 위험 평가는 개별 연구가 어느 지점에서 참값을 벗어날 수 있는지를 영역별로 따지고, AMSTAR 2는 체계적 고찰 자체의 질을 16개 항목으로 평가하며, 대리 표지자 개념은 '혈액 수치가 달라졌다'와 '사람이 나아졌다'를 구분하게 한다. 여기에 누가 그 연구에 참여했는지의 문제 — 자기선택 편향, 같은 신념을 공유하는 집단에서의 모집, 검증 없는 자기보고 — 가 겹치면, 인상적인 숫자가 실제로는 매우 약한 근거일 수 있다. 이 도구들은 연구를 깎아내리기 위한 것이 아니라, 어떤 문장까지 말해도 되는지의 선을 정하기 위한 것이다.
편향 문서가 편향이 무엇인지를 다룬다면, 이 문서는 실제로 근거를 읽을 때 쓰는 평가 도구와 함정을 모았다. 특히 건강·식이·대체요법 영역에서 인용되는 설문·사례 근거를 다룰 때 반복해서 필요한 것들이다.
비뚤림 위험(risk of bias) 평가는 연구 전체에 하나의 점수를 매기는 일이 아니다. 결과별로, 그리고 영역별로 판단하는 절차다. 무작위 배정 시험을 평가하는 도구는 배정 과정, 의도한 개입에서의 이탈, 결측 자료, 결과 측정, 보고할 결과의 선택적 선정 같은 영역을 나눠 각각을 판단한 뒤 종합한다. 배정하지 않은 관찰연구를 평가하는 도구는 여기에 교란과 참가자 선정의 문제를 앞세운다.
중요한 점 하나. 비뚤림 위험이 높다는 판정은 결과가 틀렸다는 뜻이 아니다. 틀릴 수 있는 여지가 열려 있다는 뜻이며, 그래서 결론의 확실성을 낮춰 잡게 만든다. GRADE 근거 등급에서 근거 확실성을 내리는 가장 흔한 사유가 이것이다.
체계적 고찰이라고 다 같은 질을 갖지는 않는다. AMSTAR 2는 체계적 고찰 자체를 평가하는 16개 항목의 도구로, 프로토콜을 미리 등록했는지, 검색이 충분했는지, 선정과 자료추출을 두 사람이 독립적으로 했는지, 포함 연구의 비뚤림 위험을 평가하고 그것을 결론 해석에 반영했는지, 제외한 연구 목록을 근거와 함께 제시했는지, 이해상충을 밝혔는지 등을 본다(Shea 외, *BMJ*, 2017).
16개 중 일부는 결정적 영역(critical domain)으로 지정돼 있어, 여기에 결함이 있으면 나머지가 좋아도 전체 신뢰도가 크게 내려간다. 최종 판정은 높음·중간·낮음·매우 낮음의 네 단계로 표현된다. 실제로 이 도구를 대량 적용한 우산형 고찰들에서는 상당수의 발표된 체계적 고찰이 낮음 또는 매우 낮음으로 평가되는 결과가 반복해서 나온다. '체계적 고찰'이라는 이름표가 곧 품질 보증이 아니라는 뜻이다.
대리 표지자(surrogate marker)는 사람이 실제로 관심 있는 결과 대신 측정하는 중간 지표다. 통증·기능·부상 발생·삶의 질처럼 정말 알고 싶은 것은 재기 어렵거나 오래 걸리기 때문에, 혈액 수치나 영상 소견처럼 빨리 재는 값으로 대신하는 것이다.
이 영역에서 자주 등장하는 예들:
원칙은 하나다. 대리 표지자가 움직였다는 결과는 가설을 지지할 뿐, 임상 결과를 대신하지 못한다. 이 층위를 건너뛰는 인용이 건강 정보에서 가장 흔한 과장 경로다.
자기선택 편향(self-selection bias). 참가자가 스스로 지원해 표본이 만들어지면, 그 집단은 일반 인구와 체계적으로 다르다. 특정 방법을 실천 중인 사람만 모으면 그 방법이 잘 맞았던 사람이 과대 표집되고, 맞지 않아 그만둔 사람은 애초에 표본에 없다(생존편향).
에코챔버 모집 편향. 같은 신념을 공유하는 온라인 커뮤니티에서 참가자를 모으면 자기선택이 한층 강해진다. 응답자들이 서로 영향을 주고받은 상태이며, 기대가 결과 보고에 스며들기 쉽다. 중복 응답을 걸러내기도 어렵다.
자기보고(self-report). 증상·체중·검사 수치가 본인 진술로 수집되면 기억의 왜곡과 사회적 바람직성이 개입한다. 검증 없는 자기보고 수치는 측정값이 아니라 진술이다. 특히 잠재적·무증상 상태는 본인이 알아차릴 수 없다는 구조적 한계가 있다.
이 셋이 한 연구에 겹친 대표적 사례가 카니보어 식단 관련 설문이다. 2,029명을 대상으로 한 조사에서 참가자의 약 95%가 건강 개선을 보고했는데, 저자들 스스로 대조군이 없고 결과가 전부 자기보고이며 자료가 예비적이라고 명시했다(Lennerz 외, 2021). 이후 비평은 이념적 커뮤니티에서의 모집 편향, 검증되지 않은 자가보고 수치, 무증상 결핍을 스스로 감지하기 어렵다는 점, 중복 응답 가능성을 지적했다(2022). 95%라는 숫자의 크기가 근거의 강도를 뜻하지 않는다는 것을 보여주는 교과서적 사례다.
"표본이 크니까 믿을 만하다" . 표본 크기는 우연 오차를 줄일 뿐, 체계적 편향은 표본을 키워도 사라지지 않는다. 편향된 방식으로 2,000명을 모으면 편향된 2,000명분의 결과가 나온다.
"체계적 고찰이니 결론이 확실하다" . AMSTAR 2로 평가하면 낮음·매우 낮음으로 나오는 리뷰가 흔하다.
"지표가 좋아졌으니 효과가 있다" . 대리 표지자와 임상 결과의 층위를 건너뛴 진술이다.
"비뚤림이 있다니 이 연구는 쓸모없다" ( 반대 방향의 과장). 완벽한 연구는 없다. 평가의 목적은 폐기가 아니라 결론의 강도를 조절하는 것이다.
*근거등급 범례: 근거 탄탄 / 제한적 / 논쟁적·근거 부족 / 이론·모델 / 일화. 본 문서는 비의료 정보성 백과 항목으로 진단·치료 효과를 단정하지 않는다.*
본 문서는 순수 정보성 서술이며 진단·치료·처방을 담지 않는다. 문장 끝의 색 표시는 서술의 근거 수준을 나타내는 편집 기준이며, 개별 사례의 판단을 대신하지 않는다.
바디리플은 의료기관이 아니며 진단·치료를 제공하지 않습니다. 이 문서의 모든 내용은 일반적인 정보 제공이며, 필요한 경우 의료기관 상담을 함께 고려해 주세요. 이 문서가 어떻게 작성·검수되는지는 편집·근거 방침을 참고하세요.