무작위 · 맹검 · 대조군) (Clinical study design terms: pilot · retrospective cohort · prospective interventional · active control · double-blind · allocation concealment · Delphi
연구 요약문에 붙는 수식어들은 장식이 아니라 그 결과를 어디까지 믿어도 되는지를 알려주는 표시다. 파일럿 시험은 효과가 아니라 실행 가능성을 보는 연구이고, 후향 코호트는 이미 쌓인 기록을 되짚는 관찰이며, 활성 대조군을 쓴 시험은 "효과가 있나"가 아니라 "기존 것보다 나은가"에 답한다. 이중맹검과 배정은폐는 이름이 비슷하지만 작동 시점이 다르고, 은폐가 허술한 시험은 효과를 부풀려 보고하는 경향이 실증적으로 확인돼 있다. 델파이 합의는 근거가 부족한 영역에서 정의를 만들 때 쓰는 절차이며, 그 결과물은 연구 결과가 아니라 정리된 전문가 의견이다( 절차 / 산출물의 성격).
무작위 대조 시험 문서가 설계의 뼈대를 다룬다면, 이 문서는 그 주변에 붙어 다니는 용어들을 정리한다. 이 단어들을 구분할 수 있으면, 논문 제목만 보고도 그 연구가 답할 수 있는 질문의 범위가 어디까지인지 대략 짐작할 수 있다.
파일럿 시험(pilot trial), 또는 타당성 시험(feasibility study)은 본 시험을 돌릴 수 있는지를 확인하는 연구다. 참가자를 예상대로 모을 수 있는지, 중도 탈락은 얼마나 나오는지, 정해둔 절차와 측정이 현장에서 작동하는지를 본다.
여기서 자주 벌어지는 오용이 있다. 파일럿 시험은 애초에 효과를 검출할 만큼의 표본으로 설계되지 않았는데, 결과에서 나온 군간 차이를 마치 효과의 증거처럼 인용하는 것이다. 표본이 작으면 우연한 차이가 크게 나타나기 쉽고, 그 방향은 다음 연구에서 자주 뒤집힌다. 파일럿 시험 보고 지침도 효과 추정치를 주요 결과로 강조하지 말 것을 권한다. 이 설계에서 나온 수치는 다음 연구의 설계를 위한 참고값으로 읽는 것이 맞다.
후향 코호트(retrospective cohort)는 이미 존재하는 기록 — 진료기록, 등록자료, 보험청구 — 에서 집단을 구성하고, 과거의 노출과 그 이후의 결과를 되짚는다. 빠르고 비용이 적게 들며 드문 결과나 긴 추적이 필요한 질문에 유용하다. 대신 기록이 연구를 위해 만들어진 것이 아니라서 필요한 변수가 빠져 있는 경우가 많고, 교란을 통제하기 어렵다. 개입을 배정한 것이 아니므로 인과를 확정하지 못한다( 원칙).
전향 개입연구(prospective interventional study)는 참가자를 등록한 뒤 개입을 부여하고 앞으로 나아가며 결과를 측정한다. 측정 항목과 방법을 미리 정해 통일할 수 있고, 등록부에 계획을 사전 공개하면 결과가 나온 뒤 주요 결과 지표를 바꿔치기하는 일(결과 전환)을 어렵게 만든다. 무작위 배정 여부는 별개의 문제이며, 배정 없이 전향적으로 진행되는 개입연구도 많다.
대조군을 무처치나 위약이 아니라 이미 쓰이는 다른 방법으로 두는 설계를 활성 대조군(active control)이라 한다. "효과가 있는가"가 아니라 "기존 방법보다 나은가, 혹은 못지않은가"에 답한다.
운동·수기 영역에서 이 선택은 결과를 좌우한다. 새 방법을 아무것도 하지 않는 군과 비교하면 차이가 크게 나오고, 이미 효과가 알려진 운동 프로그램과 비교하면 차이가 작거나 사라진다. 같은 개입이 대조군 선택에 따라 정반대 인상을 준다는 뜻이다. 그래서 "유의한 개선"이라는 문장을 볼 때 무엇과 비교한 개선인지 확인하는 것이 먼저다.
'못지않음'을 주장하는 비열등성 설계에서는 어느 정도 차이까지 허용할지를 미리 정해두는데, 그 기준을 넉넉하게 잡으면 결론이 쉽게 만들어진다는 점도 함께 지적된다.
눈가림(맹검)은 누가 어느 군에 속했는지를 모르게 하는 장치다. 참가자와 연구자(또는 결과 평가자)가 모두 모르는 상태를 이중맹검(double-blind)이라 부른다. 다만 '이중'이 정확히 누구와 누구를 가리키는지 논문마다 다르게 쓰이기 때문에, 몇 겹인지보다 누가 무엇을 몰랐는지가 실질적인 정보다.
운동·수기·교육 개입에서는 참가자와 시술자를 완전히 눈가림하는 것이 대개 불가능하다. 그래서 이 분야에서는 결과 평가자 눈가림과 가짜(sham) 대조가 현실적 대안으로 쓰인다. 눈가림이 불가능하다는 사실 자체가 이 분야 근거의 확실성을 낮추는 구조적 이유이며, 이를 두고 "따라서 효과가 없다"고 결론지을 수는 없다는 점도 같이 봐야 한다.
배정은폐(allocation concealment)는 참가자를 등록하는 사람이 다음 배정이 무엇인지 미리 알 수 없게 하는 장치다. 눈가림과 자주 혼동되지만 시점이 다르다. 은폐는 배정 순간까지의 문제이고, 눈가림은 배정 이후 진행 중의 문제다. 무작위표를 만들었더라도 봉투가 비쳐 보이거나 목록을 미리 볼 수 있으면, 등록자가 '이 사람은 치료군에 넣고 싶다'는 판단으로 순서를 조정할 수 있고 무작위화의 이점이 무너진다.
이것이 단순한 형식 문제가 아니라는 것은 실증적으로 확인됐다. 은폐가 불충분하거나 불명확한 시험들이 잘 은폐된 시험들보다 치료 효과를 상당히 크게 보고하는 경향이 대규모 방법론 연구에서 보고됐다(Schulz 외, *JAMA*, 1995). 중앙 배정, 순차 번호가 매겨진 불투명 밀봉 봉투, 약국 통제 같은 방식이 표준적 해법으로 쓰인다.
델파이(Delphi) 기법은 전문가들에게 익명으로 여러 차례 설문을 돌리고, 매 회차마다 전체 응답 분포를 되돌려주어 의견을 수렴시키는 절차다. 미리 정해둔 합의 기준(예: 일정 비율 이상의 동의)에 도달하면 종료한다. 익명성으로 목소리 큰 사람에게 끌려가는 것을 줄이는 것이 설계의 핵심이다.
진단 기준·용어 정의·핵심 결과 지표처럼 연구로는 답이 나오지 않는 문제를 정해야 할 때 널리 쓰인다. 다만 산출물의 성격을 혼동하면 안 된다. 델파이 합의문은 새로운 사실을 발견한 것이 아니라 현재 전문가들이 대체로 이렇게 본다는 상태를 기록한 것이다. 참여 전문가를 어떻게 선정했는지가 결과를 상당 부분 결정하며, 그래서 같은 주제에 대해 다른 집단이 다른 합의를 내놓는 일이 드물지 않다.
"파일럿 시험에서 효과가 확인됐다" . 그 설계는 효과를 확인하도록 만들어지지 않았다.
"코호트 연구니까 인과다" . 전향이든 후향이든 배정하지 않은 관찰은 연관을 보여줄 뿐이다.
"이중맹검이니 신뢰할 수 있다" . 눈가림이 유지됐는지 확인한 시험은 많지 않다. 감각 차이가 뚜렷한 개입에서는 참가자가 자신의 배정을 짐작하는 경우가 흔하다.
"무작위 배정했다고 썼으니 무작위다" . 배정 순서 생성과 배정은폐는 다른 절차이며, 논문에 은폐 방법이 기술되지 않은 경우가 여전히 많다.
*근거등급 범례: 근거 탄탄 / 제한적 / 논쟁적·근거 부족 / 이론·모델 / 일화. 본 문서는 비의료 정보성 백과 항목으로 진단·치료 효과를 단정하지 않는다.*
본 문서는 순수 정보성 서술이며 진단·치료·처방을 담지 않는다. 문장 끝의 색 표시는 서술의 근거 수준을 나타내는 편집 기준이며, 개별 사례의 판단을 대신하지 않는다.
바디리플은 의료기관이 아니며 진단·치료를 제공하지 않습니다. 이 문서의 모든 내용은 일반적인 정보 제공이며, 필요한 경우 의료기관 상담을 함께 고려해 주세요. 이 문서가 어떻게 작성·검수되는지는 편집·근거 방침을 참고하세요.