인지기능 보충제 연구가 어려운 이유, 숫자로 보면

인지기능 관련 제품의 근거가 왜 늘 애매한지 궁금하셨다면, 시험 설계 쪽에 답이 있습니다.

이 분야는 시험을 제대로 하기가 구조적으로 어렵습니다. 그리고 그 어려움의 크기가 숫자로 나와 있습니다.

오늘은 논문을 읽으실 때 무엇을 확인하면 좋은지 정리해 보겠습니다.

 

검사를 반복하면 점수가 올라갑니다

인지기능 시험은 같은 사람에게 같은 검사를 여러 번 합니다. 시작할 때, 중간에, 끝날 때요.

그런데 사람은 같은 검사를 반복하면 익숙해집니다. 이를 학습효과라고 부릅니다.

문헌은 이렇게 정리합니다. 학습효과는 반복 시행되는 거의 모든 표준 인지 과제의 특징이며, 임상시험에서 흔히 중요한 교란 요인이 됩니다[1].

크기도 측정되어 있습니다. 인지장애가 없는 고령자에서 6~12개월 동안 세 번 평가했을 때 복합 인지 지표의 효과크기가 0.25로 추정됩니다[1].

0.25라는 숫자를 기억해 두시면 좋겠습니다. 보충제 시험이 찾으려는 효과와 비슷하거나 더 큰 수준이기 때문입니다.

즉 아무것도 하지 않아도 점수가 그만큼 올라갈 수 있습니다. 위약군에서도 마찬가지로요.

 

방향이 하나가 아닙니다

여기가 제가 생각을 고친 부분입니다.

저는 학습효과가 점수를 올리는 현상이라고만 알고 있었습니다. 그런데 아니었습니다.

문헌의 지적은 이렇습니다. 학습효과가 점수가 올라갈 때만 생긴다는 것이 흔한 견해이지만, 전반적으로 저하하는 중에도 존재할 수 있으며, 이 경우 저하를 과소평가하게 만듭니다[2].

무슨 뜻이냐면 이렇습니다. 실제로는 10만큼 떨어지고 있는데 학습효과가 3만큼 밀어 올려서, 7만 떨어진 것처럼 보이는 상황입니다.

그리고 결과가 이어집니다. 학습효과가 점수를 진단 기준선 위로 부풀려, 경도인지장애 진단이 지연될 수 있습니다[2].

학습효과는 7년에 이르는 재검사 간격에서도 확인됐고, 경도인지장애나 경도 알츠하이머병 환자에서도 3~6개월 후 관찰됐습니다[2].

앞선 인지검사 글에서 학습효과를 짧게 언급했는데, 실제로는 이만큼 까다로운 문제였습니다.

필요한 규모가 큽니다

두 번째 어려움은 규모입니다.

연 1회 기억검사 점수를 결과 지표로 삼을 경우, 30% 효과크기를 확인하려면 약 2,000명을 4년간 추적해야 하는 것으로 추정됩니다[3].

경도인지장애나 치매 발생 자체를 지표로 삼으면 더 커집니다. 수천 명 규모에 최소 5년 이상의 추적이 필요하다고 분석됩니다[4].

이유가 여럿입니다[4].

• 전임상 기간이 수십 년에 걸쳐 있고 변동이 큼
• 고령 인구는 사망과 추적 소실로 탈락률이 높음
• 예방시험에는 더 건강한 사람이 등록하는 선택 편향이 있음

보충제 시험이 이 규모를 감당하기는 어렵습니다. 그래서 대부분 훨씬 작고 짧게 진행됩니다.

 

구조적 한계 목록

미국 국립과학공학의학원 보고서가 이 분야 무작위대조시험의 한계를 정리해 두었습니다[5].

항목	내용
시작 시점	최적 시기를 지난 후기 생애에 개입 시작
추적 기간	불충분한 기간
탈락	높은 탈락률
검정력	작은 표본, 변화 감지에 검정력 부족
측정 도구	최적이 아니고 연구마다 이질적
다중 개입	어느 요소가 효과적인지 구분 어려움
대조군	적절한 대조군 확보 어려움

[표 1] 인지 저하 예방 시험의 구조적 한계 · 출처: 국립과학공학의학원 보고서[5]

같은 보고서는 인지만을 다루는 대규모 1차 시험이 시행되기 어려운 현실적 이유를 인정하면서, 다른 시험에 인지 지표를 덧붙이는 방식을 대안으로 제시합니다[5].

연구자들도 이 어려움을 알고 있다는 뜻입니다. 게으르거나 부실해서 작은 시험이 나오는 것이 아닙니다.

논문을 읽으실 때

이 어려움들을 알고 나면 확인할 항목이 정해집니다.

1. 위약군이 있는가, 그리고 위약군도 좋아졌는가 — 학습효과가 있다면 양쪽 다 올라갑니다. 앞선 안구건조증 글에서 본 것과 같은 구조입니다.
2. 몇 번 검사했고 간격은 얼마인가 — 6~12개월에 세 번이면 효과크기 0.25가 이미 들어 있습니다.
3. 표본이 몇 명이고 기간이 얼마인가 — 수십 명을 8주 본 시험과 2,000명을 4년 본 시험은 다른 질문에 답합니다.
4. 대체 검사지를 썼는가 — 같은 문항을 반복하면 학습효과가 커집니다. 문헌은 잘 맞춘 대체 형식을 완화 방법으로 제시합니다[1].
5. 몇 점이 올랐고 그게 무슨 뜻인가 — 앞선 글에서 다뤘듯 30점 만점에서 1~2점 변화가 실생활에서 무엇을 뜻하는지는 별도의 판단입니다.

 

이 어려움이 뜻하는 것

정리하면 이렇습니다.

근거가 약하다는 것이 효과가 없다는 뜻은 아닙니다. 그리고 효과가 있다는 뜻도 아닙니다.

이 분야는 확인 자체가 구조적으로 어렵고, 그래서 강한 결론이 잘 나오지 않습니다. 앞선 은행잎 글에서 3,069명을 6년 추적한 시험을 다뤘는데, 그런 규모가 드문 이유가 여기 있습니다.

그러니 “임상연구로 확인된”이라는 문구를 보시면, 어떤 규모의 어떤 설계였는지 한 번 확인해 보시는 것이 이 분야에서는 특히 값어치가 있겠습니다.

 

마치며

가장 크게 바뀐 생각은 학습효과의 방향이었습니다.

점수를 올리는 현상이라고만 알고 있었는데, 저하하는 중에도 작동해서 저하를 감춘다는 것이 문헌의 지적이었습니다. 그래서 진단이 늦어질 수도 있고요.

그리고 필요한 규모를 보고 나니, 왜 이 분야에 강한 결론이 드문지 이해가 됐습니다. 연 1회 검사로 30% 효과를 확인하려면 2,000명을 4년, 치매 발생을 보려면 수천 명을 5년입니다.

이건 연구자들의 문제가 아니라 문제 자체의 성질입니다. 국립과학공학의학원 보고서도 그 현실을 인정하면서 대안을 찾고 있었습니다.

그러니 이 분야의 애매한 결론들을 볼 때, 결론이 애매한 것과 답이 없는 것을 구분해서 읽으시면 좋겠습니다.

용어 풀이

• 학습효과 — 같은 검사를 반복하면서 익숙해져 점수가 올라가는 현상입니다.
• 효과크기 — 차이가 얼마나 큰지를 나타내는 값. 0.25는 작은 편에 속합니다.
• 교란 요인 — 결과에 영향을 주어 해석을 흐리는 요소입니다.
• 검정력 — 실제로 차이가 있을 때 그것을 찾아낼 수 있는 능력입니다.
• 선택 편향 — 참가자가 모집되는 과정에서 특정 성향의 사람이 몰려 생기는 치우침입니다.
• 대체 형식 — 같은 능력을 재되 문항이 다른 검사지입니다.

한눈에 정리

• 학습효과는 반복되는 거의 모든 표준 인지 과제에서 나타나는 교란 요인
• 인지장애 없는 고령자에서 6~12개월 세 번 평가 시 효과크기 0.25
• 점수가 오를 때만이 아니라 저하 중에도 작동해 저하를 과소평가하게 만듦
• 그 결과 경도인지장애 진단이 지연될 수 있음
• 7년 재검사 간격에서도 확인되며, 경도인지장애·경도 알츠하이머에서도 3~6개월 후 관찰
• 연 1회 기억검사로 30% 효과크기 확인 시 약 2,000명·4년 추적 필요
• 치매 발생을 지표로 하면 수천 명·최소 5년
• 이유: 수십 년의 전임상 기간, 높은 탈락률, 건강한 사람이 등록하는 선택 편향

※ 본 글은 연구 설계의 특성을 이해하는 데 도움을 드리기 위한 정보 제공용이며, 의학적 진단이나 처방을 대체하지 않습니다. 특정 제품을 평가하거나 권하는 내용이 아닙니다. 기억력이나 인지 기능의 변화가 걱정되신다면 보충제를 검토하시기보다 의료기관에서 확인하시기 바랍니다. 약을 복용 중이시라면 제품 섭취 전 전문가와 상담하시기 바랍니다.

 

참고자료

1. 「Practice effects due to serial cognitive assessment: Implications for preclinical Alzheimer’s disease randomized controlled trials」, Alzheimer’s & Dementia: Diagnosis, Assessment & Disease Monitoring (효과크기 0.25 및 완화 방법), https://pubmed.ncbi.nlm.nih.gov/27239497/
2. 「Cognitive Practice Effects Delay Diagnosis; Implications for Clinical Trials」, medRxiv (저하 중 학습효과, 진단 지연, 7년 간격 및 경도인지장애에서의 관찰), https://www.medrxiv.org/content/10.1101/2020.11.03.20224808.full.pdf
3. 「Use of High-Frequency In-Home Monitoring Data May Reduce Sample Sizes Needed in Clinical Trials」, PLOS One (연 1회 기억검사 기준 2,000명·4년 추정), https://journals.plos.org/plosone/article?id=10.1371%2Fjournal.pone.0138095
4. 「Design and Sample Size Considerations for Alzheimer’s Disease Prevention Trials Using Multistate Models」, PMC (수천 명·5년 이상, 탈락 및 선택 편향), https://pmc.ncbi.nlm.nih.gov/articles/PMC6442939/
5. 「Preventing Cognitive Decline and Dementia: Methodological Improvements」, National Academies of Sciences, Engineering, and Medicine, NCBI Bookshelf (구조적 한계 목록 및 대안), https://www.ncbi.nlm.nih.gov/books/NBK453389/