임상시험에 활용되는 AI

과학적 언어를 일반언어로 바꾸기

사람들은 자주 임상 결과를 치우침 없는 알기 쉬운 언어로, 그것도 고품질로 요약하는 데 들이는 노력과 기술을 과소평가합니다. 요약본을 작성하려면 언어, 커뮤니케이션, 시각 디자인 기술은 물론 다음을 비롯한 다양한 전문 분야의 협업이 필요합니다.

• 임상시험 연구 방법론
• 규제 요건
• 생물의학 통계
• 건강 정보 이해력 원칙

무엇보다도, 임상연구 결과를 요약할 때는 다음과 같은 위험이 발생할 수 있습니다.

• 짧은 요약본에 사용할 임상시험계획서 평가변수를 선택할 때 의도하지 않은 편향 발생
• 임상시험 결과를 부정확하게 기술함으로써 과학적 신뢰성 저해
• 스타일이나 어조의 부적절한 변경(예: 홍보성 문구의 사용 또는 입증되지 않은 성과 주장)
• 요약본 번역 과정에서 언어 스타일, 용어 및 정확성이 유지되지 않음
• 과학 지식이 부족한 일반인이 요약본을 이해할 수 있도록 돕기 위한 건강 정보 이해력 및 수리 정보 이해력 원칙을 고려하지 못함

임상연구 결과를 요약하고 대중에 공개하는 데에는 위험이 따르기 때문에 상당수의 임상시험의뢰자가 PLS 개발에 AI를 도입하는 데 신중한 태도를 보입니다. 연구에 필요한 다양한 분야에 대한 전문지식이 부족한 임상시험의뢰자는 AI 도입 활용 사례를 정의하고 AI와 사람의 개입 간에 적절한 균형을 맞추기 어려울 수 있습니다.

임상시험에서 AI의 잠재적 이점

AI를 적절하게 활용하면 일반언어로 요약하고 초안을 작성하는 부담을 크게 줄일 수 있습니다. 임상시험에 AI를 도입한다고 해서 AI가 사람을 대체할 수 있는 것은 아닙니다. EU AI 규제법에 따르면, AI 시스템 배포자는 필요한 역량, 교육 자격 및 권한을 갖춘 사람에게 AI 감독을 맡겨야 합니다. 사람은 다음을 기준으로 맥락을 정의하고 AI 결과물을 검증해야 합니다.

• 임상연구 내에서 쓰이는 고유 지식
• 문화적 뉘앙스
• PLS의 어조

또한 임상시험에서 AI에 지나치게 의존하는 것은 위험합니다. 요약본이 부정확할 경우 잠재적인 피해나 불신이 발생할 수 있기 때문입니다.

PLS를 통한 커뮤니케이션의 민감성과 언어적 문제를 고려할 때, AI는 PLS 초안 작성 단계를 자동화하는 데 사용하는 것이 좋습니다. 이후에 AI를 활용해 다음과 같은 요약본 작성의 다른 단계를 최적화할 수 있습니다.

• 수정
• 개선
• 번역

임상시험의뢰자는 탁월한 프롬프트 엔지니어링 역량을 활용한 자동화 방식으로 PLS 초안을 작성할 수 있습니다. 대규모 언어 모델(LLM)에 적절한 지침을 입력하면 임상시험 결과보고서를 비롯해 임상시험계획서, 환자동의서, 표, 목록, 그래프와 같은 관련 참고문서에서 사전 정의된 정보를 추출하고 요약할 수 있습니다. 프롬프트가 부적절하면 응답의 품질도 낮아지므로 PLS 작성의 부담도 커집니다. 이러한 부담을 피하기 위해 엔지니어링 전문가는 다음과 같은 문제를 방지할 수 있도록 프롬프트 엔지니어링을 설계해야 합니다.

• LLM 환각
• 컨텍스트 창(LLM이 한 번에 입력받아 처리할 수 있는 텍스트의 양) 제한
• 잘못된 정보 제시

PLS 개발 시 편견, 누락, 왜곡 방지

편향은 임상연구 결과 요약에 존재하는 것으로 알려진 위험 요소로, 임상시험의뢰자는 일반언어 요약본을 작성할 때 편향을 줄이는 데 힘써야 합니다. 특히 요약본에 포함할 평가변수를 선택할 때 편향의 개입을 막는 것이 필수적입니다. 3상 또는 4상 임상시험계획서에는 1차, 2차, 3차 평가변수가 포함될 수 있습니다. 임상시험의뢰자는 일부 평가변수가 환자와 관련이 있어 PLS에 포함해야 한다고 판단할 수 있습니다. 일반언어 요약본 관리 기준(GLSP)에서는 임상시험의뢰자에게 평가변수 선택을 위한 프레임워크를 구축 및 문서화하고 이에 따라 요약본에 포함할 평가변수를 사전 정의할 것을 권고합니다. 이렇게 하면 PLS에 포함할 평가변수를 선택할 때 편향이 발생할 위험을 방지할 수 있습니다. 임상시험의뢰자가 이처럼 미리 선택한 평가변수를 PLS 프롬프트 템플릿에 추가하면 LLM은 정확한 결과를 제시하고 추출할 수 있게 됩니다.

일반적인 부작용이나 임상시험 참여 환자 모집을 위한 선정 및 제외 기준을 요약하도록 LLM에 지시할 때도 PLS 개발 프로세스에서 편향, 누락 또는 왜곡이 발생할 수 있습니다. 고급 프롬프트 엔지니어링 과정이나 사람의 감독을 거치지 않으면 LLM은 환자에게 중요한 부작용을 누락하거나 맥락에 대한 이해 부족으로 안전성 데이터를 잘못 해석할 수도 있습니다. 또는 주요 선정 기준을 누락할 수도 있고, 임상시험의 맥락에서 관련성이 낮은 기준을 요약본에 추가할 수도 있습니다. 임상시험팀과 의료문서 작성자는 PLS가 다음 요건을 충족하는지 확인해야 합니다.

• 환자의 이익을 반영할 것
• 유리한 결과와 불리한 결과를 모두 제시할 것
• 과학적 정보와 의미가 일치할 것

임상 개발 프로그램 전반에 걸친 준비, 개선 및 확장

숙련된 프롬프트 엔지니어는 프롬프트 템플릿을 준비하여 세부적으로 수정하고, 프롬프트 재활용을 자동화하며, 워크플로 최적화를 위해 후처리 프롬프트를 실행할 수 있습니다. 사전에 마스터 프롬프트 템플릿을 개발하고 테스트하면 임상시험의뢰자는 자동 작성된 PLS 초안을 개선할 수 있습니다. 임상시험의뢰자가 적용하는 방법에 따라 PLS의 프롬프트 수정 과정을 여러 차례 반복해야 할 수 있습니다. 임상 개발 프로그램의 한 임상시험에 사용된 프롬프트 템플릿을 다른 임상시험에서 재사용 및 구성할 수도 있습니다. AI가 발전하고 자연어 전반에서 말뭉치가 개선됨에 따라, 소스 언어로 PLS 초안을 작성하는 단계부터 대상 언어로 번역하기까지 전체 프로세스를 더욱 간소화할 수 있습니다.

LLM은 방대한 데이터세트를 기반으로 학습되므로 원하는 PLS 결과물을 얻으려면 세부적인 조정과 탁월한 프롬프트 엔지니어링 과정을 거쳐야 합니다. 임상시험의뢰자는 사람이 프롬프트를 작성하고, 그 과정에서 편향이 발생해 LLM에 의해 확대, 재생산될 수 있음을 유념해야 합니다. (의도적이든 아니든) 임상시험에서 활용한 AI로 인해 비롯된 이러한 편향은 임상 결과 요약을 왜곡하거나 한쪽으로 치우치도록 만들 수 있습니다.

문의하기

책임있는 AI 사용이란 감추는 것 없이 투명하게 AI를 사용한다는 의미합니다. EU AI 규제법에 따르면, 임상시험에서 AI를 활용해 일반 공개용 텍스트를 생성하거나 조작하는 기관은 반드시 해당 사실을 공개해야 합니다. 임상시험의뢰자는 PLS 프로세스의 어느 지점에 어떤 방식으로 LLM을 적용했는지 명확하게 밝혀야 합니다.

라이온브리지는 당사의 AI 사용에 대한 신뢰를 구축하고 임상연구 커뮤니티, 고객, 일반 대중의 AI 신뢰를 확보하기 위해 TRUST 프레임워크를 개발했습니다. AI를 활용한 임상시험에 대한 자세한 내용은 라이온브리지 전자책 생명과학 분야의 AI 및 언어 전략에서 확인할 수 있습니다. 지금 바로 라이온브리지에 문의해 보세요.