AI och kliniska prövningar

Från fackspråk till klarspråk

Det underskattas ofta hur stora arbetsinsatser och färdigheter som krävs för att göra högkvalitativa och balanserade allmänspråkliga sammanfattningar av kliniska resultat. Det är en tvärvetenskaplig uppgift som kräver kunskaper i språk, kommunikation och visuell design samt expertis inom:

• Forskningsmetodik i kliniska prövningar
• Regulatoriska krav
• Biomedicinsk statistik
• Hälsolitteracitetens principer.

Dessutom är processen för sammanfattning av kliniska forskningsresultat utsatt för risker, inklusive:

• oavsiktlig bias vid urval av protokollslutpunkter för en kort sammanfattning
• felaktig presentation av försöksresultat, vilket hotar den vetenskapliga integriteten
• oönskade förändringar i stil eller ton, t.ex. genom att introducera kommersiellt språk eller grundlösa påståenden om resultat
• utmaningen i att behålla språkets stil, terminologi och noggrannhet under översättningen av sammanfattningen
• texter skapade utan att ta hänsyn till hälsolitteracitet och räkneförmåga för att se till att sammanfattningar enkelt kan läsas av en icke-vetenskaplig målgrupp.

Med tanke på riskerna med att sammanfatta och offentliggöra kliniska forskningsresultat är många prövningssponsorer försiktiga med att börja använda AI i sina allmänspråkliga sammanfattningar. Att definiera ett användningsfall för AI-användning och den rätta balansen mellan AI och mänsklig inblandning kan vara en utmaning för sponsorer som saknar nödvändig multidisciplinär expertis.

Vilka är de potentiella fördelarna med AI i kliniska prövningar?

Under ett korrekt användningsfall kan AI avsevärt minska insatserna för att utarbeta allmänspråkliga sammanfattningar. Det finns ingen risk att AI ersätter människan i kliniska prövningar. Enligt EU:s AI-förordning ska den som använder AI-system se till att individer med nödvändig kompetens, utbildning och behörighet har översyn över arbetet. En människa ska definiera kontexten och validera AI-utdata baserat på:

• Unik kunskap inom klinisk forskning
• Kulturella nyanser
• Allmänspråklig ton

Dessutom finns det risker med att förlita sig på AI i alltför hög grad i kliniska prövningar, med tanke på de potentiella skador och den misstro som en felaktig sammanfattning skulle kunna orsaka.

Innehållet i dessa allmänspråkliga sammanfattningar är känsligt och rymmer ofta språkliga utmaningar. Därför rekommenderar Lionbridge att AI används för att automatisera det första utkastet till en sådan sammanfattning. Därefter kan AI användas för att optimera arbetsflödet i de övriga stegen av sammanfattningen:

• Revidering
• Anpassning
• Översättning.

Sponsorer kan automatiskt skapa ett första utkast till en allmänspråklig sammanfattning med hjälp av noggrant utformade AI-prompter. En stor språkmodell (LLM) kan instrueras att extrahera och sammanfatta fördefinierad information från den kliniska prövningsrapporten och andra relevanta referensdokument, såsom kliniskt prövningsprotokoll, formulär för informerat samtycke och tabeller, listor och grafer. En dålig prompt genererar svar av låg kvalitet, vilket försvårar arbetet med att skriva den allmänspråkliga sammanfattningen. För att undvika det här problemet bör experterna utforma prompterna så att de motverkar:

• Hallucinationer i stora språkmodeller
• Kontextfönsterbegränsningar
• Presentation av felaktig information.

Undvik fördomar, utelämnanden och felaktig information när du tar fram allmänspråkliga sammanfattningar

Fördomar är en känd risk inom forskningssammanfattningar, och prövningssponsorer måste motverka dem när de utvecklar allmänspråkliga sammanfattningar. Det är särskilt viktigt vid valet av vilka slutpunkter som ska stå med i sammanfattningen. Ett fas 3- eller 4-protokoll kan inkludera primära, sekundära och tertiära slutpunkter. Sponsorn kan bestämma att vissa är patientrelevanta och bör ingå i den allmänspråkliga sammanfattningen. Enligt vägledningen Good Lay Summary Practice (GLSP) bör sponsorer fördefiniera vilka slutpunkter som ska inkluderas enligt ett fastställt dokumenterat ramverk. På så sätt blir det enklare att undvika fördomar i valet av slutpunkter till en allmänspråklig sammanfattning. Prövningssponsorer kan lägga in sådana förvalda slutpunkter i en promptmall för sammanfattningen för att säkerställa att den stora språkmodellen samlar in och presenterar korrekta resultat.

Fördomar, utelämnanden eller felaktig information kan också förekomma när en allmänspråklig sammanfattning tas fram, till exempel om den stora språkmodellen instrueras att sammanfatta vanliga biverkningar eller inkluderings- och exkluderingskriterier för rekrytering av patienter till kliniska prövningar. Utan noggrant skrivna prompter och mänsklig övervakning kan stora språkmodeller utelämna biverkningar av intresse för patienter eller till och med misstolka säkerhetsdata på grund av otillräcklig kontext. De kan också missa viktiga behörighetskriterier och sammanfatta mindre relevanta kriterier i försökssammanhang. Prövningsteam och medicinska skribenter bör se till att den allmänspråkliga sammanfattningen

• tillgodoser patientens intressen
• presenterar gynnsamma och ogynnsamma resultat
• överensstämmer med vetenskapliga nyanser

Förbered, anpassa och skala upp för olika kliniska utvecklingsprogram

Duktiga prompttekniker kan förbereda och anpassa promptmallar, automatisera återvinning av prompter och utföra efterbehandling av prompter för att få ett optimalt arbetsflöde. Genom att i ett tidigt skede utveckla och testa en huvudmall för prompter kan sponsorer förbättra kvaliteten på det första, automatiserade utkastet. Beroende på vilken metod prövningssponsorn använder kan prompterna till sammanfattningen behöva justeras flera gånger. Promptmallar kan även återanvändas och anpassas från en prövning till en annan i ett kliniskt utvecklingsprogram. I takt med att AI utvecklas och korpusen förbättras för naturligt språk kan hela processen effektiviseras ytterligare, från utkast till en allmänspråklig sammanfattning på källspråket till översättning av den till målspråken.

Stora språkmodeller tränas med en enorm samling datauppsättningar, så det är viktigt att utforma och finjustera prompter av högsta kvalitet för att skapa den önskade allmänspråkliga sammanfattningen. Sponsorer bör komma ihåg att människor genererar prompterna och kan introducera fördomar som stora språkmodeller kan förstärka eller reproducera. Sådana fördomar som härrör från AI och kliniska prövningar (avsiktliga eller inte) kan leda till snedvridna eller obalanserade resultatsammanfattningar.

Kontakta oss

Ansvarsfull AI-användning är transparent AI-användning. Enligt EU:s AI-förordning ska sponsorer av kliniska prövningar som använder AI för att generera eller manipulera innehåll avsett för allmänheten tydligt informera om detta. Det ska vara tydligt var och hur testsponsorerna tillämpar stora språkmodeller i processen för allmänspråkliga sammanfattningar.

Lionbridge har tagit fram ett TRUST-ramverk för att öka förtroendet för vår användning av AI och säkerställa AI-förtroende inom forskningsvärlden och hos kunder och allmänheten. Om du vill veta mer om AI och kliniska prövningar kan du läsa vår e-bok: AI och språkstrategier för Life Sciences. Hör av dig.