AI-baserad självkorrigering

Det är avgörande att välkomna generativ AI för att lyckas, i synnerhet när dina konkurrenter gör detsamma för sina arbetsflöden, översättning eller skapande och optimering av innehåll. En viktig aspekt vid användning av generativ AI är självkorrigering. Tyvärr kan stora språkmodeller (LLM) leverera resultat med felaktigheter, och det kan bero på ett par olika faktorer. De data som används för att träna en LLM kan nämligen innehålla problematisk eller felaktig information. Ibland kan AI-verktyg också ”hallucinera”, det vill säga hitta på information. För att hantera problem med AI-resultat går det att vidta ”självkorrigeringsåtgärder” i den första omgången prompter. (En del experter har också kallat detta ”självkritik” eller ”självförbättring”.) Flera studier har testat metoder som kräver att LLM granskar sina egna resultat och förbättrar svaren innan de levereras. I vårt blogginlägg kan du läsa mer om några av teknikerna som används för att införa självkorrigering i AI-lösningar (eller be en AI-lösningsleverantör göra det). I bloggen tar vi också upp begränsningar med AI-baserad självkorrigering.

Vanlig taktik för AI-baserad självkorrigering

I nuläget finns det fyra sätt att införa AI-baserad självkorrigering:

1. Prompter som betonar korrekthet: Ibland kan det fungera att lägga till en prompt som betonar korrekthet i en serie prompter. Här är ett populärt inlägg som publicerades på engelska på X:

2. Förvandla AI-verktyg till experter: Ett sätt att förebygga felaktigheter är att förvandla AI-verktyget till en expert som är mindre benägen att begå fel. Många användare och AI-tjänstleverantörer, bland annat en grupp GitHub-utvecklare, skapar prompter som befaller AI-verktyg att agera som experter. En intressant detalj är att de bästa expertpersonligheterna är de som har fått mest information om att använda bra metoder – förutsatt att de är vedertagna. Om kommandona är alltför generella kan AI-verktyget börja hallucinera fram innehåll. Det räcker exempelvis inte att säga ”Du är en skicklig karriärrådgivare”. Prompterna bör innehålla vägledning om vilka bra metoder som karriärrådgivare rent generellt bör använda. En annan bra metod är att provköra promptserien med en uppgift som du vet svaret på. På så sätt kan du enklare avgöra hur du ska finslipa expertpersonligheterna. Ibland kan det till och med vara smart att skapa flera versioner av prompter om en expertpersonlighet beroende på vilken typ av uppgift som ska utföras. GitHub-utvecklarna tog fram en lista med 15 promptserier som de använde för att förvandla AI-verktyget till en skicklig assistent. Även om de inte är ensamma om att göra det här, så är deras lista intressant eftersom den är så omfattande.

3. Lägga till ”pre-hoc”- eller ”post-hoc”-prompter: Det går att lägga till prompter som förändrar stilnivån på AI-resultaten. Stilen behöver kanske vara mer formell eller informell eller innehållet anpassas till högutbildade målgrupper. Om prompterna läggs till efter att resultatet har genererats kallas de ”post-hoc”-prompter. Enligt ett aktuellt forskningsprojekt från Googles DeepMind uppnås de bästa resultaten när pre-hoc- och post-hoc-prompterna är jämnstarka.

4. Använda prompter för att hantera fördomar: Om LLM inte tränas med rätt data kan resultatet spegla fördomarna hos de miljontals människor som sprider hatfullt innehåll på internet. Enligt en aktuell studie av AI-laboratoriet Anthropic går det att använda förstärkningsträning baserad på mänsklig feedback (RLHF) för att träna en LLM att producera resultat utan (eller med mindre) rasism, åldersdiskriminering, fördomar osv. Inkludera instruktioner i AI-designen som tar hänsyn till de allmänna etiska principer som ditt team kommer överens om. En del i den här processen är att lägga till en rad i prompter som förebygger att LLM förlitar sig på negativa stereotyper eller skadliga filosofier. I vissa fall har det visat sig att AI-verktyg börjar tillämpa ”positiv diskriminering” i sina resultat, vilket till och med kan överträffa förväntningarna.

Begränsningar hos AI-baserad självkorrigering

Även om åtgärder för AI-baserad självkorrigering kan vara effektiva har studier också visat att de fortfarande har sina begränsningar. I samma undersökning från Google DeepMind såg man att LLM ibland faktiskt ger sämre resultat med självkorrigeringsåtgärder. I de fall då de inte förbättrar resultatet är självkorrigering inte alltid effektivt för alla AI-promptserier, i synnerhet om externa källor (miniräknare, kodkörare, kunskapsdatabas osv.) inte används. För bästa resultat behöver självkorrigeringsåtgärder ha tillgång till en datauppsättning med jämförelsevärden och inbyggda, grundläggande sanningar. Med sådana referenser vet AI-verktyget när det ska avbryta sin egen resonemangsprocess och därmed undvika att överkorrigera sina resultat. Forskarna noterade naturligtvis att vissa uppgifter är alltför komplexa för att kunna ge ett AI-verktyg den här sortens referenser.

I samma studie fann man också att en annan begränsning hos AI-baserad självkorrigering uppstår när LLM-tillämpningar med flera agenter används. LLM blir ombedd att utföra flera uppgifter som olika ”agenter” eller aktörer.

Problemet uppstår eftersom gruppen med agenter använder en form av majoritetsomröstning för att bestämma vilket svar som är rätt. På så sätt skapas ett slags ekokammare eller ”inneboende konsekvens” snarare än faktiskt korrekta resultat.

Vikten av att ha en människa med i processen

Begränsningarna hos AI-baserad självkorrigering understryker hur viktigt det är att ha en människa med i processen. AI-verktyg kan göra översättningen mer effektiv, men ofta krävs manuella insatser under något steg. En människa behöver kanske skapa en optimal promptserie, kontrollera ett första textprov eller granska resultatet efteråt. Självkorrigeringsåtgärder kan vara till hjälp under hela processen, men kan aldrig helt ta över människans roll.

Därför är det viktigt att samarbeta med AI-expertkonsulter, som dem på Lionbridge, som kan hjälpa till att överbrygga AI-förtroendegapet. De bör

• minimera risken för innehåll/resultat av låg kvalitet eller som det inte går att lita på

• säkerställa att informationen skyddas mot cyberangrepp och alla former av manipulering

• vara kreativa och hjälpa till att skapa nytt, engagerande och unikt innehåll

• kontrollera att innehållet är korrekt och rätta till det om det skulle behövas, i synnerhet när det är fråga om komplicerat material som kräver omfattande utbildning eller expertis

• aldrig försöker sälja in extra teknik, lösningar eller abonnemang

• ge inblick i hela processen och välkomna synpunkter, återkoppling och anpassning under hela arbetet.

Kontakta oss

Vill du veta mer om hur du kan använda AI för att automatisera skapande av innehåll, optimering av webbplatsinnehåll och andra språktjänster? Lionbridges dedikerade team med AI-experter hjälper gärna till. Hör av dig.