AI 자체 수정

성공하기 위해서는 반드시 생성형 AI를 받아들여야 합니다. 특히, 경쟁사가 앞다퉈 자사 워크플로나 번역, 콘텐츠 작성 및 최적화 등에 생성형 AI를 도입하고 있다면 더더욱 그렇습니다. 생성형 AI를 사용할 때 고려해야 할 중요한 요소 중 하나는 자체 수정입니다. 안타깝게도 대규모 언어 모델(LLM)은 몇 가지 요인으로 인해 부정확한 결과를 산출할 수 있습니다. 이러한 문제는 LLM이 학습한 데이터에 오류나 잘못된 정보가 포함될 경우 발생합니다. 또한 AI 도구는 '환각'을 일으키거나 정보를 지어내기도 합니다. AI 결과물의 오류를 해결하기 위해 초기 프롬프트 세트에 '자체 수정' 기능을 적용할 수 있습니다. (일부 전문가는 이 기능을 '자체 평가' 또는 '자체 개선'이라고 명명했습니다.) 여러 연구를 통해 LLM이 결과물을 검토하여 답변을 수정한 후 제출하도록 요청하는 방법을 테스트했습니다. 여기서는 AI 솔루션에 자체 수정 기능을 구현(또는 AI 솔루션 제공업체에게 구현을 요청)하기 위해 사용하는 몇 가지 기법에 대해 알아보겠습니다. 또한 AI 자체 수정 기능의 한계도 다룰 예정입니다.

일반적인 AI 자체 수정 방안

현재 AI 자체 수정 기능을 구현하는 4가지 방법은 다음과 같습니다.

1. 정확성에 초점을 맞춘 프롬프트: 때로는 일련의 프롬프트에 정확성을 요구하는 프롬프트를 추가하는 것이 효과적일 수 있습니다. 다음은 X에 게시된 잘 알려진 프롬프트입니다.

2. AI 도구를 전문가로 변환: 부정확성을 방지할 수 있는 또 다른 방법은 AI 도구를 실수 가능성이 낮은 전문가로 만드는 것입니다. GitHub 개발자 그룹을 비롯해 많은 사용자와 AI 서비스 제공업체들이 AI 도구가 전문가처럼 행동하도록 명령하는 프롬프트를 만들고 있습니다. 특히, 최고의 전문가 페르소나는 바로 널리 통용되는 모범사례를 따르는 방법에 대해 가장 구체적으로 설명할 수 있는 페르소나입니다. 지나치게 일반적인 명령어를 사용하면 AI 도구가 만드는 콘텐츠에 환각이 발생할 수 있습니다. 예를 들어 "당신은 훌륭한 직업상담사입니다."라는 프롬프트만으로는 충분치 않습니다. 프롬프트에는 직업상담사가 일반적으로 따르는 모범사례에 대한 지침이 포함되어 있어야 합니다. 또 다른 모범사례는 이미 답을 알고 있는 작업을 사용해 일련의 프롬프트를 테스트하는 것입니다. 이렇게 하면 전문가 페르소나 프롬프트를 최적화할 위치를 결정할 수 있습니다. 때로는 작업 유형에 따라 전문가 페르소나 프롬프트를 여러 번 반복하여 개발하는 것이 좋을 수도 있습니다. GitHub 개발자들은 AI를 전문가로 변환하는 데 사용한 일련의 프롬프트 목록 15개를 만들었습니다. 다른 사람들도 이러한 작업을 수행했지만 특히 GitHub 개발자들이 만든 목록은 포괄적이란 점에서 참고할 만합니다.

3. '사전(pre-hoc)' 또는 '사후(post-hoc)' 프롬프트 추가: AI 결과물의 스타일을 변경하는 프롬프트를 추가할 수 있습니다. 결과물에 격식체나 비격식체를 적용해야 할 수도 있고 교육 수준이 높은 독자나 고등학생 수준의 독자에 맞춰 스타일을 수정해야 할 수도 있습니다. 결과물이 생성된 후 추가하는 프롬프트를 '사후 프롬프트'라고 합니다. Google DeepMind에서 진행한 최근 연구 프로젝트에 따르면 사전 프롬프트와 사후 프롬프트가 모두 강력할 때 가장 좋은 결과를 얻을 수 있는 것으로 나타났습니다.

4. 프롬프트를 사용하여 편견 제거: LLM을 학습시킬 때 올바른 데이터를 사용하지 않으면 인터넷에 혐오 콘텐츠를 퍼뜨린 수백만 명의 편견이 결과물에 반영될 수 있습니다. Anthropic AI의 연구실에서 진행한 최근 연구 결과, 사람의 피드백을 통한 강화 학습(RLHF)을 사용하여 LLM이 인종 차별, 연령 차별, 여성 혐오 등이 없는(또는 적은) 결과물을 생성하도록 학습시킬 수 있는 것으로 나타났습니다. AI가 팀이 결정한 일반적인 윤리 원칙을 고려할 수 있도록 AI 구성에 지침을 포함합니다. 이 과정의 일환으로 LLM이 유해한 고정관념이나 주의에 물들지 않도록 프롬프트에 문구를 추가합니다. 일부의 경우, AI 도구가 결과물을 통해 '긍정적으로 차별하기' 시작하고 심지어 예상을 뛰어넘기까지 하는 것으로 나타났습니다.

AI 자체 수정 기능의 한계

AI의 자체 수정 기능은 성능이 뛰어나지만 연구 결과, 여전히 한계가 있는 것으로 드러났습니다. 앞서 언급한 Google DeepMind 연구에서 LLM의 자체 수정 과정을 거친 후 실제로 결과물의 품질이 저하된 경우가 종종 있었습니다. 성능이 저하되지 않는 경우, 특히 외부 소스(계산기, 코드 실행기, 지식 기반 등)를 사용하지 않는 경우, 일련의 AI 프롬프트 전체에서 실행한 자체 수정의 효과가 일관되지 않은 것으로 나타났습니다. 자체 수정 기능으로 최상의 결과를 얻으려면 기본 사실 데이터가 내장된 벤치마크 데이터세트에 액세스해야 합니다. 이처럼 기준이 되는 참조 데이터가 있으면 AI 도구는 언제 추론 프로세스를 중단해야 하는지 알 수 있으므로 결과물을 과도하게 수정하는 일을 방지할 수 있습니다. 물론 연구진은 일부 작업의 경우 너무 복잡해서 AI 도구에 이러한 참조 데이터를 제공하기 어렵다는 점을 지적했습니다.

같은 연구에 따르면 여러 에이전트가 작업을 수행하는 LLM 애플리케이션을 사용할 때 AI 자체 수정 기능의 또 다른 한계가 드러나는 것으로 확인되었습니다. 여기서 LLM은 서로 다른 '에이전트' 또는 행위자로서 여러 작업을 수행하도록 요청받습니다.

이때 여러 에이전트는 다수결 방식으로 어떤 답이 옳은지 결정하므로 이 답은 정답이라기보다 일종의 메아리 효과 또는 '자기 일관성'의 결과물이라 문제가 있습니다.

휴먼인더루프 방식의 중요성

AI 자체 수정의 한계는 휴먼인더루프 방식이 얼마나 중요한지 잘 보여줍니다. AI 도구는 번역 효율을 높일 수 있지만 어느 시점이 되면 사람의 개입이 필요한 경우가 많습니다. 최적의 프롬프트 세트 개발, 초기 샘플 확인, 최종 결과물 검토 등의 작업은 결국 사람의 일로 남을 수 있습니다. 자체 수정 기능이 전체 프로세스를 보조하는 수단이 될 수는 있지만 사람의 역량을 대체할 수는 없습니다.

따라서 라이온브리지(Lionbridge)와 같이 AI 신뢰 격차를 해소하는 데 도움을 줄 수 있는 AI 컨설팅 전문업체와 협력하는 것이 중요합니다. 그러한 업체는 다음과 같은 역량이 있어야 합니다.

• 신뢰할 수 없거나 품질이 낮은 콘텐츠/결과물을 생성할 위험 최소화

• 사이버 공격 또는 모든 종류의 위험으로부터 데이터 보안 보장

• 창의력을 발휘하여 새롭고 매력적이며 독창적인 콘텐츠 또는 결과물의 개발 지원

• 특히 집중 교육이나 전문지식이 필요한 복잡한 자료의 경우 결과물의 정확도 확인 및 수정

• 결코 불필요한 기술이나 솔루션 판매 또는 구독 유도 없음

• 전체 프로세스를 공유하고 입력, 피드백 및 맞춤 설정 전반에 참여할 수 있도록 초대

문의하기

AI를 활용하여 콘텐츠 작성, 웹사이트 콘텐츠 최적화 또는 기타 언어서비스를 자동화하는 방법이 궁금하신가요? AI 전문가로 구성된 라이온브리지의 전담팀이 도와드리겠습니다. 지금 바로 문의해 보세요.