-
- 헝그리앱 등록일(수정) : 2026-09-10 10:11:25
-
[기타] 애피어, AI가 ‘한계’를 알고 과업에 맞는 언어로 추론하는 연구 결과 발표
//web.hungryapp.co.kr/news/news_view.php?durl=YmN...
신고
AI 네이티브 AaaS(Agentic AI as a Service) 기업 애피어(Appier)가 AI 혁신과 연구를 지속하며 마케팅 및 광고 기술의 영역을 확장하고 있다.
에이전틱 AI가 기업의 핵심 업무에 빠르게 도입되는 가운데, 애피어 AI 연구팀은 거대언어모델(LLM)이 검색된 정보만으로 유효한 답변을 도출할 수 없는 상황을 어떻게 인식하는지, 그리고 적절한 추론 언어 선택을 선택하는 것이 서로 다른 언어적 배경을 가진 사용자를 지원하는 데 어떤 영향을 미치는지를 분석한 두 편의 연구 논문을 발표했다. 이번 연구는 기업용 AI의 신뢰성과 글로벌 도입을 위한 보다 엄격한 평가 기준을 제시한다.
이러한 역량은 실제 비즈니스 환경에서 더욱 중요해지고 있다. 예를 들어 이커머스 고객 서비스 에이전트가 기존 반품 정책이 적용되지 않는 제품에 대한 문의를 받았을 때, AI가 유사 제품의 정책을 적용해 답변하면 잘못된 정보를 제공해 분쟁으로 이어질 수 있다.
이러한 역량은 실제 비즈니스 환경에서 더욱 중요해지고 있다. 예를 들어 이커머스 고객 서비스 에이전트가 기존 반품 정책이 적용되지 않는 제품에 대한 문의를 받았을 때, AI가 유사 제품의 정책을 적용해 답변하면 잘못된 정보를 제공해 분쟁으로 이어질 수 있다.
또한 글로벌 시장에 진출하는 게임 기업이 AI를 활용해 현지 이용자를 이해할 때도 언어의 미묘한 차이가 시장별 선호도와 리스크를 좌우할 수 있다. AI가 현지 언어로 추론하지 않을 경우, 현지 언어 사용자라면 포착할 수 있는 인사이트를 놓칠 가능성이 있다. 에이전틱 AI가 기업의 의사결정을 효과적으로 지원하려면 불확실성을 관리하는 동시에 각 과업에 가장 적합한 추론 방식과 언어를 선택할 수 있어야 한다.
정보 부족을 인식하는 AI··· ‘모르는 것을 아는’ 역량
에이전틱 AI가 자율적으로 과업을 수행하려면 일반적으로 기업의 지식 베이스와 문서, 외부 자료 등에서 필요한 정보를 검색한 뒤 이를 바탕으로 추론하고 응답한다. 검색증강생성(Retrieval-Augmented Generation, RAG)이 대표적인 방식이다. 하지만 검색 과정에서 답변을 뒷받침할 충분한 정보를 확보하지 못했을 경우, 모델이 이러한 정보 부족을 인식할 수 있는지 여부는 이후 의사결정의 신뢰성을 좌우한다.
애피어의 AI 연구팀은 논문 “‘해당 사항 없음’이 정답일 때 낮아지는 정답률: 객관식 문항 응답에서 나타나는 인간과 LLM의 유사 패턴 (None of the Above, Less of the Right: Parallel Patterns Between Humans and LLMs on Multi-Choice Questions Answering)”에서 정답이 존재하지 않는 상황을 구현하기 위해 ‘해당 사항 없음(None of the Above, NA)’ 선택지를 활용했다. 연구팀은 규모가 서로 다른 주요 LLM 28종을 대상으로 실험한 결과, ‘해당 사항 없음’이 정답인 경우 모델의 정확도가 30~50% 하락하는 현상을 확인했다. 이는 모델이 관련 지식을 보유하고 있더라도 유효한 정답이 제시되지 않은 상황에서는 정보가 부족하다는 점을 스스로 인식하기보다 차선이거나 잘못된 선택지를 고르는 경향이 있음을 보여준다.
이처럼 AI가 ‘무엇을 모르는지 아는 능력’은 특히 비즈니스 윤리처럼 여러 개의 그럴듯한 선택지를 종합적으로 평가해야 하는 과업에서 중요하다. 정답을 직접 검증할 수 있는 수학 문제와 달리 보다 복합적인 판단이 요구되기 때문이다.
애피어 AI 연구팀은 모델이 ‘해당 사항 없음’ 상황을 보다 정확하게 인식하도록 지도 미세조정(Supervised Fine-Tuning, SFT)과 직접 선호 최적화(Direct Preference Optimization, DPO) 두 가지 학습 방식을 적용했다. SFT가 정답 사례를 기반으로 모델을 학습시키는 방식이라면, DPO는 정답과 오답을 함께 제공해 모델이 두 답변의 차이를 학습하도록 한다. 실험 결과, DPO를 적용했을 때 정답이 존재하지 않는 문제를 식별하는 모델의 정확도가 약 30%포인트 향상됐다. 이는 목적에 맞춘 학습을 통해 AI의 정보 부족 인식 능력을 강화할 수 있음을 보여준다.
다만 ‘해당 사항 없음’ 방식이 모든 질문에 적합한 것은 아니다. 정답이 명확하게 정의돼 있고 각 선택지가 서로 독립적인 경우에 가장 효과적이다. 이는 AI가 답변을 보류하는 능력 역시 과업의 특성에 맞춰 학습해야 한다는 점을 시사한다.
기업의 지식 활용 환경에서는 검색 정확도를 높이는 것과 함께 AI가 행동하기 전에 현재 확보한 정보가 충분한지를 확인하는 검증 단계를 둘 수 있다. 정보가 충분하지 않다면 AI가 추가 검색을 수행하거나 사람에게 판단을 넘기도록 설계할 수 있다.
과업에 맞는 언어로 생각한다··· 에이전틱 AI의 추론 방식 최적화
에이전틱 AI에는 불확실성을 관리하는 능력뿐 아니라 과업에 맞는 추론 언어를 선택하는 능력도 필요하다.
애피어의 다국어 추론 관련 연구 “언어가 중요한 이유: 다국어 입력과 추론 경로는 대규모 추론 모델에 어떤 영향을 미치는가? (Language Matters: How Do Multilingual Input and Reasoning Paths Affect Large Reasoning Models?)”에 따르면, 대규모 추론 모델(Large Reasoning Model, LRM)이 어떤 언어를 사용해 추론하는지는 논리적 추론뿐 아니라 안전성 판단과 문화적 이해에도 직접적인 영향을 미치는 것으로 나타났다.
모델에 다른 언어로 질문하더라도 내부적으로는 영어처럼 학습 데이터와 언어 자원이 풍부한 ‘고자원 언어(high-resource language)’를 사용해 추론하는 경우가 많았다. 일부 모델에서는 내부 추론에 사용하는 언어와 최종 답변에 사용하는 언어가 일치하지 않는 비율이 90%를 넘기도 했다.
애피어 AI 연구팀은 프롬프트의 시작 문구를 설정해 모델이 특정 언어로 추론하도록 유도하는 ‘텍스트 프리필링(text prefilling)’ 기법을 활용해 언어 선택이 과업 수행 성능에 미치는 영향을 분석했다. 그 결과 영어 등 고자원 언어는 전반적으로 수학이나 지식 기반 과업에서 더 높은 성능을 보였다. 반면 문화적 이해가 필요한 과업에서는 현지 언어로 추론했을 때 해당 지역의 문화적 맥락을 보다 효과적으로 반영했다.
안전성 테스트에서도 현지 언어를 활용한 추론이 유해하거나 불법적인 질문을 식별하는 데 더 효과적인 것으로 나타났다. 즉, 최적의 추론 언어는 과업의 성격에 따라 유연하게 선택할 필요가 있다.
이번 연구는 향후 ‘추론 언어 라우팅(Reasoning-Language Routing)’이라는 새로운 활용 가능성도 제시한다. 에이전틱 AI가 적합한 모델과 도구, 데이터를 선택하는 것을 넘어 과업 유형과 지역, 문화적 맥락에 따라 가장 적합한 추론 언어까지 동적으로 선택하는 방식이다. 내부적으로 어떤 언어를 활용해 추론하더라도 최종 답변은 사용자가 선호하는 언어로 제공할 수 있다.
정보 부족을 인식하는 AI··· ‘모르는 것을 아는’ 역량
에이전틱 AI가 자율적으로 과업을 수행하려면 일반적으로 기업의 지식 베이스와 문서, 외부 자료 등에서 필요한 정보를 검색한 뒤 이를 바탕으로 추론하고 응답한다. 검색증강생성(Retrieval-Augmented Generation, RAG)이 대표적인 방식이다. 하지만 검색 과정에서 답변을 뒷받침할 충분한 정보를 확보하지 못했을 경우, 모델이 이러한 정보 부족을 인식할 수 있는지 여부는 이후 의사결정의 신뢰성을 좌우한다.
애피어의 AI 연구팀은 논문 “‘해당 사항 없음’이 정답일 때 낮아지는 정답률: 객관식 문항 응답에서 나타나는 인간과 LLM의 유사 패턴 (None of the Above, Less of the Right: Parallel Patterns Between Humans and LLMs on Multi-Choice Questions Answering)”에서 정답이 존재하지 않는 상황을 구현하기 위해 ‘해당 사항 없음(None of the Above, NA)’ 선택지를 활용했다. 연구팀은 규모가 서로 다른 주요 LLM 28종을 대상으로 실험한 결과, ‘해당 사항 없음’이 정답인 경우 모델의 정확도가 30~50% 하락하는 현상을 확인했다. 이는 모델이 관련 지식을 보유하고 있더라도 유효한 정답이 제시되지 않은 상황에서는 정보가 부족하다는 점을 스스로 인식하기보다 차선이거나 잘못된 선택지를 고르는 경향이 있음을 보여준다.
이처럼 AI가 ‘무엇을 모르는지 아는 능력’은 특히 비즈니스 윤리처럼 여러 개의 그럴듯한 선택지를 종합적으로 평가해야 하는 과업에서 중요하다. 정답을 직접 검증할 수 있는 수학 문제와 달리 보다 복합적인 판단이 요구되기 때문이다.
애피어 AI 연구팀은 모델이 ‘해당 사항 없음’ 상황을 보다 정확하게 인식하도록 지도 미세조정(Supervised Fine-Tuning, SFT)과 직접 선호 최적화(Direct Preference Optimization, DPO) 두 가지 학습 방식을 적용했다. SFT가 정답 사례를 기반으로 모델을 학습시키는 방식이라면, DPO는 정답과 오답을 함께 제공해 모델이 두 답변의 차이를 학습하도록 한다. 실험 결과, DPO를 적용했을 때 정답이 존재하지 않는 문제를 식별하는 모델의 정확도가 약 30%포인트 향상됐다. 이는 목적에 맞춘 학습을 통해 AI의 정보 부족 인식 능력을 강화할 수 있음을 보여준다.
다만 ‘해당 사항 없음’ 방식이 모든 질문에 적합한 것은 아니다. 정답이 명확하게 정의돼 있고 각 선택지가 서로 독립적인 경우에 가장 효과적이다. 이는 AI가 답변을 보류하는 능력 역시 과업의 특성에 맞춰 학습해야 한다는 점을 시사한다.
기업의 지식 활용 환경에서는 검색 정확도를 높이는 것과 함께 AI가 행동하기 전에 현재 확보한 정보가 충분한지를 확인하는 검증 단계를 둘 수 있다. 정보가 충분하지 않다면 AI가 추가 검색을 수행하거나 사람에게 판단을 넘기도록 설계할 수 있다.
과업에 맞는 언어로 생각한다··· 에이전틱 AI의 추론 방식 최적화
에이전틱 AI에는 불확실성을 관리하는 능력뿐 아니라 과업에 맞는 추론 언어를 선택하는 능력도 필요하다.
애피어의 다국어 추론 관련 연구 “언어가 중요한 이유: 다국어 입력과 추론 경로는 대규모 추론 모델에 어떤 영향을 미치는가? (Language Matters: How Do Multilingual Input and Reasoning Paths Affect Large Reasoning Models?)”에 따르면, 대규모 추론 모델(Large Reasoning Model, LRM)이 어떤 언어를 사용해 추론하는지는 논리적 추론뿐 아니라 안전성 판단과 문화적 이해에도 직접적인 영향을 미치는 것으로 나타났다.
모델에 다른 언어로 질문하더라도 내부적으로는 영어처럼 학습 데이터와 언어 자원이 풍부한 ‘고자원 언어(high-resource language)’를 사용해 추론하는 경우가 많았다. 일부 모델에서는 내부 추론에 사용하는 언어와 최종 답변에 사용하는 언어가 일치하지 않는 비율이 90%를 넘기도 했다.
애피어 AI 연구팀은 프롬프트의 시작 문구를 설정해 모델이 특정 언어로 추론하도록 유도하는 ‘텍스트 프리필링(text prefilling)’ 기법을 활용해 언어 선택이 과업 수행 성능에 미치는 영향을 분석했다. 그 결과 영어 등 고자원 언어는 전반적으로 수학이나 지식 기반 과업에서 더 높은 성능을 보였다. 반면 문화적 이해가 필요한 과업에서는 현지 언어로 추론했을 때 해당 지역의 문화적 맥락을 보다 효과적으로 반영했다.
안전성 테스트에서도 현지 언어를 활용한 추론이 유해하거나 불법적인 질문을 식별하는 데 더 효과적인 것으로 나타났다. 즉, 최적의 추론 언어는 과업의 성격에 따라 유연하게 선택할 필요가 있다.
이번 연구는 향후 ‘추론 언어 라우팅(Reasoning-Language Routing)’이라는 새로운 활용 가능성도 제시한다. 에이전틱 AI가 적합한 모델과 도구, 데이터를 선택하는 것을 넘어 과업 유형과 지역, 문화적 맥락에 따라 가장 적합한 추론 언어까지 동적으로 선택하는 방식이다. 내부적으로 어떤 언어를 활용해 추론하더라도 최종 답변은 사용자가 선호하는 언어로 제공할 수 있다.
AI 평가 기준 확장··· ‘정답을 맞히는가’에서 ‘한계를 인식하고 최적의 방식을 선택하는가’로
치한 위(Chih-Han Yu) 애피어 CEO 겸 공동창업자는 “이번 두 연구는 AI를 평가하는 기준을 새롭게 정의한다. AI가 단순히 질문에 답하는 단계를 넘어 자율적으로 의사결정을 내리기 시작하면서 모델이 정답을 내놓는지만 평가해서는 충분하지 않다”며 “정보가 부족한 상황을 스스로 인식하고 그에 맞춰 행동을 조정할 수 있는지, 각 과업에 가장 적합한 추론 방식을 선택할 수 있는지도 함께 평가해야 한다”고 말했다.
이어 “이러한 역량은 에이전틱 AI가 단순히 명령을 수행하는 수준에서 벗어나 현실의 복잡한 상황에 대응할 수 있는 신뢰도 높은 의사결정 시스템으로 발전하는 데 기여할 것”이라며 “애피어는 지속적인 기초 연구를 통해 이러한 핵심 과제를 측정하고 개선할 수 있는 AI 역량으로 발전시켜, 다양한 시장과 언어 환경의 기업들이 에이전틱 AI를 더욱 신뢰하며 활용할 수 있도록 지원할 것”이라고 덧붙였다.
향후 애피어 AI 연구팀은 거대언어모델과 에이전틱 AI에 대한 연구를 지속하는 한편, 관련 연구 성과를 애드 클라우드, 개인화 클라우드, 데이터 클라우드 등 애피어의 세 가지 제품군에 적용하는 방안을 모색할 계획이다. 이를 통해 AI가 자율적으로 행동하는 것을 넘어 확보된 정보와 과업 요구사항, 시장 환경에 따라 더욱 신뢰도 높은 판단을 내릴 수 있도록 지원하고, 기업이 에이전틱 AI를 확장 가능한 실질적 비즈니스 가치로 전환할 수 있도록 도울 예정이다.
김지훈 기자 ([email protected])
   |
진행중인 이벤트 4건  |
|
최신뉴스
- 0
- 0
- 0
- 1
- 0
- 0
리플
1건 | 1/1 페이지
+5 
리플 페이지 이동 1 리플쓰기
link추천 퀵 링크
-
냥코대전쟁 -
페이트 그랜드 오더 -
원피스 트레저 크루즈 -
점프 어셈블 -
우마무스메 PRETTY DERBY -
리니지2 레볼루션 -
원스휴먼
냥코대전쟁 
페이트 그랜드 오더 
원피스 트레저 크루즈 
점프 어셈블 
우마무스메 PRETTY DERBY 
리니지2 레볼루션 
원스휴먼 
등록순 최신순 댓글순