알리바바가 사람과 원활히 소통하는 기계를 넘어, 사람과 사람 사이의 대화를 잇는 기술을 개발하고 있다. (Pixabay 제공) 2019.7.11/그린포스트코리아
알리바바가 개발한 인공지능의 독해능력이 사람을 앞질렀다. (Pixabay 제공) 2019.7.11/그린포스트코리아

 

[그린포스트코리아 김형수 기자] 중국의 전자상거래업체 알리바바가 사람과 원활히 소통하는 기계를 넘어, 사람과 사람 사이의 대화를 잇는 기술을 개발하고 있다. ‘스타트렉’에 나오는 ‘유니버설 트랜슬레이터’처럼 서로 다른 언어를 쓰는 사람들의 대화를 실시간으로 통역해주려는 것이다. 알리바바의 AI가 독해능력에서 인간을 앞서는 등 관련 분야에서 성과도 나왔다.

알리바바는 지난 9일 알리바바의 연구 프로그램 다모 아카데미(DAMO Academy) 소속 과학자들이 개발한 머신러닝 기반의 AI기술 Multi-doc Enriched BERT(이하 BERT)가 지난달 20일 마이크로소프트 머신 독해능력 테스트 데이터셋(이하 독해 테스트)에서 인간을 앞섰다고 밝혔다. 마이크로소프트가 개발한 독해 테스트는 AI의 독해능력을 측정하는 난이도 높은 테스트 가운데 하나로 꼽힌다.   

BERT는 MS Marco 질문-응답 검사에서 0.54점을 받아 마이크로소프트가 제시한 인간 기준점인 0.539점을 넘었다. MS Marco 웹사이트에 게시된 결과를 보면 해당 검사를 치른 24개 인공지능 가운데 인간보다 높은 점수를 받은 인공지능은 BERT가 유일하다. 

해당 검사는 AI가 인간이 소통하는 방식처럼 자연스럽게 언어를 구사할 수 있는지 그 능력을 측정한다. 마이크로소프트의 검색엔진 빙(Bing)에 제기된 실제 사람의 질문에 대답하는 방식으로 검사가 이뤄진다. '인구수로 봤을 때 미국 일리노이주에서 가장 큰 도시는 어디인가', '아스파라거스에는 얼마나 많은 탄수화물이 들어있나' 등의 질문을 마주한 사람들이 내놓은 답변에 가까운 대답을 할수록 점수가 높아지는 방식이다.

BERT는 멀티태스킹을 통해 질문에 답변하는 과정의 능률을 높였다. 동시에 한쪽에서는 불필요한 문서나 단락을 제거하고, 다른 한쪽에서는 남은 콘텐츠를 필터링하며 답변 후보의 숫자를 줄여나가는 방식이다. 이 과정이 완료되면 더 복잡한 머신러닝 모델은 남은 텍스트를 더 면밀히 살펴보며 최상의 답변을 찾아낸다.

정확한 답을 써내는 데 국한되지 않고 사람다운 답을 내놓는 능력은 챗봇, AI스피커 등 사람과 대화하는 인공지능 기술 분야에서 그 중요성이 날로 커지고 있다. 사람이 내뱉은 말의 뉘앙스를 이해하는가하면 이를 바탕으로 답이 정해지지 않은 질문에 적절히 대응할 수도 있기 때문이다.

알리바바는 이 같은 자연 언어 처리기술(Natural Language Processing technology·이하 NLP)을 타오바오와 티몰에서 진행한 광군제 때 사용하기도 했다. 고객을 대상으로 한 챗봇서비스 Alime에 해당 기술을 적용한 것이다. Alime는 당시 약 98%의 요청에 대응했다. 가장 많을 때는 1분에 고객 8만3000명을 응대하기도 했다.

알리바바는 이 기술의 활용범위를 넓혀나간다는 방침이다. 다모 아카데미의 언어연구실을 이끄는 시 루오는 “NLP을 클라우드컴퓨팅 플랫폼 ‘알리바바 클라우드’에 탑재해 소매·관광·공공서비스 등 더 많은 클라이언트들이 기술의 혜택을 볼 수 있도록 할 계획”이라고 말했다. 

그는 이어 “언어연구실은 NLP, AI스피커, 기계 통역 기술을 통합하는 새로운 모델을 개발 중”이라며 “사용자들이 서로 다른 언어를 가진 사람들과 실시간으로 자유롭게 소통할 수 있도록 돕기 위한 것”이라고 덧붙였다.

alias@greenpost.kr

저작권자 © 그린포스트코리아 무단전재 및 재배포 금지