버추얼 휴먼은 인간과 유사한 모습과 행동 패턴을 가진 컴퓨터 속 인간이다. 넓은 의미에서는 애니메이션 캐릭터를 활용한 버튜버(버추얼 유튜버)와 유명 연예인을 캐릭터화한 디지털 트윈까지 포함하지만, 좁은 의미에서는 실제 인간과 구분가지 않을 정도로 정교한 실사 그래픽과 쌍방향 소통이 가능한 인공지능(AI)을 모두 갖춘 존재를 말한다.

현재 엔터테인먼트업계와 유통업계에서 활발하게 활동중인 대부분의 버추얼 휴먼들은 전자에 속한다. 이들은 AI을 사용하지 않는다. 대신 정체를 숨긴 배우가 캐릭터를 연기하고, 합성 기술을 통해 얼굴만 버추얼 휴먼으로 바꾼다. 이는 20여년 전 반짝 인기를 구가했던 사이버 가수 ‘아담’의 시스템과 비슷하다. 겉모습은 눈부시게 발전했지만 속은 여전히 구닥다리인 반쪽짜리 버추얼 휴먼인 셈이다.

반면 게임업계가 지향하는 버추얼 휴먼은 후자다. 그간 게임 개발을 통해 쌓은 캐릭터 모델링 노하우와 AI 기술을 고품질 버추얼 휴먼을 구현하는데 십분 활용할 수 있기 때문이다. 실제 넷마블과 스마일게이트가 내놓은 버추얼 휴먼의 그래픽 품질은 실제 인간과 거의 동일한 수준에 근접했다는 평가를 받는다.

그래픽 수준에 비해 다소 더디지만, AI도 발전하고 있다. 넷마블과 스마일게이트가 내놓은 버추얼 휴먼들은 다양한 AI 기술이 적용됐으며, 엔씨소프트도 버추얼 휴먼과 자연스러운 상호작용이 가능한 AI 기술 개발에 박차를 가하고 있다.

넷마블의 버추얼 걸그룹 ‘메이브’, 버추얼 인플루언서 ‘리나’

넷마블은 버추얼 휴먼 산업에 가장 적극적으로 뛰어든 게임사 중 하나다. 넷마블에프앤씨의 자회사 메타버스엔터테인먼트는 2022년 버추얼 인플루언서 ‘리나’를 론칭한데 이어 2023년에는 4인조 걸그룹 ‘메이브’를 론칭했다.

‘리나’는 인스타그램, 틱톡, 도우윈 등 SNS를 운영하며 국내외에서 디지털 셀러브리티로서 입지를 다지고 있다. 리나는 지난해 3월 송강호, 비가 소속된 기획사 써브라임과 전속 계약을 맺었고, 그후 패션 매거진 나일론 코리아의 화보 모델로 활동했으며, 이후 갓세븐 영재와 함께 춤을 추는 영상으로 화제가 되기도 했다.

현재 리나는 인플루언서로 활동을 하고 있지만 앞으로 활동 영역을 넓혀 본격적으로 엔터테인먼트 사업에 뛰어들 예정이다. 엔터테인먼트 활동외에도 소설, 웹툰, 게임 등 타 플랫폼과의 콜라보레이션을 통해 활동 영역을 넓혀나갈 계획이다.

‘메이브’는 넷마블에프앤씨의 AI, 버추얼 휴먼 제작 등의 기술력과 카카오엔터테인먼트의 음악 아티스트 기획제작 역량이 결합해 탄생한 걸그룹이다. 시우, 제나, 타이라, 마티 등 4인의 버추얼 휴먼으로 구성됐다. 올해 1월 데뷔곡 ‘판도라’를 발표했으며 공중파 음악방송에도 출연했다. ‘판도라’의 뮤직비디오는 공개 두달여 만에 유튜브에서 2000만뷰를 넘기며 화제몰이에 성공했다는 평가를 받는다.

‘메이브’의 외형은 3D 제작 플랫폼 언리얼 엔진으로 제작됐다. 언리얼 엔진은 쉽고 빠르게 버추얼 휴먼을 만들 수 있는 클라우드 앱 ‘메타휴먼 크리에이터’를 제공한다. 여기에 넷마블은 그동안의 게임 개발 노하우를 접목해 캐릭터의 헤어와와 옷의 움직임에 사실감을 더했다.

댄스 등의 액션은 모션캡쳐를 이용하여 움직임을 따와 다시 작업하는 과정을 거쳤으며, 목소리에는 넷마블의 AI 언어 기술이 적용됐다.

넷마블은 “캐릭터 4명의  다이나믹한 움직임을 실시간 렌더링에서는 상상하기 힘든 수준으로 구현했다는 점에서 시장에 임팩트를 주었다고 믿는다”며 “많은 기술적 진보로 버추얼 셀러브리티의 수준이 향상되고 있지만, 풀3D 고품질 버추얼 휴먼이 이렇게 그룹으로 활동하는 경우는 없었다”고 자평했다.

이어 넷마블은 “하드웨어의 발전과 소프트웨어 기술의 정점에 있는 전문가가 모여 거기서 한 걸음 더 발전하고자 각고의 노력을 했기에 가능한 일”이라고 덧붙였다.

광고/음악 종횡무진…스마일게이트 버추얼 아티스트 ‘한유아’

스마일게이트와 자이언트스텝이 공동개발한 버추얼 아티스트 ‘한유아’는 국내에서 가장 빨리 활동을 시작한 버추얼 휴먼 중 하나다. 2019년 VR(가상현실)게임 ‘포커스 온 유’의 여주인공으로 데뷔한 그녀는 2020년 개선된 그래픽으로 새단장하고 SNS 활동을 시작했다.

2022년 2월에는 모델 및 연기자 매니지먼트 YG케이플러스와 전속계약을 맺었으며, 같은 해 4월에는 데뷔 싱글 ‘I Like That’으로 가요계에도 진출했다. 데뷔곡의 뮤직비디오는 유튜브에서 약 700만뷰를 달성했다.

이후 한유아는 광동제약의 ‘옥수수수염차’와 안경 브랜드 ‘라피스 센시블레’의 홍보모델로 활약하는 등 엔터테인먼트 영역에서 전방위로 활동중이다.

‘한유아’는 2020년 설립된 스마일게이트 AI 센터의 대표작이다. ‘한유아’가 말하고 노래하고 움직이는 전 부분에 AI가 적용됐다.  AI 기술이 발전할수록 ‘한유아’의 움직임은 점점 더 사람과 가까워질 전망이다.

스마일게이트는 “한유아는 국내 최초로 AI 브레인을 탑재한 버추얼 휴먼”이라며 “현재 ‘아티스트’로서 활발한 활동을 하고 있으며 음원 발매를 비롯한 홍보 대사 등 다양한 활동을 이어나가고 있다. 향후 한유아는 더 많은 사람들에게 공감하며 좋은 영향을 주기 위해 다양한 분야에서 활동을 펼치며, 특히 AI 기술을 통해 자체 생성한 컨텐츠를 중심으로 활동을 확장하여 성장해 나갈 수 있도록 계획하고 있다”고 전했다.

김택진 엔씨소프트 대표, 신작 ‘프로젝트M’에 버추얼 휴먼으로 구현

엔씨소프트는 다른 게임사들처럼 버추얼 휴먼을 단독으로 론칭하지 않았다. 대신 신작 ‘프로젝트M’에 다양한 AI 기술을 적용하고 있다. 올해 3월 공개된 ‘프로젝트M’의 트레일러 영상에는 게임 개발을 총괄하고 있는 김택진 대표를 빼닮은 버추얼 트윈이 등장한다. 김 대표의 버추얼 트윈은 ‘프로젝트M’의 세계관과 플레이 콘셉트를 자연스러운 행동과 말투로 설명한다.

영상 속 버추얼 트윈은 엔씨소프트의 AI 기술에 아트, 그래픽 등 비주얼 기술 역량을 결합해 제작됐다. 영상의 모든 대사는 AI 음성 합성 기술인 ‘TTS(Text-to-Speech)’로 구현했다. 특정인의 목소리, 말투, 감정 등을 담아 입력된 텍스트를 상황에 맞는 자연스러운 음성으로 생성하는 기술이다.

버추얼 트윈의 표정 및 립싱크 애니메이션에는 ‘Voice-to-Face’ 기술을 활용했다. 대사나 목소리를 입력하면 상황에 맞는 얼굴 애니메이션을 자동으로 생성하는 AI 기술이다. AI 기술과 엔씨소프트의 비주얼 기술을 결합해 생동감 있는 버추얼얼 트윈의 표정을 구현했다.

 엔씨소프트는 “생동감 있는 스토리 전달을 위해 적절한 인터랙션과 연기 호흡이 가능한 많은 NPC가 필요하다”며 “개발 효율을 높일 수 있는 AI 기술들을 게임 개발 파이프라인에 적용하는 작업을 진행 중”이라고 말했다.

이처럼 게임사들이 앞다투어 버추얼 휴먼 시장에 뛰어드는 이유는 매출다각화에 있다. 게임산업 특성상 신작 게임의 흥행 여부를 예측하기 어려운데, 버추얼 휴먼으로 안정적인 수익원을 확보할 수 있다면 그러한 리스크를 줄이는데 도움이 되기 때문이다.

또한 버추얼 휴먼을 자사 게임에 출연시키는 등 ‘원소스 멀티유즈(One Source Multi Use)’로 활용가능하다는 점도 장점으로 꼽힌다. 넷마블의 경우 ‘파라곤: 오버프라임’에 ‘메이브’의 멤버 ‘제나’를 플레이 가능한 캐릭터로 등장시켰고, ‘리나’를 메타버스 플랫폼 ‘그랜드 크로스: 메타월드’의 홍보 영상에 출연시킨 바 있다.

dmseo@greenpost.kr