촬영 화면의 각도나 구성이 달라져도 여러 인물의 움직임을 지속적으로 추적해 3차원 형태로 복원하는 인공지능 기술이 개발됐다.
울산과학기술원(UNIST)은 인공지능대학원 백승렬 교수 연구팀이 3차원 인체 복원 AI 기술인 ‘멀티썸즈’(Multi-THuMBS)를 개발했다고 밝혔다.
3차원 인체 복원 기술은 영상에 등장하는 사람의 체형과 자세, 위치 등을 분석해 입체적인 신체 모델과 동작을 구현하는 방식이다. 하지만 기존 기술은 여러 시점에서 촬영된 장면을 편집한 영상에서 한 인물을 일관되게 이어 붙이는 데 한계가 있었다. 정면을 향하던 인물이 옆모습으로 전환될 경우 별개의 인물로 판단하거나, 화면 속 위치 변화와 실제 움직임을 혼동하는 사례가 발생했다.
연구팀은 장면이 바뀌기 전후의 배경과 카메라 위치를 하나의 3차원 공간으로 재구성한 다음, 각 장면에서 복원한 인체 모델을 동일한 공간 기준에 맞춰 배치했다. 이후 인물 사이의 거리와 의상, 자세 등을 종합적으로 비교해 동일 인물을 연결하고 동작의 흐름을 자연스럽게 보정했다.
여러 카메라로 촬영한 사람의 움직임에 장면 전환을 적용해 성능을 검증한 결과, 멀티썸즈는 비교 대상 기술 가운데 가장 낮은 관절 위치 오차를 기록했다. 차순위 기술보다 오차가 약 31% 감소했으며, 동일 인물을 다른 사람으로 잘못 판단하는 비율은 약 62% 줄었다. 카메라 위치를 추정하는 과정에서 발생한 오차도 절반 수준으로 낮아졌다.
실제 영화와 시트콤 영상에 적용했을 때 장면 전환 전후의 관절 위치가 일치한 비율은 90.7%로 나타났다. 이는 비교 기술의 62.7%보다 높은 수치다.
연구팀은 이 기술이 영화와 방송, 스포츠 중계처럼 편집이 포함된 영상에서도 여러 인물의 움직임을 3차원으로 연속 복원할 수 있다고 설명했다. 이에 따라 경기 동작 분석을 비롯해 가상·증강현실 콘텐츠와 디지털 휴먼 제작 등 다양한 분야에서 활용될 것으로 예상된다.
이번 연구에는 영국 버밍엄대학교와 CJ 연구진 등이 함께 참여했다. 연구는 과학기술정보통신부와 한국연구재단, 정보통신기획평가원, CJ의 지원을 받아 진행됐으며, 결과는 지난 9월 스웨덴 말뫼에서 개최된 유럽컴퓨터비전학회에서 공개됐다.
댓글
0