다모 아카데미, 인공지능 기술로 고서 복원 프로젝트 진행

 

“명월기시유, 파주문청천(明月幾時有，把酒問青天)”
언제부터 밝은 달은 저 하늘에 있었는가? 나는 술잔을 받쳐 들고 푸른 하늘에게 묻노라

1076년(병진년) 추석, 중국 고대 북송 문학가인 소식(蘇軾)이 동생 소철(蘇轍)을 그리워하면서 지은 <수조가두(水調歌頭)>의 한 구절이다.

과거 우리는 지금으로부터 약 1000년 전 고대 중국의 추석을 상상만 할 수 있었다. 그러나 오늘날 인공지능(AI) 기술이 발달하면서, 입체적으로 고서의 모습과 옛사람의 생활양상을 재현하여 옛 문화의 정취를 느낄 수 있게 되었다.

 

항저우 도서관과 알리바바 그룹 다모 아카데미 합작 ‘고서 복원 프로젝트

’지난 9월 21일 추석, 항저우(杭州) 도서관과 알리바바 그룹의 글로벌 연구 기관 다모(DAMO) 아카데미가 ‘고서 복원 프로젝트’를 시작했다.

다모 아카데미의 인공지능 기술을 통해 항저우 도서관에서 보관 중인 중국 고서 <송화전집(宋畫全集)> 속의 <한희재야연도(韓熙載夜宴圖)>, <난원여선도(閬苑女仙圖)> 등 고화(古畫) 와 중국 고대 장편소설 <홍루몽(紅樓夢)> 속 인물화를 처음으로 재현해냈다. 고서와 고화 속 인물들은 AI 알고리즘을 통해 입과 눈을 움직일 수 있으며, 심지어 <수조가두(水調歌頭)>, <염노교‧중추(念奴嬌‧中秋)>를 비롯한 옛 시를 소리 내어 읽을 수도 있다.

이번 프로그램에 도입된 AI 기술은 다모 아카데미의 비전 랩(Vision Lab) 팀에서 개발했다. 다모 아카데미는 고서, 고화의 특징을 고려하여 비디오 콘텐츠 알고리즘 개발을 지속적으로 추진해왔다. 이를 통해 고화의 전통 이미지를 유지하는 동시에 그림 속 인물의 표정도 실제처럼 재현하는 것을 목표로 삼았다.

탕밍치엔(唐銘謙) 다모 아카데미 인공지능 알고리즘 엔지니어는 “인공지능 기술을 통해 고서, 고화를 복원하고 새로운 방식으로 소중한 역사적 자료를 재현하고자 한다”며 “이는 테크놀로지와 문화재가 결합한 문화재 보호 및 전승 방식의 새로운 패러다임이 될 것이다”라고 말했다.

 

고서 복원의 핵심: 고서 인물화 분석 그리고 비디오 렌더링

‘고서 복원 프로젝트’ 는 주로 고서 이미지와 시 낭송 영상을 융합함으로써 고서 속 화면을 재현해낸다. 이 과정에서 필요한 두 가지 AI 알고리즘 핵심 기술은 고서 내의 얼굴 핵심 요소 분석과 비디오 렌더링이다.

고서 인물화 복원은 다음과 같은 단계를 거친다.

1. 고서 이미지 속에서 인물의 얼굴 위치를 찾는다. 이후 입, 표정, 눈, 코 등 각 얼굴 부위의 모양에 대응하는 키 포인트를 맞춘다.

2. 시 낭송 비디오 속 낭독자를 기준으로 인물 모듈을 만든 후, 영상 프레임 마다 키 포인트를 설정한다. 시간대별, 공간별 키 포인트의 움직임 변화를 기록한다.

3. 고서 이미지 속 얼굴에 표기한 키 포인트 정보와 시 낭송 영상에서 추출한 키 포인트를 사전 트레이닝 된 AI 모델에 입력한 후, 최종 영상을 렌더링한다.

이러한 절차에는 고도의 기술력이 필요하다. 다모 아카데미는 프로젝트가 겪었던 기술적 어려움을 2가지로 나눠서 소개했다.

우선 재현된 영상의 해상도가 중요하다. 고서를 잘 복원해냈다는 기준은 고서 본연의 형태를 유지하는 동시에 실제와 유사한 표정을 갖추는지 여부이다. 이를 실현하기 위해 다모 아카데미는 고서 이미지 속 사람 얼굴의 해상도를 512*512로 높이도록 조정했다. 동시에 메인 모델의 해상도를 높이고 모델 용량과 영상 해상도를 업그레이드했다.

또한, 개발팀은 영상의 해상도를 확보하는 동시에 다양한 각도도 고려해야 했다. 고서 속 인물의 옆모습만 보이거나 그림이 비뚤어지는 경우가 많기 때문이다. 이로 인해 개발팀은 수 십 만 개의 영상 콘텐츠를 분석해 정확성을 높이고자 했다.

이 외에도, 이미지 움직임의 속도 조정이 큰 어려움 중 하나였다. 시 낭송 영상 중 낭독가의 머리가 큰 폭으로 움직이면 영상 화면이 현저하게 흐려지게 보였다. 이로 인해 영상 전체가 어울리지 않고 영상 퀄리티도 떨어지게 되는 경우가 잦았다.

이를 해결하기 위해 다모 아카데미는 EAN(Edge-aware Attention Network) 모델을 개발해 화면 전체의 밸런스를 조절하고 부분 운동 모드를 최적화했다. 얼굴 주변 부분과 가까워질수록 알고리즘 적용이 약해져 움직이는 부분도 이미지와 자연스럽게 결합시킬 수 있었다.

다모 아카데미 인공지능팀은 “앞으로 중국 명화 <청명상하도(清明上河圖)>를 영상 복원하는 등 다양한 프로젝트를 진행하며, AI 기술을 문화재 보호와 전승에 적용할 계획이다. 이를 통해 옛날 고서에 담긴 당시 생활 모습을 생생하게 재현하고자 한다”고 덧붙였다.

 

 

 

AI기술 고서복원 다모아카데미 알리바바