사이언스 투데이
science 취재파일 바이오 위클리 사이언스 HOT5 사이언스 매거진 별별 이야기 내 몸 보고서 날씨학개론 생각 연구소 과학의 달인 궁금한S

[과학의 달인] 멀미 없는 고품질 입체영상을 만든다…ETRI 김도형 책임연구원

■ 김도형 / 한국전자통신연구원 책임연구원

[앵커]
비대면이 일상화되면서 증강현실이나 홀로그램 등 다양한 실감콘텐츠가 주목받고 있지만, 어지러움 때문에 멀미를 느끼는 경우가 많아 개선할 점이 남아 있습니다. 그런데 최근 국내 연구진이 비전문가도 멀미 없는 고품질 영상을 만들 수 있는 기술을 개발했다고 합니다. 오늘 <과학의 달인>에서는 한국전자통신연구원 홀로그래픽연구실 김도형 책임연구원 모시고 입체 영상 제작 기술에 대해 자세히 알아보겠습니다. 어서 오세요.

저도 VR 고글을 써봤지만 아무리 실감 나게 만들어도 뭔가 어지럽고 혼란스러운 건 어쩔 수 없더라고요. 그런데 이번에 이런 어지러움 없는 고품질 실감콘텐츠를 만드는 기술을 개발하셨다고 들었는데요. 이름이 '비정형 플렌옵틱'이더라고요. 말이 조금 어려운데, 우선 플렌옵틱이 무엇인지 알려주세요.

[인터뷰]
플렌옵틱 이라는 단어에서 플렌(plen)은 완전한 혹은 가득 찬 (complete, full)이라는 의미가 있으며, 옵틱은 광학(optic)이라는 뜻을 가집니다. 즉 현실에서 빛에 의해 일어나는 현상들을 완전히 재현하고자 하는 광학 기술이란 의미를 가집니다.

플렌옵틱은 촬영하고자 하는 공간에 분포된 빛의 정보를 위치, 방향, 파장 그리고 시간에 따라서 저장하고 저장된 정보를 필요에 따라 사람이 이해할 수 있는 영상으로 만드는 입체영상 콘텐츠 기술을 의미합니다. 함수의 의미에서 보자면, 위치는 3차원, 방향은 2차원, 파장과 시간은 각각 1차원이므로, 빛의 정보를 7차원 함수의 형태로 저장하고 그것을 기반으로 영상을 생성하는 기술이 되겠습니다.

[앵커]
그렇다면 플렌옵틱은 어떤 특징을 가지는지요?

[인터뷰]
플렌옵틱은 빛의 정보를 저장하고 사용하기 때문에 기존 입체영상 기술로 할 수 없었던 표현이 가능한 특징을 가지고 있습니다. 기존 기술은 사진의 구도와 초점을 맞추고 촬영하지만, 플렌옵틱 기술은 먼저 촬영하고 촬영 후에 사진 혹은 동영상의 구도와 초점을 변경할 수 있는 특징을 가지고 있습니다.

‘구도를 바꾼다.’는 것을 다르게 표현하자면, ‘시점을 변경한다.’ 또는 ‘새로운 시점을 생성한다.’라고 할 수 있습니다. 그래서 사람의 움직임과 시선에 따른 영상을 자유롭게 생성하는 것이 가능하고 결과적으로 VR HMD를 포함해서 어떠한 입체영상 디스플레이도 지원할 수 있는 특징을 가집니다.

이에 더하여, 초점을 변경할 수 있다는 것은 사람이 물체를 보는 것과 같은 현상을 재현할 수 있다는 것을 의미합니다. 사람이 가까운 물체를 보면 먼 배경이 흐려 보이고, 먼 배경을 보게 되면 가까운 물체가 흐려 보이는 현상을 재현할 수 있습니다. 새로운 시점 생성 특징과 마찬가지로 사람이 현실 세계에서 물체를 보는 것과 같은 현상을 재현할 수 있습니다. 결론을 말씀드리자면, 플렌옵틱은 사람이 현실 세계에서 물체를 보는 것과 가깝게 재현할 수 있는 입체영상 기술이 되겠습니다.

[앵커]
실제 사람이 육안으로 보는 것처럼 기술을 구현했다는 말씀이시군요. 그렇다면 기존 입체영상 기술과는 플렌옵틱 기술이 어떻게 다르고 또 어떤 장점이 있나요?

[인터뷰]
기존 입체영상 기술에는 첫 번째로 극장에서 집에서 안경을 끼시고 보시던 스테레오 영상 기술, 두 번째로 영화 제작과 VR/AR에 많이 사용되는 3차원 복원 기술이 있습니다.

첫 번째의 스테레오 영상 기술은 카메라 두 개를 이용해서 사람이 두 눈으로 보는 것처럼 영상을 찍는 기술입니다. 양안 시차, 즉 오른쪽 눈과 왼쪽 눈에 대해서 다른 영상을 보여주어서 입체감을 느끼게 해줍니다만, 운동 시차를 제공하지는 못합니다. 사람이 머리를 움직이면 보이지 않던 것이 보이고, 보이던 것이 보이지 않아야 하는데 정해진 시점만 제공합니다. 그러다 보니 가만히 앉아서만 봐야 하고 조금이라도 움직이게 되면 불편함을 느끼게 됩니다.

두 번째의 3차원 복원 기술은 여러 개의 카메라 혹은 센서를 사용해서 물체 표면의 3차원 위치와 색상을 기록하고 이를 기반으로 물체를 게임이나 영화에서 보는 CG 객체로 복원하는 기술입니다. 이 기술의 단점은 현재 우리가 핸드폰이나 카메라로 찍는 것과 같은 방식으로 영상 제작을 할 수 없다는 것입니다. 뉴스, 드라마, 스포츠 등을 촬영해서 바로 제작하여 배포하는 것이 어렵고, 컴퓨터 그래픽 디자이너가 사람과 배경을 따로 제작하고 합치는 작업을 수행해야 합니다.

또 다른 단점으로는 물, 유리, 금속 표면 등에서 발생하는 반사, 굴절 등의 현상 재현이 어렵다는 것입니다. 플렌옵틱 기술은 첫 번째의 스테레오 영상 기술과 두 번째의 3차원 복원 기술이 가지는 단점을 모두 극복합니다. 양안 시차, 운동 시차, 초점 조절을 모두 지원하며, 촬영한 영상을 컴퓨터 그래픽 디자이너의 개입 없이 제작하고 배포하는 것이 가능합니다. 또한 현실 세계의 광학 현상 재현이 자유롭습니다.

[앵커]
기존의 단점들을 극복해서 현실감을 높였다는 건데, 그렇다면 정형 플렌옵틱 기술과 비정형 플렌옵틱 기술이 있더라고요. 어떤 차이점이 있는 건지, 또 비정형 플렌옵틱 기술만의 장점을 소개해주신다면요?

[인터뷰]
정형 플렌옵틱 기술은 공간의 빛 정보를 균등하게 정해진 형태로 획득합니다. 동일한 간격 혹은 각도, 동일한 평면 혹은 곡면, 동일한 광학계를 사용하게 됩니다. 이에 따라 크게 두 가지의 단점이 있습니다.

첫 번째로 플렌옵틱 카메라가 거대하기에 이동 촬영 과정에서 발생하는 충격에 따른 형태 변형에 취약합니다.

두 번째로 많은 정보가 필요한 곳과 필요하지 않은 곳들에 대해서 같은 양의 정보를 획득합니다. 물체가 복잡하거나 가림이 많이 발생하는 곳은 정보도 같이 많이 필요하고, 물체가 단순하고 듬성듬성 있는 곳은 정보도 적게 필요합니다.

비정형 플렌옵틱 기술은 정형 플렌옵틱 기술보다 데이터 처리양이 많고 복잡하지만, 형태 변형에 강인하므로 이동 촬영이 가능하고 같은 데이터 저장량일 때, 상대적으로 높은 품질의 영상을 표현할 수 있는 기술입니다.

[앵커]
홀로그램과 같은 영상을 볼 때 사실 멀미를 느끼는 분들이 많거든요. 그래서 대중화가 안 된다고 말하는 분들도 있을 정도인데요. 입체감을 느끼는 요소와 멀미가 연관이 있기 때문인 거죠?

[인터뷰]
사람은 감각 기관에서 받는 다양한 정보를 뇌에서 취합하고 주변 상황을 인지하게 됩니다. 감각 기관에서 받는 정보들이 일치하지 않거나 정보의 품질이 나쁠 때 사람은 멀미를 느끼게 됩니다. 정보가 일치하지 않는 경우를 말씀드리겠습니다, VR HMD의 기기 성능이 낮아서 사람의 시선 변화에 따른 시각 정보를 제때 처리하여 제공해주지 못하면 눈에서 받아들이는 시각 정보와 귀의 전정계에서 받아들이는 감각 정보가 다르게 되고, 불일치의 결과로 사용자는 멀미를 느끼게 됩니다.

정보의 품질이 나쁜 경우의 예를 말씀드리겠습니다. 사용자에게 제공되는 영상의 해상도가 낮거나 입체감 요소, 즉 양안 시차, 운동 시차 및 초점 조절 등을 제대로 제공해주지 못할 경우, 사용자는 멀미를 느끼게 됩니다. 일반 360도 VR 카메라 영상이 4K에서 8K 해상도 정보를 사용하고 양안 시차를 제공하지 못하며, 머리의 회전만 지원하는 반면에, 플렌옵틱 기술은 첫 번째로는 수십K 이상의 해상도 정보 두 번째로는 양안 시차 세 번째로는 회전과 이동이 자유로운 운동 시차 그리고 마지막으로 초점 조절을 지원하기 때문에 고품질의 정보를 사용자에게 제공해줄 수 있으며, 결과적으로 사용자의 멀미를 낮추게 됩니다.

[앵커]
우리가 또 아이언맨 같은 영화를 보면 입체 영상을 공중에 띄워서 이리저리 돌려보는 장면이 있잖아요. 이런 영화적 상상력을 실제로 구현한 게 실감 콘텐츠일 텐데, 구체적으로 어떤 기술들이 개발되고 있나요?

[인터뷰]
실감 콘텐츠라고 하는 것은 사람의 뇌에 실제 외부 환경과 유사한 정보를 제공하는 콘텐츠 기술이라고 할 수 있겠습니다. 사람의 뇌에 정보를 제공하는 형태는 직접적인 방법부터 간접적인 방법이 있겠습니다. 공상과학소설에 등장하듯이 신체 내부에 있는 뇌 혹은 시신경, 청신경 등에 신호를 직접 전달하는 연구가 이루어지고 있습니다.

다음으로는 우리의 신체 내부는 직접 건드리지 않고, 실제 일어나는 것과 같은 현상을 실제 공간에 재현하는 연구가 이루어지고 있습니다. 시각 정보에 국한하여 말씀드리면, 궁극의 3D 영상 표현 기술이라 불리는 회절 광학에 기반을 둔 디지털 홀로그램 기술이 연구 중이나 상용화까지는 최소 수년~10년이 소요될 것으로 예상합니다.

2000년부터 물체가 공간에서 빛과 상호작용하여 우리에게 전달되는 현상을 재현하는 기술들이 연구 개발되고 있습니다. 미국에서는 프로젝터와 고속 회전 거울을 이용하여 공간에 물체를 표현하는 기술들이 연구되었습니다. 일본에서는 레이저를 이용해서 아무것도 없는 허공에 실제로 영상을 투영하는 기술이 연구되고 있습니다. 우리 한국전자통신연구원 콘텐츠연구본부에서는 생체신호 센싱 및 분석, 모션 인식, 디지털트윈, 촉각 및 후각, 지능형 상호작용 등의 기술을 연구 개발하고 있습니다.

[앵커]
코로나19 이후 비대면 콘서트가 대중음악계의 주류로 자리 잡고 있는데요. 제가 K팝 가수의 콘서트에서 다양한 실감콘텐츠 기술이 적용된 걸 본 기억이 나거든요. 실감 콘텐츠가 적용될 분야에는 어떤 것들이 있나요?

[인터뷰]
콘텐츠를 문화적 요소가 포함된 정보라고 정의한다면 콘서트, 연극, 뮤지컬, 광고, 영화, 드라마, 교육 등의 산업 분야에 적용될 것으로 예상합니다. 다음으로 콘텐츠를 체험, 경험 그리고 상호작용이라는 관점에서 본다면, 메타버스가 있습니다. 원격 체험이라는 과점으로 본다면 드론, RC 자동차/보트/잠수함, 로봇 등에 카메라를 장착하고, 취미, 농업/어업/축산업, 토목/건축, 보안/군사 분야에 사용될 수 있습니다. 마지막으로 정보 제공의 관점에서 본다면 자동차 어라운드 뷰, 화상 통화, 의료 내시경 등에 적용될 수 있습니다.

[앵커]
말씀하신 것처럼 실감콘텐츠 육성 전략은 세워졌지만, 아직 대중화되기에는 한계점이 많을 텐데요. 실용화로 가기까지 가장 큰 걸림돌은 무엇이라고 생각하시나요?

[인터뷰]
정부 관련 부처의 육성 전략에는 관련 투자, 기업과 인재 육성, 킬러 콘텐츠 제작, 공공 체험 공간 보급 등 필요한 요소가 모두 적절하게 포함되어 있습니다. 기존 콘텐츠 산업에서 새로운 실감 콘텐츠 산업으로 중심이 이동하고 시장의 주도권을 확보하기 위해서는 상당히 긴 호흡이 필요합니다. 정부의 모험적 기술 연구개발에 대한 장기 투자, 관련 대기업의 꾸준한 선행적 인프라 투자가 실용화를 앞당길 것입니다.

내년에 애플이 VR/AR 관련 제품을 출시할 것으로 예측됩니다. 에어팟처럼 소비자의 인식 변화와 시장 재편이 예상됩니다. 어쩌면 지금이 곧 해가 뜨기 직전의 가장 어두운 시기가 아닌가 생각됩니다.

[앵커]
박사님의 앞으로의 연구 계획은 어떻게 되시나요?

[인터뷰]
두 단계 계획을 희망하고 있습니다. 첫 번째로는 10년 가까이 수행해온 연구 결과물이 소비자에게 사용되는 모습을 보고 싶습니다. 이를 위해 현재 수행하고 있는 비정형 플렌옵틱 원천 기술 개발이 종료된 후, 상용화를 위한 응용 기술 개발까지 참여하고 싶습니다.

다음으로는 양자 컴퓨터에서의 콘텐츠 플랫폼 기술을 개발하고 싶습니다. 양자 컴퓨터의 보급은 공상과학영화에서 보던 것들을 가능하게 할 것입니다. 상상하는 것이 모두 가능한 세계, 그 세계를 표현하는 기술을 개발하고 싶습니다.

[앵커]
영화에서 화려한 CG로만 구현되던 홀로그램 기술이 이제 현실로 다가왔습니다. 플렌옵틱 기술로 표현될 앞으로의 세계는 어떤 모습일지 기대됩니다. 지금까지 한국전자통신연구원의 김도형 책임연구원과 함께했습니다. 오늘 나와주셔서 고맙습니다.


  1.  20:30브라보 K-사이언티스트 <85회...
  2.  21:00다큐S프라임 <219회> (본)
  3.  22:00비욘드 아이-시각, 그 너머의...
  1.  [종료] 2021년 YTN사이언스 특집 프로...
  2. YTN사이언스 프로그램 모니터요원 선...