사이언스 투데이
science 취재파일 바이오 위클리 사이언스 HOT5 사이언스 매거진 별별 이야기 내 몸 보고서 날씨학개론 생각 연구소 과학의 달인 궁금한S

[과학의 달인] AR·VR 기반의 실감콘텐츠, 장애인 직업 훈련 돕는다…길연희 ETRI 책임연구원

■ 길연희 / 한국전자통신연구원 책임연구원

[앵커]
언어와 이해, 신체 능력이 부족한 발달 장애인은 새로운 일을 배울 때 많은 반복 훈련을 해야 해서 주변의 도움이 필요한데요. 국내 연구진이 발달 장애인 혼자서도 무한 훈련이 가능한 실감콘텐츠 기술을 개발했습니다.

오늘 과학의 달인에서는 장애 맞춤형 실감 콘텐츠 기술을 개발하신 한국전자통신연구원 길연희 책임연구원 모시고 자세한 이야기 나눠보겠습니다. 안녕하세요.

[앵커]
최근 다양한 실감 콘텐츠 기술이 개발되고 있지만, 대부분은 단순 체험이나 게임 등에 적용되거든요.

그런데 실감 콘텐츠를 직업 훈련에 활용하는 경우는 많지 않았는데, AR VR 기반의 실감콘텐츠가 직업 훈련에서 어떤 강점을 가지나요?

[인터뷰]
실감 콘텐츠란 시각, 청각, 촉각 등 인간의 오감을 현실에서와 유사한 수준으로 실감 나게 느낄 수 있게 하는 가상현실 콘텐츠를 의미합니다. 또, 실감 콘텐츠는 가상현실상에서 객체들과의 물리적 상호작용을 실제와 유사하게 구현함으로써 가상이지만, 현실에서 체험하는 것 같은 느낌을 줄 수 있습니다.

실감 콘텐츠를 이용한 직업훈련은 실제 실습을 통한 훈련과 유사한 효과가 있고요, 그러다 보니 교재를 통한 전통적인 학습방법이나 동영상 시청과 같은 1차원적인 지식전달과 비교했을 때 몰입도가 높고, 학습 효과가 뛰어나다는 연구 결과가 있습니다.

몰입환경에서 반복적으로 훈련했을 때 자연스럽게 몸에 체득되는 효과 또한 기대할 수 있고요. 특히, 여러 가지 위험한 상황들이 발생할 수 있어 실물 훈련이 힘든 경우나, 공간상의 제약으로 하기 어려운 다양한 훈련들을 실감 나게 할 수 있어서 실물 훈련의 한계를 극복할 수 있다는 장점도 있겠습니다.

[앵커]
그만큼 다양한 분야에 활용할 수 있을 것 같은데요. 이번에 개발한 실감 콘텐츠 기술은 비장애인이 아닌 발달장애인을 위한 기술이라는 점이 독특합니다. 장애 맞춤 기술이란 어떤 건가요?

[인터뷰]
장애 맞춤 기술이란 다양하게 정의될 수 있습니다. 시각장애인을 위한 정보 접근성 기술이라든지, 청각 장애인을 위한 자동자막기술, 수화통역기술이나 아바타 수화기술 등도 넓은 의미에서 장애 맞춤 기술이라고 볼 수 있습니다.

저희는 발달장애인을 위한 실감 콘텐츠 기술을 개발했는데요. 발달장애인은 인지능력과 시각/청각/촉각 같은 감각의 수용도와 민감도가 다양하게 나타납니다. 물론, 비장애인들도 개개인에 따라 차이가 있을 수 있겠지만, 저희가 연구한 결과에 따르면, 발달장애인들이 비장애인과 비교했을 때 집단적 특성보다 개별 특성이 더 뚜렷한 것으로 나타났습니다.

이러한 발달장애인들의 특성을 반영해 콘텐츠에 대한 거부감을 줄이고, 또, 훈련의 효과를 높일 수 있도록 실감 콘텐츠를 개인 맞춤형으로 제공하는 기술이라고 보시면 되겠습니다.

좀 더 설명해 드리자면, 개개인의 감각 특성을 분석해서 예민한 감각자극은 줄이고 선호하는 감각 위주로 콘텐츠를 제공하는 기술이 되겠습니다. 예를 들어 청각적으로 예민한 경우에는 음량을 줄이고 시각적인 정보 중심으로 콘텐츠를 제공한다든지, 촉각 정보에 대한 수용도가 높은 사용자에게는 진동을 통해 정보를 전달한다든지 하는 방식이 되겠습니다.

[앵커]
스팀 세차 가상훈련 기술을 살펴보니 혼합 인터랙티브 콘텐츠 기술이 적용됐다고 하던데요. 이건 어떤 기술인가요?

[인터뷰]
혼합 인터랙티브 콘텐츠 기술은 현실과 가상을 연계하여 컨트롤러가 아닌 두 손으로 실물을 터치하고 만지면서 가상훈련을 할 수 있게 하는 기술입니다. 저희가 개발한 스팀 세차 가상훈련 시스템에서는 보시는 것처럼 실제 스팀 세차에 사용되는 것과 같은 스팀 건과 세차용 걸레를 사용하는데요, 여기에 압력센서와 위치센서를 달아서 훈련 동작을 인지하고 사용자에게 실제와 같은 세차의 느낌을 주게 됩니다.

일반적으로 가상훈련은 VR글래스라고 하는 HMD(Head Mounted Display)를 착용한 상태에서 양손에 컨트롤러를 들고 가상의 물체를 터치하거나 움직이면서 수행합니다. HMD를 착용하면 상하좌우 모든 방향에서 가상 세계를 볼 수 있어 훈련의 몰입도가 높아질 수는 있겠으나, 아무래도 가상의 물체를 직접 터치하거나 만지는 게 아니고 컨트롤러를 이용하다 보니 실제 경험하는 것과 같은 사실감을 느끼기엔 어려움이 있을 수 있습니다.

저희 스팀 세차 가상훈련 시스템에서는 실제와 가상을 융합한 인터랙티브 콘텐츠 기술이 적용되어 스팀 건과 세차용 걸레를 직접 손에 들고, 또, 실제 자동차 구조물을 대상으로 훈련을 수행함으로써, 가상훈련이지만 시각과 청각뿐 아니라 촉각적으로도 실제와 유사한 사용자 경험을 제공하고 있습니다.

이를 위해 저희는 여러 대의 카메라 센서와 압력센서를 이용해 실세계에 있는 이용자의 위치와 자세, 스팀 건과 걸레의 움직임, 걸레질의 압력 등을 정확히 분석하고 가상환경에 동기화하고 있습니다.

[앵커]
뿐만 아니라 개발하신 바리스타 가상훈련을 통해서 훈련생이 실제로 대기업 카페에 취업했다고 들었습니다. 중재기법이 적용된 덕분이라고 하던데, 이 기술의 강점은 무엇인가요?

[인터뷰]
네. 바리스타 가상훈련은 HMD를 쓰고 훈련을 받게 되는데, HMD를 쓰면 아무래도 시야를 완전히 차단하기 때문에 주변을 볼 수 없고, 좌우 스피커에서 나오는 소리 때문에 목소리도 잘 들리지 않는 경우가 많아서 선생님이 바로 옆에 계시더라도 도움을 주기 어려울 수 있습니다.

이때 교사의 도움을 VR 콘텐츠로 제공할 수 있게 한 기술이 중재기술입니다. 특수교육에서 중재라는 개념은 교수자가 학생들이 어떠한 목표를 달성할 수 있도록 옆에서 도와주는 활동이라고 정의되는데요, 가상훈련을 하다 보면 수차례 교육을 받았다 하더라도 절차가 복잡하거나 헷갈릴 때 무엇을 어떻게 해야 할지 모르는 경우가 있습니다. 이때 중재기술을 통해서 교사가 훈련생에게 힌트라든지 단서, 시범 동영상 등을 VR 상에서 적절히 제공해줌으로써 기억을 떠올리게 하거나 스스로 문제를 해결할 수 있게 하여 그 단계의 목표를 달성하는 데 도움을 줄 수 있습니다.

현재 중재기법이 적용된 바리스타 가상훈련이 대전발달장애인훈련센터에서 시범 운영되고 있는데요, 특수교육 기법이 적용된 만큼 발달장애인 훈련에서 높은 만족도를 보이고, 특히, 수업을 들은 훈련생이 바리스타에 흥미를 느껴 이번에 대기업 자회사 카페에 지원하여 10월 채용을 앞두고 있기도 합니다.

[앵커]
단순히 관련 기술을 개발해 제공하는 데서 끝나지 않고 발달장애인훈련센터에서 직접 시범서비스를 운영하셨는데요. 피드백 과정에서는 어떤 일들이 있었나요?

[인터뷰]
저희는 처음부터 저희가 개발하는 콘텐츠 기술을 발달장애인 가상훈련에 적용한다는 목표를 세우고 연구를 시작하였습니다. 그래서 현장 요구사항을 최대한 반영하면서 연구를 진행해왔고요, 그 과정에서 특수교육 분야와 장애인 직업훈련 분야 등 학제적 전문가 그룹의 조언이 큰 도움이 되었습니다. 또 바리스타 강사님을 초빙하거나, 실제 발달장애인이 일하고 있는 스팀 세차장에 찾아가서 세차장 매니저님께 실제로 이루어지는 훈련 절차에 대한 조언을 듣는 등 훈련 시나리오를 전문화하기 위해 노력했습니다.

그런데도 콘텐츠를 현장에 적용했을 때는 미처 생각하지 못한 상황들이 발생했고, 직업훈련 선생님과 발달장애인 훈련생들은 저희가 보지 못한 새로운 시각으로 의견을 주셔서, 콘텐츠를 더욱 디테일하게 발전시킬 수 있었습니다.

사실 처음에 HMD를 발달장애인이 쓰는 게 안전할까에 대한 걱정도 있었는데, 의외로 훈련생들이 가상현실을 통해 수업하는 것을 상당히 흥미로워하고 또 즐겁게 받아들여 주어서 보람을 느끼기도 했습니다.

[앵커]
많은 직업 훈련 중에서도 바리스타와 스팀 세차 훈련을 선택한 특별한 이유가 있나요?

[인터뷰]
두 직종은 발달장애인 훈련생들이 많이 진출하는 분야이기도 하지만, 저희는 훈련현장의 요구를 전적으로 수용해서 대상 직종을 선정했습니다.

바리스타의 경우 훈련기관 내에 실물 에스프레소 머신과 카페를 설치해 훈련하기도 합니다만, 사실상 바리스타 용어가 일상적으로 쓰이지 않는 생소한 용어들이 대부분이고, 커피를 만드는 과정과 절차가 상당히 복잡한 편입니다.

또, 우유 스티밍이나 에스프레소 추출 과정에서 뜨거운 김과 큰 소리가 나는 등 위협적인 상황들이 많아서 발달장애인 훈련생들이 어려움을 느끼는 경우가 많습니다. 바리스타 가상훈련을 통해 어려운 용어나 절차들을 반복적으로 학습할 수 있고, 안전한 환경에서 위험한 상황에 대해 충분히 숙지하고 대처하는 방법을 익힐 수 있다는 장점으로 인해서 훈련기관에서는 실물 훈련을 하면서도 가상훈련을 병행하도록 하고 있습니다.

스팀 세차의 경우는 사실상 자동차를 들여올 수가 없으니 훈련기관에 실물 훈련 관을 구축하기 어려운 상황이고요, 마찬가지로 고온의 스팀 등 위험한 요소들이 많아서 현장 투입에 앞서 가상훈련과 같은 사전훈련이 요구되고 있는 분야입니다. 특히, 최근에 스팀 세차장에 취업하는 발달장애인 훈련생들이 많아지는 추세라 직업훈련기관에서 훈련에 대한 수요가 증가하고 있기도 합니다.

[앵커]
발달 장애인 말고 일반인의 교육, 훈련에도 개발한 기술을 적용할 수 있나요? 실제 계획하고 있는 다른 직업 훈련이나 개발한 기술의 적용이 기대되는 분야가 있으신가요?

[인터뷰]
맞춤형 실감 콘텐츠는 장애인뿐 아니라 노인이나 어린이, 가상훈련에 익숙하지 않은 비장애인 대상의 프로그램에도 적용될 수 있습니다. 사실상 발달장애인뿐만 아니라 비장애인 역시 개개인에 따라 감각과 인지적 특성이 다양합니다. 현재, 가상현실을 이용한 여러 가지 훈련 프로그램의 시장 규모가 전 세계적으로 많이 증가하는 추세라서, 개인화된 맞춤형 실감 콘텐츠를 적용함으로써 가상훈련 프로그램의 효과성과 시장성을 극대화하는 것이 가능할 것이라고 예상됩니다.

또, 가상 중재를 원격으로 제공한다면 현재 시행되고 있는 비대면 교육이나 훈련을 좀 더 실감 나게 제공할 수 있어 코로나로 온라인 수업을 할 수밖에 없는 상황에서 수업의 집중도와 흥미도를 높일 수 있을 것이라 기대합니다.

[앵커]
앞으로의 연구 계획도 설명 부탁합니다.

[인터뷰]
저희는 실감 콘텐츠 기술과 맞춤형 콘텐츠 기술을 연구하고 있습니다. 앞으로도 이 기술을 지속해서 발전시켜 앞으로는 발달장애인뿐 아니라 더 많은 장애 유형을 대상으로 한 교육훈련 프로그램을 개발하고자 합니다.

또, 장기적으로는 포스트 코로나 시대 원격수업을 선생님 얼굴만 보고 하는 것이 아니라 가상의 환경에서 친구들, 동료들과 함께 실감 나게 할 수 있도록 원격 실감 콘텐츠 기술을 개발하는 것을 목표로 하고 있습니다.

[앵커]
실감콘텐츠 기술로 장애인의 직업 훈련을 돕는 프로그램에 대해 알아봤는데요. 과학이 장애인의 자립을 돕는 든든한 버팀목이 되어주고 있다는 생각이 듭니다.

앞으로도 더 좋은 성과를 내주시길 기대합니다. 지금까지 한국전자통신연구원 길연희 책임 연구원과 함께했습니다. 고맙습니다.


YTN 사이언스 박순표 (spark@ytn.co.kr)
  1.  09:00다큐S프라임 <230회> (3)
  2.  10:00황금나침반 <297회> (7)
  3.  10:45핫 클립 유레카 <39회> (3)
  1.  [종료] 2021년 YTN사이언스 특집 프로...
  2. YTN사이언스 프로그램 모니터요원 선...