(재)실감교류인체감응솔루션연구단

신규과제 RFP

□ 과제명 : 원격 사용자 간 동적 상호작용을 위한 입체음향 실시간 모델링 및 렌더링 기술 개발 (Development of Real-time Modeling and Rendering Methodology of Dynamic Interactive 3D Sound in Coexistent Space)

□ 개요

※ (주 1) 인체감응 실감교류 확장공간 (Coexistent Space) : 원격의 사용자들이 시공간을 초월하여, 정보, 4D+ 감각, 감성, 의도, 경험 등을 실시간 소통 및 공유하고, 상호 인터랙션 및 협력(협업) 함으로써, 현실공간에 함께 있는 것 같은 공존감을 느낄 수 있는, 현실-가상-원격 공간이 (조화를 이루어) 구분없이 연결된 일체화된 공간

※ (주 2) 4D+ 감각 : 시각(3D), 청각, 진동, 운동 외에 역감, 촉감 및 기타 부가 감각들이 결합된 복합감각

정의	인체감응 실감교류 확장공간에서, 다수의 원격 사용자, 가상의 정보, 객체 및 환경 간의 상호 인터랙션 시 발생하는 간섭(장애물), 접촉, 충돌, 변형, 운동, 마찰력 특성과 사용자와의 거리 및 방향에 대응한 입체음향의 실시간 모델링, 생성 및 표현 기술
연구범위	현실공간에서의 주체별 고유음향의 실시간 캡처링 및 모델링 방법론 원격 사용자 간 마이크 및 음향시스템의 구조 차이, 인체감응 확장공간과 각 사용자들의 현실공간 간의 구조(Structure) 차이, 사용자와 음원의 거리 및 방향 변화 등에 대응하는 입체음향의 실시간 생성 및 표현 방법론 - 실시간 캡처링 된 고유음향을 기반으로 주변 객체의 흡음 특성, 간섭(장애물), 접촉, 충돌, 변형, 운동(속도, 방향, 거리 등), 마찰력 특성이 변화하는 동적환경에서의 입체음향 실시간 생성 및 표현 방법론
선정 필요성	- 4D+ 감각을 지원하는 인체감응 확장공간에서, 사용자가 존재하는 현실공간에 표현된 다른 사용자, 가상의 정보, 객체 및 공간 등과 실제처럼 소통, 인터랙션하고 협업할 수 있도록 생생한 음향을 모델링하고 생성, 제공하고자 함.

□ 연구목표 및 내용

※ (주 3) 삼차원 디스플레이 및 영상과의 연동은 협의를 통해 연구단에서 지원함.

연구목표	현실, 가상 및 원격 공간이 통합된 인체감응 확장공간에서, 복수 사용자들, 객체 및 환경 간의 상호작용에 연동된, 삼차원 영상과 동기되어 120Hz 이상의 주기로 Update 가능한, 동적 입체음향의 실시간 생성 및 렌더링 기술 개발 ※ (1) 공간 위치가 변화하는 사용자의 음성, 손뼉 치는 소리, 공 튀기는 소리를 원격 사용자가 동일한 장소에 함께 있는 것과 흡사한 공간감(거리감, 방향성 등)을 느끼면서 들을 수 있도록 입체음향을 실시간 렌더링 하는 수준, (2) 사용자 자신의 손 마주치는 소리, 공 튀기는 소리, 블록이 테이블에 부딪히는 소리 등 주체별 고유음향을 실시간 모델링 한 후, 이를 원격 사용자에게 전달하여, 인체감응 확장공간의 다양한 공간 위치에서, 두 원격 사용자의 손이 마주치는 소리, 원격 사용자가 가상 농구공을 튀기거나 두드리는 소리, 공끼리 부딪히는 소리, 블록을 바닥에 두드리는 소리 등을 현실공간처럼 실시간 렌더링 하는 수준
	Break-Thru	- 현실공간에서의 주체별 고유음향의 실시간 캡처링 및 모델링 방법론 - 공간 및 음향시스템 구조 차이를 극복하고, 동적 환경변화 대응 가능한 입체음향의 실시간 생성, 표현 및 렌더링 방법론
주요 연구내용	- 객체(사용자, 객체, 환경 등 포함)별 고유음향 정의 및 실시간 캡처링-모델링 방법론 (객체의 재질, 탄성 등의 자체 특성, 뚜껑이 열리는 것과 같은 자체 변형 특성에 따른 음향, 충돌 및 접촉에 따른 음향 등과 같이 다양한 객체 단위의 고유음향을 캡처링 및 모델링 하고, 이를 표현하기 위한 방법론) 개발 - 음향 센서 및 생성 시스템 구조의 차이, 공간 구조의 차이, 사용자 간 관계 차이, 사용자와 음원의 거리 및 방향 변화 등에 대응하는 입체음향의 실시간 생성, 표현, 전달 방법론 및 정량적 평가기술 개발 - 접촉, 충돌, 변형, 운동(속도, 방향, 거리 등), 흡음, 마찰력 특성이 다른 환경 차이 등에 따른, 고유음향 기반 실시간 입체음향 생성 및 표현 기술 개발 삼차원 영상과 연동되어, 120Hz 이상의 주기로 Update 가능한 실시간 입체음향의 생성 및 렌더링 기술 개발 3D 디스플레이와 결합한 실시간 음향 생성 시연 및 사용자 평가

□ 연구기간 및 연구개발비

연구기간	협약시점 ~ 2015. 8. 31.
연구개발비	200,000천원/년