‘10년 QoLT 기술개발사업 신규과제 RFP(공고)

과제명 : 장애인을 위한 멀티모달 인터페이스 기술 개발

가. 개요

카메라, 안구추적, 마이크로폰, 생체신호 센서 등을 이용하여 장애인의 시각, 청각을 보조하여 글자를 읽어주거나 주변 환경을 파악할 수 있게 해 주며, 지체장애인의 의도와 상태 또한 파악할 수 있는 멀티모달 인터페이스 시스템을 개발함으로써 사용자가 세상과 보다 많은 소통을 할 수 있도록 돕는 기술을 개발한다.

□ 개념 및 정의

그림 1. 장애인을 위한 멀티모달 인터페이스 기술 개발 개념도

o  카메라 입력을 통해서 주변의 문서와 책을 읽어주는 기술을 개발함. 카메라 입력으로 들어오는 문서영상은 스캐너 문서 영상과는 달리 여러 가지 왜곡이 있어서 인식률이 크게 떨어진다. 즉 책 표면이 휘어져 있고, 시선방향의 기하왜곡, 불균일 조명, 블러 현상, 렌즈 왜곡현상 등이 있으므로 이를 보정하는 기술의 개발이 요구된다.

o  안구 운동 추적 기술과 EEG, EMG 센서 기술을 이용하여 안구 운동 및 뇌와 근육의 생체신호를 분석하고 이들 신호와 사용자의 실제 의도 사이의 연관관계를 학습기법을 이용하여 분석하고 정의함으로써 장애인의 의도를 정확히 파악하여 움직임을 표현해 줄 수 있는 인터페이스를 개발한다.

o  카메라를 이용한 주변환경 및 사용자 상태 모니터링 결과와 여러 가지 센서의 정보를 종합한 멀티모달 인터페이스 시스템을 개발하여 가정/사무실의 환경과 이벤트를 인지할 수 있도록 함으로써 안전사고에 대비하며 세상과의 소통을 돕는 기술을 개발한다.

o  다양한 장애에 대응할 수 있는 멀티모달 사용자 맞춤형의 인터페이스를 설계하고, 여러 가지 형태의 입력 신호들을 종합하여 사용자의 상태 및 의도를 정확히 파악할 수 있는 인공지능 알고리즘을 개발하여 장애보조기기 뿐 아니라 생활환경을 통합적으로 제어하고 세상과의 소통을 원활하게 하는 Barrier Free 기술을 개발한다.

나. 연구목표 및 내용

□ 최종 목표 및 내용

o 최종 목표

본 연구에서는 고령자와 장애인을 위한 멀티모달 인터페이스 시스템의 프로토타입을 개발한다. 멀티모달 인터페이스를 위한 센서들은 본 연구에서 제시한 예에 국한되는 것은 아니지만 기본적으로 사용자의 시각을 보조할 수 있는 비전 시스템과 사용자의 상태를 파악할 수 있는 생체신호가 포함되는 것으로 한다. 상기 센서들을 이용하여 장애인이 세상과 보다 넓은 소통을 하고 장애인을 돌볼 수 있는 소프트웨어 개발을 수행하며, 본 연구에서의 개발 범위는 카메라 입력을 통한 문자 인식 시스템, 그리고 비전과 생체신호 인식을 통하여 고령자 및 장애인의 상태를 파악할 수 있는 인공지능기술 개발로 한다. 이를 통하여 장애인이 생활의 편리성을 확보하고 위험을 방지함으로써 장애인의 복지 뿐 아니라 개호인력의 효율적 운영을 가능케 하는 기반기술의 개발을 목표로 한다.

기 반	분 야	설계 범위
생체 신호	1. EMG, EEG	사용자 상태 및 의도와 생체신호 사이의 연관성을 분석하는 생체신호 처리/분석 기술 및 로봇학습 기법
비젼	2 Eye-tracking	컴퓨터 앞 사용자의 동공의 움직임을 추적하여 EMG, EEG와 함께 조합하여 Decision Making을 검출하는 사용자-컴퓨터 인터페이스 기술 구현
	3. 글자 영상 처리 시스템	문서/책의 왜곡을 보정하여 글자 인식률을 높이는 기술
	4. 모니터링 시스템	가정/사무실의 환경과 주변 기기의 상태를 모니터링 할 수 있는 비젼 시스템과 멀티모달 입력으로부터 사용자의 상태를 실시간으로 파악하여 거동이 불편한 사용자의 신변에 안전을 대비 할 수 있는 기술
통합	5. 인공지능기술을 이용한 멀티모달 인터페이스 시스템	사용자 맞춤형의 멀티모달 인터페이스를 통해 사용자의 의도 및 요구를 정확히 파악하여 신체기능 보조 시스템 및 생활 환경을 제어하게 하는 인공지능 기술

o 확보기술 내용

- 자체개발 기술

⋅OCR 향상을 위한 문서영상 전처리 기술

⋅안구 운동의 분석 기술

⋅안구 운동 분석을 통한 효율적인 인터페이스 기술

⋅다양한 생체신호 센서와 Eye-tracker 센서를 종합한 사용자 맞춤형 인터페이스 기술

⋅다양한 생체신호를 통한 사용자의 의도 파악 기술

⋅의도 파악을 통한 Human-Machine 인터페이스 기술

⋅카메라와 센서를 종합한 멀티모달 인터페이스 기술

⋅멀티모달 인터페이스를 통한 주변 환경과 사용자 상태 모니터링 기술

- 기존기술 활용

⋅얼굴 검출 기술

⋅OCR (Optical Character Recognition) 기술

⋅EEG, EMG 등 기존의 생체신호 센서 기술

□ 연도별 목표 및 내용

<추진 마일스톤>

구분	2010년	2011년	2012년	2013년
연도별 연구목표	장애인을 위한 카메라 인터페이스 기술 개발과 다양한 생체신호 센서를 통한 사용자의 의도파악 기술 개발	시각 장애인을 위한 문서영상 처리 기술과 지체장애인을 위한 생체신호 이용 기술 개발 ▪ 문서영상 인식 오류 10% 감소 ▪ 비전을 이용한 이벤트 검출률 50% ▪ 안구운동과 사용자 의도 간의 적중률 60% (사용자의 주관적 평가와 알고리즘 판단의 비교)	멀티모달 인터페이스 시스템 개발과 응용 ▪ 문서영상 인식 오류 30% 감소 ▪ 비전을 이용한 이벤트 검출률 60% ▪ 사용자의 상태 (피로도, 작업부하) 의 주관적 평가와 생리학적 평가의 부합도 70%	멀티모달 인터페이스 시스템 개발과 응용 ▪ 문서영상 인식 오류 50% 감소 ▪ 비전을 이용한 이벤트 검출률 70% ▪ 사용자의 상태 (피로도, 작업부하) 와 제어의도의 주관적 평가와 생리학적 평가의 부합도 85%
연도별 연구내용	▪시각 장애인을 위한 영상처리 기술 분석 ▪카메라로 취득된 문서영상의 분석과 처리 ▪생체신호와 사람의 의도와의 연관성 연구 ▪안구운동(eye tracking) 의 물리심리학적 분석 ▪고정 카메라와 센서를 이용한 이벤트 검출 기술	▪카메라로 취득된 문서영상의 인식률을 높이기 위한 영상 전처리 기술 개발 ▪문서영상의 조도 보정, 기하왜곡 보정 연구 ▪안구운동 분석을 통한 포인팅 디바이스 개발 ▪고정 카메라를 이용한 사무/가정 환경 이벤트 검출	▪문서영상 전처리를 통한 문서인식률 개선 ▪다양한 생체신호 센싱 기술의 결합 ▪멀티모달 인터페이스 시스템 개발 ▪멀티모달 인터페이스를 통한 환경 모니터링 기술 ▪멀티모달 인터페이스를 통한 사용자 상태 파악	▪멀티모달 인터페이스를 통한 영상인식/검출 기술 개발 ▪멀티모달 인터페이스를 통한 사용자와 세상과의 효율적인 소통 방법 개발 ▪멀티모달 인터페이스를 통한 사용자의 의도를 파악하는 인공지능 및 로봇학습 기술 ▪알고리즘의 고속 처리 연구
연도별 주요결과물	▪카메라 문서영상의 OCR software ▪ 사용자의 의도와 생체신호(EMG, EEG)의 연관성 분석 기술	▪카메라 OCR 시스템 ▪생체신호와 Eye-tracking 기술의 최적의 조합 분석 및 정립	▪휴대형 멀티모달 인터페이스 시스템	▪ 생체신호와 카메라 기술을 통합하여 사용자의 상태, 의도, 니즈를 파악하는 통합형 환경 제어 시스템
TRL	3단계	4단계	5단계	6단계

다. 추진체계 : 본 과제는 일반형으로 기획되었음

□ 주관기관 : 제한없음

□ 참여기관 : 제한없음

※ 산업체 참여 필수

라. 연구기간 및 연구비

□ 연구기간 : 2010년 ~ 2013년 (4년간)

□ 정부출연한도 : 2010년도 4.0억원 이내 (4년간 18억원 이내)

□ 연구비

(단위: 억원)

구분	2010년	2011년	2012년	2013년	총액
정부	4.0	4.0	4.5	5.5	18.0