사람이 컴퓨터와 편리하게 상호작용할 수 있는 멀티 모달리티 기술이 발전하고 있다.

멀티 모달 인터페이스는 전통적 텍스트 외에 음성, 제스처, 시선, 표정, 생체신호 등 여러 입력 방식을 융합하여 인간과 컴퓨터 사이에 자연스런 의사소통이 가능한 사용자 친화형(user- friendly) 기술로서 과거의 기계 중심 입력에서 현재는 휴먼 중심의 자연스러운 입력 방식으로 변화하고 있다.

특허청에 따르면, 최근 10년간 멀티 모달 인터페이스 관련해서 총 149건이 특허 출원됐다.

2009년부터 2015년까지는 멀티 모달 인터페이스 관련 특허 출원이 미미했으나, 2016년 12건, 2017년 20건, 2018년 39건으로 최근 들어 그 출원이 증가하고 있다.

최근 5년을 살펴보면, 2016년까지는 2개 정도의 입력이 주로 이용되다가 2017년 이후에는 제스처, 얼굴, 생체신호 등의 입력이 융합되어 3개 이상의 입력 방식을 활용한 출원이 점차 증가하는 것으로 조사됐다.

2014년과 2018년을 비교하면, 생체신호 부분(맥박, 심박수, 홍채, 지문)이 2건에서 11건으로 5.5배의 가장 큰 폭의 증가를 보였고, 그 다음으로는 소리 부분(음성, 음악, 음향)이 7건에서 28건으로 4배 증가했다.

그리고 얼굴, 제스처, 냄새 부분도 총 12건에서 35건으로 2.9배 증가하고 있는 반면, 전통적인 텍스트 부분 (키보드, 터치패드, 전자펜)은 9건에서 7건으로 감소했다.

출원인별로는, 내국인 출원이 총 88건(94%)으로 연구기관 및 대학출원은 51건(54%), 그 다음으로 개인 및 중소기업 출원이 28건(30%), 대기업 출원이 9건(10%) 순으로 나타났고, 외국인 출원은 6건(6%)을 차지하고 있다.

다출원인을 살펴보면 한국전자통신연구원 21건, 삼성전자 5건, 엘지전자, ㈜아모레퍼시픽 및 한국과학기술연구원은 4건, ㈜아크릴, ㈜스마트올웨이즈온, 국민대학교 및 충남대학교는 3건 순이다.

한편 멀티 모달 기술은 게임, 오락 등으로 이미 실용화되어 사물 인터넷과 연동된 기술로 확산되고 있고, 향후 온 몸에 컴퓨터를 두르는 유비 쿼터스 세상에서 인간의 학습 능력을 모방한 인공 지능을 가미한 미래 입력 방식으로 진화할 것으로 전망된다.