IniVation, 사람 눈과 가장 비슷한 카메라를 만들다

뉴로모픽 공학(Neuromorphic Engineering)이란 뇌의 처리 방식과 비슷한 인공지능 시스템을 만드는 연구 분야를 의미합니다. 기존의 공학적 접근과는 상이한 생물학적 정보 처리 방식을 사용하는 이 뉴로모픽 공학은 20년 전에 처음 개념이 만들어져 활발하게 연구가 진행되고 있습니다.

Inivation은 이 뉴로모픽 공학의 원리를 이용하여 카메라를 만드는 기업입니다. 일어난 사건을 기반으로 하여 만들어진 동적 비전 센서(DVS : Dynamic vision sensor)는 사람의 홍채가 정보를 받아들이는 방식을 채택하여 만든 Inivation사의 주력 제품입니다.

IniVation 사 홈페이지 모습

기존의 vision sensor, 즉 카메라는 각각의 사진들을 연속으로 보이도록 겹쳐 동영상을 만드는 프레임의 형식으로 카메라를 작동시킵니다. 연속적인 프레임은 매우 쓸모없는 정보들을 포함하게 되는데, 예를 들어 한 사람을 관찰할 때 그 사람뿐 아니라 사람 주변의 배경까지 모두 계속 관찰할 수 밖에 없습니다. 이에 따라 메모리를 추가적으로 사용하게 되고, RAM이나 저장공간을 낭비함에 따라 쓸데없이 에너지와 시간, 그리고 동력을 낭비하게 됩니다.

뿐만 아니라 각각의 프레임은 각 픽셀마다 같은 노출 시간을 가지게 되고, 이에 따라 밝은 부분과 어두운 부분이 함께 있는 경우에는 그 정보를 확실하게 얻을 수가 없게 됩니다. 어두운 부분과 밝은 부분이 공존할 경우 둘 중 초점을 어느 곳에 맞추느냐에 따라 다른 한 부분의 카메라 사진 정보는 부적절한 노출 시간에 의해 부정확해질 수 밖에 없습니다. 

동적 비전 센서를 시각적 주행거리 측정(Visual Odometry)에 사용한 영상.

동적 비전 센서(DVS: Dynamic Vision Sensor)는 이러한 문제들을 혁신적으로 해결한 비전 센서입니다. 마치 사람의 홍채와 같은 원리를 가진 이 센서는 기존에 프레임들을 이미지 처리장치로 계속 보내 발생하는 데이터의 낭비를 막습니다. 오직 픽셀 단위에서 움직임에 의해 국소적인 변화가 있을 때에만 그 정보를 전송하게 됩니다. 즉, 움직이는 사건이 발생할 때만 카메라의 정보를 전송하는 것입니다. 그림과 같이 멈춰 있는 경우에 동적 비전센서는 데이터 처리를 하지 않고, 움직이는 경우에만 움직이는 대상을 측정하여 데이터를 전송하게 됩니다.

Inivation 사의 동적 비전 센서 구동 원리

이러한 획기적인 방식의 이미지 처리 방식은 비전 센서 DVS가 마이크로 초 단위의 해상도를 갖게 해주었습니다. 다시 말해 1초당 수천 프레임을 찍는 초고속 카메라보다 더 뛰어난 시간 분해능을 가지게 된 것입니다. 뿐만 아니라 전력 소모 및 데이터 저장 요구 조건 또한 매우 줄어들었기 때문에 이 센서의 dynamic range(센서가 구분할 수 있는 밝기의 범위) 또한 획기적으로 늘게 되었습니다.

동적 비전 센서를 이용하여 촬영한 물방울을 떨어트리는 장면

아래 동영상과 같이 빠른 동작이 필요한 연구 사례에도 활용할 수 있습니다. 로봇은 빠른 속도로 다가오는 탁구공의 위치를 보고 탁구공이 골로 연결되지 않도록 막는 골키퍼 역할을 합니다. 이 골키퍼 로봇은 초고속 카메라의 도움 없이 3ms의 반응속도를 가지면서도 CPU의 4%밖에 쓰지 않습니다. 동적 비전 센서를 사용함으로써 필요없는 정보 처리를 줄여 정보 처리에 필요한 로드를 줄인 것입니다. 

동적 비전 센서를 이용해 로봇 골키퍼를 만든 모습.

IniVation사는 동적 비전 센서를 이용하여 초고속 3D 스캔을 통한 예측 보정(Predictive Maintenance), 전력 효율이 뛰어난 실시간 감시 카메라 개발, 초고속 위치추정 및 지도 구성(SLAM : Simultaneous Localization and Mapping), 로봇의 물체 인식 등 다양한 적용 범위에 대해 연구해 나가고 있습니다. 특히 삼성, IBM 등과 함께 초저전력 제스처 인식 기술에 대한 연구를 진행해 동적 비전 센서의 적용 분야를 넓혀 나가고 있습니다.

현재 iniVation의 자회사인 IniLabs에서는 동적 비전 센서를 350만원에, 동적 비전 센서에 프레임 기반의 데이터 처리 방식을 적용한 모델(DAVIS: Dynamic and Active-pixel Vision Sensor)을 700만원대의 가격으로 판매하고 있습니다.

동적 비전 센서를 자동 주행에 사용한 경우

로봇을 완성하는데에는 로봇을 움직이게 하는 액츄에이터의 기술 뿐만 아니라 주변 사물을 인식하거나 위치 추정 등에 쓰이는 센서 기술 또한 필수적입니다. 기존의 초고속 카메라가 가진 여러 가지 한계를 극복하고, 전력 대비 높은 효율을 보이는 IniVation사의 동적 비전 센서는 향후 로봇의 눈을 만드는 데 큰 역할을 할 것입니다.

 

참고자료

E. Mueggler, B. Huber, and D. Scaramuzza, "Event-based, 6-DOF Pose Tracking for High-Speed Maneuvers", IROS 2014

에티 페이스북 팔로우 하기