티스토리 뷰

Imgur 이미지 내 사물 구획화


이미지에서 사물을 정확하게 구별할 수 있는 시스템이 있다면 더 나은 AR을 만들거나 이미지 편집에 활용할 수 있을 것입니다.


이전까지의 비전 기술들은 단순히 이미지 내의 사물이 무엇인지 알아 맞히는 데 집중하였습니다. 하지만 사람의 시각은 단순히 사물이 무엇인지를 인지하는데 그치치 않고 더 복합적으로 동작합니다. 우리는 고양이 사진을 보고, 고양이가 있다는 사실만 아는 것이 아니라 이미지 내에서 어디까지가 고양이고 어디부터가 배경인지도 알 수 있습니다지난 몇 년간 컴퓨터 비젼 분야에서 이루어진 발전들은 이미지를 분류하기 위해 수많은 데이터로 훈련된 대규모 인공신경망을 통해 이루어졌습니다. 이 "딥 러닝" 시스템은 색깔이나 질감 같은 다양한 특징을 인식하는 것에 특화되어 있지만 물체의 경계선은 잘 인식하지 못합니다.


Imgur 

이미지 구획화의 단계


이번에 페이스북이 개발, 배포한 컴퓨터 비전 알고리즘은 컴퓨터가 이런 일을 할 수 있게 하였습니다. 이 알고리즘은 이미지 내에 있는 것이 어떤 물체인지를 구별해줄 뿐 아니라 그 물체의 모양까지도 구별할 수 있습니다. 얼핏 보기엔 단순할지 모르지만 컴퓨터가 이런 일을 하려면, 픽셀단위로 이미지를 분류해야하기 때문에 기존 시스템으로는 한계가 있었습니다.


시각 장애인에게 이미지를 설명해주는 서비스


페이스북의 알고리즘은 "이미지 구획화"를 수행하기 위해 인공 신경망들을 순차적으로 조합합니다. 맨 앞의 두 신경망은 각 픽셀이 어떤 물체의 일부인지 아닌지를 구별하는데 사용됩니다. 그리고 세 번째 신경망은 이 물체들이 무엇인지를 구별합니다. 이번 작업에 참가한 페이스북의 연구 관리자 래리 짓닉은 "가장 어려운 것은 컴퓨터가 현실을 이해하게 하는 것, 즉 실제로 무엇이 있는지를 아는 것으로 이미지 구획화는 장면 추론에 핵심적인 요소" 라고 말했습니다.


Imgur 

이미지내 물체 레이블링


짓닉은 이 알고리즘이 결국 페이스북에 올라온 이미지에서 제품의 테투리를 자동으로 강조하는 시스템을 개발하는데 사용되거나, AR 앱들을 더욱 현실적으로 만드는 데 사용될 것이라고 말했습니다. 특히 이 기술을 사용하면 사용자가 AR 앱으로 방안에 애완동물을 놓는 상황에서 방안의 사물들을 정확하게 인식하여 원하는 위치에 정확히 놓을 수 있게 됩니다.


UCLA의 컴퓨터 비전 전문가인 스테파노 소아토는 이미지 구획화는 보기보다 어려운 기술이기 때문에 이 알고리즘은 매우 중요하며 다양한 방법으로 활용될 수 있다고 말했습니다. 두 살짜리 아이들도 사진에서 사물의 경계선을 가리킬 수 있기 때문에 겉으로 보기에는 간단하지만 실제로는 그렇지 않다고 합니다. 수백만년의 진화 과정을 거쳐 뇌의 절반에 해당하는 영역이 이 작업에 사용되고 있기 때문에 이를 알고리즘으로 구현하는 것은 매우 복잡한 과정입니다.


Imgur



아직까지는 페이스북의 알고리즘은 연구 툴에 불과하지만 이 알고리즘은 추후 여러 중요한 작업에 활용될 수 있습니다. 포토샵같은 이미지 편집 툴이 자동으로 배경을 바꾸거나 사진에서 사람이 더 밝아 보이게 해줄 수도 있고, 시각 장애인들이 컴퓨터를 사용할 때 이미지를 자세히 설명해줄 수도 있고, 또 포켓몬 고 같은 AR 게임에서 피카츄가 타고 올라갈 물체를 인식하는 등 현실성을 높일 수도 있습니다.


Imgur 

포켓몬 GO



참고 자료

Wired, Facebook gives away machine vision tools future

Venture Beat, Facebook says its object detection tech has improved by 60% in one year

Facebook, Learning to Segment



저작자 표시 비영리 변경 금지
신고
댓글
댓글쓰기 폼