티스토리 뷰

할리우드 업계는 공학이나 과학의 여러가지 이슈에 많은 관심을 보이는데요,


하지만 대부분은 어떻게 더 재미있는 공상 과학 픽션 시나리오를 쓸지에 대한 고민으로 그 관심의 범위가 그치곤 합니다.


특히 인공지능이 최근 크게 발전하면서 이에 대한 업계의 관심도 더욱 높아졌지만, 주로 실용적인 문제보다는 영화에 어떤 철학적 메시지를 담을지와 같은 추상적인 논의에만 집중했습니다.


완성된 인공지능에 대한 철학적 메세지를 전달하는 영화 엑스 마키나


최근 Come Swim 이라는 단편 영화로 감독으로 데뷔한 배우 크리스틴 스튜어트가 이 관행을 깼습니다. 영화 트와일라잇의 여주인공으로도 잘 알려진 크리스틴 스튜어트는 자신의 영화에 직접 딥러닝을 이용한 Style Transfer 기법을 적용하고, 이에 관해 머신러닝 논문을 공저했습니다.


배우 크리스틴 스튜어트


스튜어트가 사용한 (Neural) Style Transfer 기법은, 인공지능 기술을 이용해서 기존 사진에 다른 회화의 화풍을 적용하는 기법입니다.


Style Transfer을 사용하면 다양한 화풍을 한 사진에 혼합하여 적용할 수 있습니다.


구글의 리서치 블로그에서 이를 자세하게 설명해주고 있는데요, Style Transfer은 대표적인 딥러닝 알고리즘인 CNN(Convolutional Neural Network)을 기반으로 합니다. CNN은 보통 이미지에 대한 러닝에 많이 사용되는 딥러닝 알고리즘으로 흔히 이미지 분류, 인식 등에 많이 사용됩니다.


CS231n Neural Style 관련 강의 (52:01부터 참고)

먼저 기존 이미지와 화풍을 참조하는 회화에 이 CNN을 각각 적용하면, 해당 이미지에서는 이미지를 구성하는 각 부분의 색이나 조형 요소들에 대한 정보를 얻을 수 있습니다. 이를 Content Representation이라고 합니다.


반면, 참조하는 회화에는 CNN을 다르게 적용하여 질감이나 픽셀들의 패턴에 대한 정보를 얻을 수 있는데요, 이를 Style Representation이라고 합니다.


Style Transfer은 이 Content Representation 과 Style Representation을 합쳐서, 하나의 새로운 화풍의 이미지를 창조해내는 기법이라고 요약할 수 있습니다.


CNN을 이용하여 Style Representation과 Content Representation을 각각 얻을 수 있다.


이번에 크리스틴 스튜어트가 공저한 논문의 제목은 Come Swim에서 신경망 Style Transfer을 적용하여 인상주의에 활기를 불어넣다(Bringing Impressionism to Life with Neural Style Transfer in Come Swim)으로, 영화 Come Swim에 Style Transfer 기법을 적용하는 것에 대한 케이스 스터디 논문입니다. 이 기법을 영화에 적용하는 것을 도와준 Adobe의 Bhautik Joshi가 제 1 저자로, Starlight Studios의 David Shapiro가 공동저자로 이름을 함께 올렸습니다.

영화 Come Swim 의 포스터


이 세 명은 논문에서, 감독인 스튜어트의 예술적 의도를 달성하기 위한 제한된 목표 아래서 Style Transfer 기법을 어떻게 적용했는지와 적용할 때 생겼던 도전 과제들에 대해서 서술했습니다.


구체적으로는 화풍 참조를 위해 스튜어트가 직접 그린 회화를 영화의 장면과 어떻게 중첩 시킬지, 회화의 해상도가 결과에 얼마나 영향을 미치는지, 화풍 적용 강도인 style transfer ratio의 값에 따라 변형된 영화 장면이 스튜어트의 의도를 얼마나 잘 드러내는지 등에 대해 서술했습니다.



이 팀의 접근 방식은 여타 머신러닝 연구에서 흔히 발생하는 시행 착오의 과정과 매우 흡사하다고 볼 수 있습니다.


많은 사람들이 연구자들은 예술가들과는 달리 즉흥적인 감각이나 직관에 의존하지 않는다는 생각을 가지고 있는데요, 이 논문에서는 즉흥적인 감각이 연구 결과에 상당히 큰 영향을 미치고 있음을 시사하고 있습니다. 논문에 따르면 “제작 단계에서의 초기 설정에서는, 결과를 잘 조율하기 위해서 상당히 창의적인 조정이 요구된다. 알고리즘에서 여러 변수에 대한 강한 통제는, 이런 창의적인 탐색 과정과 매우 상반된다”고 합니다.


인공지능과 예술 영역의 미래

인공지능은 사진, 회화, 음악에서 더 나아가 이제 영화에서도 사용이 되고 있습니다.


이렇게 인공지능이 예술 작품에 적용되고 있는 시도가 점점 많아지고 있는 와중에, 많은 사람들이 인공지능이 인간 고유의 영역인 예술까지 침범하는 것을 우려하고 있는데요,


하지만 이번 사례만 놓고 본다면, 인공지능은 예술가의 역할을 대체하기보다는, 예술가의 의도를 표현하기 위한 하나의 수단으로 활용되었습니다. 스튜어트는 영화의 모든 장면에 자신이 의도하고자 한 인상주의 표현 기법을 적용하고자, 장면 하나하나를 일일이 그릴 수 없으니 인공지능을 활용한 것이었습니다.



사진 기술이 처음 등장했을 때 처음에는 화가가 더 이상 할 일이 없어진 것으로 여겨졌지만 결국에는 사진이 예술의 영역을 더욱 넓혔습니다.


정말 먼 미래에는 인공지능이 예술적 의도를 가질 수 있을지도 모르겠으나, 가까운 미래에는 이처럼 발전된 인공지능 기술이 예술가에게 다양한 수단을 제공해 예술의 영역을 더욱 풍성하게 만들어 줄 것 같습니다.


참고기사

TechCrunch, "Kristen Stewart co-authored a paper on style transfer and the AI community lost its mind"


Style Transfer를 다룬 다른 에티 글

공포를 이해하는 인공지능, Nightmare Machine



에티 페이스북 팔로우 하기

현재 에티에서 다가오는 설을 맞아 페이스북 이벤트 중입니다. 경품으로 스마트밴드 직토워크와 IoT 공기 측정기 Awair, 스타벅스 아메리카노를 드릴 예정이니 많은 참여 부탁드려요!



인기 포스팅 보기

댓글
댓글쓰기 폼