Brain-inspired machine learning... Computational machine learning

인공지능을 접한지도 어느덧 10년정도 되어갑니다. 처음 인공지능을 접할 때만해도, 인공지능이 이렇게 붐이 일지는 몰랐습니다. 저는 단지 사람과 비슷하게 사고하고 동작하는 인공 두뇌를 만들고 싶었습니다. 그래서, 대학원 연구실에 진학했는데, 처음에는 너무나도 어려웠습니다. 저희 연구실은 생물학적 기반 인공지능 네트워크를 연구했었는데, 해당 부분을 연구하기 위해서 생물학적 지식과 심리학적 지식, 그리고 일반적인 인공지능 네트워크 지식들을 필요로 했습니다. 대학원에 갓 입학해서, open CV를 활용하여 영상처리를 할때는 정말 재미있었습니다. 특정 operator를 통해서 영상의 feature를 추출하는 것에서부터, 그당시에 강력한 성능을 보여주었던 adaboost알고리즘을 학습하여 응용하는 부분까지 정말 직관적이면서도 재미있었습니다.

 

adaboost는 어떻게 보면, 데이터를 잘 분류하기 위한 계산적 측면의 분류기로 볼 수 있습니다. 여러 약 분류기의 조합을 통해서 하나의 강 분류기를 만들어내는 어떻게 보면 직관적으로 이해가 되는 분류 기술입니다. Support Vector Machine(SVM)이나 random forest 또한 그러한 분류 기술에 속한다고 볼 수 있습니다. 이 글에서는 이러한 분류 기술들을 'computational machine learning'이라고 말하겠습니다 :) 

 

한편, 제가 석사시기에 연구한 부분 중 saliency map이란 것이 있는데, 이것은 인간의 시각세포와 뇌 간의 처리과정을 계산적으로 구현하여, 인간이 보는 것과 유사하게 feature를 뽑아내는 방법입니다. 이 알고리즘을 공부하면서 많은 영감을 받았습니다. 이 알고리즘이 기반하는 것이 바로 생물학적 논문이며, 해당 생물학적 논문에 기반하여 뇌에서의 신경처리를 수식으로 표현하였고, 해당 수식을 프로그래밍하여 최종적으로 증명하는 과정 자체가 그당시의 저에게는 경이로움 그 자체였습니다!!

 

석사 시기가 거의 끝나갈 2013년도쯤 Convolutional Neural Network(CNN)에 대한 언급이 점차 나오기 시작했습니다. 이 당시 저희 연구실도 CNN 연구에 더 집중을 해야할지, 아니면 shallow network 연구에 집중해야할지 토론이 활발했습니다.  최종적으로, 저희도 점차 딥러닝 분야로 연구력을 집중하였습니다. CNN과 Long-short term memory(LSTM)에 대한 논문들이 점차 쏟아지고 저희도 성과가 조금씩 나올때즈음, 한가지 든 생각은... 생물학적 접근이 효율적인게 맞을까?란 생각이 들었습니다. 왜냐하면, CNN의 경우 점차 network의 깊이와 너비를 증가시키면서 뛰어난 성능을 보여주었기에, 생물학적 접근에 대한 고민이 조금씩 깊어져 갔습니다. 

 

Arxiv와 Arxiv sanity 사이트를 접속해보면, 하루하루 많은 연구결과들이 쏟아지고 있습니다. Batch normalization, ReLU activation function, attention, skip connection, residual 등... 연구자들은 기존 네트워크의 성능을 증진시키기 위해, 새로운 접근들을 계속 시도하고 있습니다. 한 5~10년쯤 뒤에, 이 인공지능 분야가 어떠한 방식으로 진행이 되어있을지 궁금합니다.

 

최근에 논문들을 보면서, 그냥 주저리 주저리 적어봤습니다 :)