설명 가능한 인공지능(XAI: eXplainable AI)

구글 딥마인드 알파고는 공식 데뷔 이후 68승 1패(한국의 이세돌에게)의 기록을 남기고 2017년 5월 27일 공식적으로 은퇴했다. 제자도 없이…. 전 세계 바둑대국으로부터 배우고 어느 순간 또 다른 알파고의 대국을 통해 스스로 학습해 바둑의 신의 경지에 오르더니, 제자도 없이 은퇴해버린 것이다.

인간이 전 세계의 바둑을 평정하고 바둑의 신의 경지에 올랐다면 아마도 그의 바둑을 배우기 위해 많은 제자들이 몰려들거나 자신의 바둑을 전수하기 위해 제자를 두었을 것이다. 알파고 바둑 비법은 마지 불가사의한 고려청자나 다마스커스 검의 제작 비법이 전수되지 않고 사라져 버린 것과 같다. 하지만 엄밀히 말하면 알파고 바둑 비법은 전수되지 않았다기보다는 전수될 수 없었던 성질의 것이다. 알파고도 알파고를 만든 구글 딥마인드도, 알파고의 바둑 비법을 설명할 수는 없다.

알파고에 사용된 딥러닝 기술의 엄청난 속도와 막대한 기억장치의 컴퓨팅 파워가 바둑 비법의 한 축이기는 하지만 결코 바둑 비법의 내용을 설명할 수는 없다. 바둑 비법의 모든 내용들이 딥러닝 네트워크의 수많은 노드에 숫자로 표시되어 있기 때문이다. 현재 가장 각광받는 딥러닝 기계학습을 사용하는 모든 인공지능 시스템은 모두 같은 사정이다.

인간은 내려진 모든 결정을 이해하기 원하지만 딥러닝 기계학습은 작동원리상 그렇게 할 수 없다. 바둑의 착점이나 사진 속의 대상이 무엇인지는 그냥 그렇다고 하고 넘어갈 수도 있지만 자신의 해고가, 수백만달러의 투자가, 핵무기의 발사가 아무 설명 없이 결정되고 실행된다면 사람들은 그냥 그렇다고 하고 넘어갈 수 있을까?

이러한 문제의식은 인공신경망 연구 초기부터 제기되었던 문제지만 이제 인공신경망에서 발전한 딥러닝 기술이 놀라운 성과를 보이게 되면서 이 문제가 다시 제기되었고 의사결정 과정을 드러나게 할 수 있는, 설명 가능한 인공지능(XAI: eXplainable AI)에 대한 관심이 활발히 제기되는 실정이다. ‘그림 1’에서처럼 기존의 딥러닝 인공지능은 제시된 사진의 대상이 고양이라는 사실만을 알려주지만, 설명 가능한 인공지능은 제시된 사진의 대상이 털이 있고, 수염이 있고, 발이 있으며 귀의 모양이 자신이 찾은 부분 사진과 유사하므로 고양이라고 설명해준다.

▲ 출처=다르파

구글 연구책임자인 피터 노빅은 설명할 수 있는 인공지능에 대해 회의적인 의견을 표명한다. 인간의 설명조차 진정한 의사결정 과정을 보여주는 것이 아니라 결정 후 설명을 만드는 것이라는 인지과학적 연구도 있으려니와 자신의 의사결정 과정과 설명은 일치하지 않을 수 있고, 그러한 방식의 설명은 딥러닝 기술을 사용해 훈련시켜 문제를 해결했듯이 딥러닝 기술을 사용해 훈련시켜 설명을 만들어낼 수 있다는 것이다(Deep Explanation).

설명(說明)은 남이나 자신에게 자신의 생각이나 지식 등을 알려 주는 것이다. 듣는 사람이 설명에 공감하면 설명이라고 할 수 있지만 공감하지 못하면 설명과는 다소 다른, 주장(논증)이 된다. 다소 경계가 모호하지만 주로 설명은 이해를, 주장은 지식을 목적으로 한다. 지식이 세상에 대한 모델로서 세상에 대한 예측과 제어에 기여하지만 그 지식은 확장되고 발전할 수 있다. 이해는 상대방에게도 세상에 대한 모델이 공유될 때 가능한 것이다.

현재까지 인공지능을 비롯한 모든 기계들은 원하는 출력을 낼 수 있도록 기계 내부의 과정들이 설계되고 만들어졌지만, 이제 딥러닝 기계학습을 기반으로 하는 인공지능은 원하는 출력을 낼 수 있도록 설계되었지만 어떻게 만들어지는지는 알 수 없는 것이다. 딥러닝 기계학습의 인공지능은 인간과 공유하는 세상에 대한 모델과 무관하게 스스로 세상에 대한 모델을 만들고 처리해 출력을 내는 것이기 때문이다.

이제까지의 기계들은 자신의 처리 과정을 보여줄 필요가 없었다. 인간이 처리 과정을 만들었기 때문이고 처리 과정을 확인하는 것은 제대로 설계되었는지를 확인하기 위한 것이다. 인간이 만드는 기계들은 처리 과정에 상관없이 출력검사를 통해 원하는 성능을 확인해야 하고 또 그래 왔기 때문에 딥러닝 기계학습의 설명이 없더라도 출력검사로 확인하는 것으로 충분하다고 생각할 수도 있다.

하지만 현실적으로는 모든 경우를 검사할 수 없을 것이기 때문에 출력검사가 정답이 아닐 뿐더러 이미 언급한 바와 같이 자신의 해고나, 수백만 불의 투자나, 핵무기의 발사는 설명이 필요하다. 인간의 충분하지는 않지만 수많은 의견들의 설명과 주장이 있을 때 받아들일 수 있는 결정이 되고 이렇게 쌓아온 설명들이 인간들의 지혜이고 인류가 발전해온 원동력인 것이다.