AI의 long-tail 문제와 autonomous 시장이 이를 어떻게 해결할 수 있는가

번역/요약: 김민현 (kimminhyun@ainetwork.ai) 원글: https://a16z.com/2020/07/24/long-tail-problem-in-a-i/

AI에 대한 열망이 커짐에 따라 AI는 기술 대기업 만이 할 수있는 게임이 되었다고 평가되고 있다. 예를 들어, 최근 인기를 끌고 있는 자연어처리 솔루션인 GPT-3의 경우 클라우드 V100 GPU 인스턴스로 트레이닝 할 경우, $4.6M 이 들며, 이는 개인과 신생 기업이 감당하기에 어려운 액수이다. 

Paypal의 공동 창업자이자, Open AI 와 Deepmind의 투자자로 알려진 피터 틸 (Peter Thiel)은 “AI is communist; crypto is libertarian.” 이라고 말하면서, Crypto가 힘을 분산시키는 기술이라면, AI는 힘을 중앙화 시키는 기술이라고 말한 바 있다. Crypto가 다양한 커뮤니티에 의해 운영되는 반면, AI가 대용량의 데이터를 집약적으로 처리할 수 있는 대기업에 의해 주도되는 면을 생각하면, 그럴 듯한 비유라고 할 수 있다. 

지난 십년 동안 이 견해는 AI에 대해 일반적인 견해였고, 일주일에 한 번씩 tech-giant들이 가지고 있는 과도한 힘에 관한 헤드라인을 볼 수 있었다. 아이러니 하게도, 이를 해결하기 위한 방법으로 최근 추세는 더 큰 중앙 집권적 권력인 정부의 규제가 답이라고 생각하기 시작 하였다. 이를 역사의 끝이라고 믿고 있는 상황에서는, 스타트 업의 힘이 균형을 바꿀 수 있게 하는 기술은 간과되어 왔다.

많은 데이터를 보유하는 것이 실제로 거인들에게 이점을 제공한다는 것을 부인할 수는 없다. 많은 트레이닝 데이터 세트를 가지는 것은 효율적인 기계 학습 알고리즘에 매우 중요한 요소이다. 하지만 인간의 두뇌와 달리 심층 신경망 훈련을 위한 알고리즘들은 여전히 데이터 효율성이 떨어지는 문제점이 있다. 그 이유는 무엇일까?

신경망의 한계

오늘날의 신경망은 굉장히 뛰어난 interpolator이지만, 동시에 끔찍한 explorator이다. 즉, 주어진 데이터 세트에 대해 fitting은 잘 하지만, 완전히 새로운 데이터에 대응하는 작업에는 적합하지 않다는 것이다.

데이비드 도이치 (David Deutsch)가 “인간은 아무도 별에 가본적이 없고, 그 중심에서 핵 변환이 일어나는 것을 본 적이 없지만, 하늘에서 차가운 작은 점을 보고 거대한 원자로의 표면을 보고 있다는 것을 알아낸다.” 라고 한 것과 같이, 인간의 사고는 단순한 데이터들을 보고, 직접 경험하지 않고도 근본적인 것을 구별 해서 long-tail을 일반화 하는 능력이 있다.

물론, 신경 심층 네트워크의 중심에있는 귀납적 모델도 일반화의 힘을 가지고 있지만 문제가 있다. 미래와 과거가 비슷할 경우 예측을 잘 해내지만 현실은 그렇지 않은 경우가 더 많다는 것이다. 세계는 근본적으로 비선형 적이다. 미래와 보이지 않는 것은 종종 과거와 현재와는 인식 할 수 없을 정도로 다르기 때문에 단순히 선형 함수를 조합해서 모델링할 수는 없다. 예를 들어, 수천 년 전에 빛이 지구에 도달한 별의 내부 작용을 생각해 보면, 지구상에서 그 별의 환경과 닮은 것은 거의 없다는 것을 알 수 있다.

신경망의 경우, 아직 보지 못한 long-tail 데이터는 어둠의 영역과도 같으며, 이 영역에서는 유용한 데이터 포인트를 수집하는 한계 비용이 증가하기 시작한다. Google도 자율 주행 차와 같은 영역에서 long-tail에 잘 동작하기 위한 굉장히 많은 자원을 소모하며 고심하고 있다. 이를 위한 데이터 수집에서부터 코드의 모든 라인, 배포 된 모든 리소스 등 모든 측면은 한 회사에 의해 통제 되고 있다.

만약 지능이 한 회사의 노력이 아니라 전세계적으로 독립적으로 일하는 수많은 사람들의 총체적인 지식을 통해 전달받은 다양한 신호를 통해 훈련 된다면 어떨까?

분산 세계 컴퓨터 (decentralized world computer)

Crypto에서는 대규모 시스템을 bottom-up 거버넌스로 관리할 수 있는 새로운 기술을 제시한다. “분권화”라는 용어는 중앙 집권적 주체가 아니라, 공동체에 유리한 방향으로 균형을 이루는 일종의 권력 구조를 말한다. 이를 달성하기 위해서 제시된 것이 "World Computer" 개념이다. 이더리움은 그러한 컴퓨터의 첫 번째 예로, Bitcoin의 아이디어를 확장하여 범용 프로그래밍 언어에 대한 지원을 추가하였다.

왜 이런 종류의 컴퓨터가 유용할까?

놀랍게도 이 시스템의 보안 및 신뢰 모델에서는 컴퓨터를 어디서나 누구나 사용할 수 있고 다른 사람의 허락없이 참여할 수 있다. 이 집단 컴퓨터에 대한 제어는 말 그대로 분산되어 권한을 부여하는 주체가 없다.

이더리움과 비트 코인은 인센티브 구조의 집합으로 적합한 경제적 보상을 통해 사용자가 서로를 확인하도록 권장한다. 따라서 서로를 믿지 않더라도 분산 된 컴퓨터를 신뢰하여 집합적으로 보안을 지원할 수 있다.

모든 사람이 해당 컴퓨터에 배포 된 프로그램이 실제로 실행되고 실제로 작성된대로 올바르게 실행될 것임을 신뢰하고 확인할 수 있도록하는 프로그램을 "스마트 계약"이라고 하는데, 사실 더 적합한 용어는 “자율적 프로그램(sovereign programs)”이라고 할 수 있다. 이 프로그램들은 일단 배포되면 독립적으로 스스로 실행되며 (1) 원래 프로그램 작성자, (2) 프로그램을 실행시키는 사람, (3) 실제 컴퓨터를 제공하는 사람 조차도 개입할 수 없다.

공상 과학 영화에서 흔히 다뤄지는 두 소재인, 강력한 AI와 멈출수 없는 컴퓨터 시스템이 다음 세대의 기술로 주목받는 것은 결코 우연만은 아닐 것이다.

Crypto와 양면 시장

굳이 스카이 넷과 같은 예제를 들지 않더라도, 대신 이미지가 입력으로 받아 들여지고 이미지에 포함 된 것으로 생각되는 것의 예측(예: 자동차, 개, 오소리)을 출력으로 분류하는 간단한 분류기를 생각해 보자.

처음에는 모델이 훈련되지 않았으므로 그다지 유용하지 않을 것이다. 훈련을 하려면 일반적으로 모델이 잘하고 싶은 이미지의 종류를 나타내는 레이블이있는 데이터를 수집해야 한다. 또한 훈련 예제 데이터 세트에는 long-tail에 해당하는 이미지도 포함되어, 객체가 다양하게 변화하는 조합들이 있어야 한다.

물론 Google의 방식대로 모든 종류의 포즈와 조명 조건에서 다양한 종류의 자동차, 개 및 오소리의 이미지가 표시된 지구상의 모든 이미지를 모아볼 수 있다. 또 다른 방법은 바로 시장의 힘을 활용하는 것이다. 모든 데이터를 철저히 수집하려는 노력 대신, 우리를 위해 데이터를 수집하기 위한 커뮤니티를 참여시킬 수 있다.

이를 위해서 올바른 인센티브 구조를 구축하여 양면 시장을 만드는 것을 생각해 볼 수 있다. 공급 측면에서, 귀중한 데이터를 제공하는 초기 신경망에 기여하는 정도에 따라 보상을 받는다. 수요 측면에서, 신경망 지능을 활용하려는 개발자는 이미지 분류기 API를 호출 할 때 비용을 지불할 수 있다.

이러한 경제 시스템이 임계 질량(critical mass)에 도달하면 자체 피드백 루프가 시작되어 솔루션이 개선되기 시작한다. 신경망에 더 많은 자본이 투입되면 더 난해한 데이터가 크라우드 소싱되어 모델 정확도가 향상 된다. 이는 개발자의 수요 증가로 이어져서 더 많은 자본이 투입되고 플라이휠이 돌아가기 시작한다.

콜드 스타트 ​​문제 해결

이러한 시장을 구축하기 위해서 봉착되는 첫 번째 문제는 처음을 누가 어떻게 시작할 것인지 일 것이다. 처음엔 수요가 없으니 자본도 없고, 자본이 없으니 공급도 없다. 

네트워크를 운영하기 위한 초기 에너지는 전통적으로 금융 자본, 즉 네트워크 자체의 참여자와는 다른 벤처 자금에서 비롯되어 왔다. Uber 및 Airbnb와 같은 회사는 플라이휠을 시작하기 위해 시장의 한쪽 또는 양쪽에 현금으로 보조금을 제공하기 위해 막대한 금액의 투자로 시작 하였다.

만약 Uber가 새로운 시장의 공급 측면을 현금에만 의존하는 것이 아니라 Uber(회사)에 대한 소액의 소유권으로 초기 운전자에게 보상을 제공한다면 어떨까? 우버에 대한 소유권이 언젠가는 많은 가치가 있을 수 있다는 사실로 사용자가 네트워크에 참여하도록 설득 할 수 있을까? 이 드라이버는 경쟁사 대비 Uber에게 더 충성스러울까? 우버를 다른 사람들에게 써보라고 말할 가능성이 더 높을까?

이것이 가능하다면 근본적으로 더 효율적인 자본 구조이다. 초기 자본이 꼭 금전적인 수단으로 외부 출처에서 나올 이유는 없다. 인적 자본과 생산 자본을 기여하는 네트워크 참가자 자신이 이를 제공할 수 있다면 가장 이상적이다. 각 운전자는 네트워크가 시작될 수 있도록 운전 능력과 자동차를 내놓는다. 이 네트워크를 소유하지 않아야할 이유가 있을까?

Crypto는 이것을 어떻게 도울 수 있을까?

자율 시장 (autonomous marketplace)

스마트 컨트랙트가 완전히 프로그래밍 가능하다는 것을 기억해 본다면, 위 Uber와 관련된 사고 실험에서와 같이 현금뿐만 아니라 새로 발행 된 소유권 토큰으로 초기 시장의 공급 측면을 보조 할 수 있다.

Crypto 기반의 신경망은 자율적 실체로서 자신의 삶을 시작하게 된다. 플라이휠이 가동되면서 제공되는 서비스는 수요 측면에서도 유용하게 사용될 것이다. 신경망 API가 청구하는 요금은 처음에는 적은 것이지만 모델의 정확도가 향상됨에 따라 요금이 증가하게 된다. 그런 다음 더 높은 수수료를 사용하여 데이터 기여 활동에 더욱 인센티브를 줄 수 있으며, 이는 결과적으로 플라이휠을 중심으로 모델이 개선되는 효과를 낳는다.

이를 자율 시장이라고 한다.

기술적 문제들

우리의 탈 중앙화 신경망을 작동시키기 위해서는 엄청나게 많은 기술적 인 문제를 해결해야한다는 데는 의문의 여지가 없다.

예를 들어, 스마트 컨트랙트에서 데이터의 기여도를 안정적으로 측정 할 수있는 메커니즘을 구축하여야 한다. 의미없는 데이터와 가치있는 데이터를 구별 할 수있는 로직을 위해 스마트 컨트랙트가 자체 성능을 측정하는 데 사용할 수있는 비밀 벤치 마크 데이터 세트에 액세스 할 수 있도록 하는 것이 필요할 수 있다. 

현재 스마트 컨트랙트는 모든 상태가 공개되어 있어, 다른 사람이 제출한 결과를 훔쳐가는 것이 가능하다. 이 문제에 대한 해결책은 내부 상태를 암호화 할 수 있는 기술로 "private smart contract"이라고 하며 이를 구현하기 위한 방법으로는 일종의 암호화된 증명 (예: zk-SNARK)으로, 관찰자에게 기본 상태를 밝히지 않고 계산이 올바르게 수행되었음을 수학적으로 확신 시킬 수 있다.

어려운 과제이지만 빠르게 진행되고 있는 분야이다.

인터넷의 확장

앞서 말한 것이 모두 연결되면, 앞으로의 신경망은 세계 어디에서나 새로운 데이터를 발견하고 기여하기 위해 독립적으로 노력하는 수많은 개인의 풀뿌리 노력에서 지능이 증강 되는 자율적 실체가 된다.

Google에서 top-down으로 설계한 지능과는 달리, 저 멀리 8세 소년이 수집한 데이터가 지능을 개선시킬 수 있으며, 셀 수없이 광대하고 개방된 생태계에서 누구나 모듈화된 제품을 만들고, 사용할 수 있다.

이러한 빌딩 블록의 집합체는 인터넷 자체의 기능을 확장하는 새로운 프로토콜 계층으로 등장하며, 오픈 소스로 이루어 지고, 자체 커뮤니티가 공동으로 제어하는 협력 지능의 형태를 띄게될 것이다.

결국 탈중앙화가 중요한 이유는 네트워크에 대한 제어가 분산되어 수백만 명의 개발자 및 기여자에게 확장 될 수있는 잠재력이 있기 때문이다. 시간이 지나도 변하지 않는 ​​확고한 약속을 할 수 있는 프로토콜이 아니고서는  어떠한 플랫폼도 그 규모에 도달하지 못한다. 또한 플랫폼을 기반으로하는 사람들이 소유하고 관리하는 주권 프로그램으로 규칙을 만드는 것보다 플랫폼을 운영하는 더 좋은 방법은 없다.

인터넷의 핵심 프로토콜(예 : TCP/IP)은 분산되어 있기 때문에 Google과 같은 1조 달러 규모의 회사가 그 위에 구축 될 수 있었다. 그렇지만, 구글이 제공하는 플랫폼으로는 구글과 같은 회사를 만들 수는 없다.

시장의 힘

이제 다시 원래의 질문으로 돌아가서, 왜 시장 주도의 접근 방식이 1조 달러 규모의 기술 대기업의 계획적인 노력보다 AI의 long-tail문제를 더 잘 다룰 수 있을까?

long-tail을 처리하기 위해서는 tech-giant 조차도 복잡한 문제와 수많은 자원을 쏟아부어야 하며, 이 문제를 해결하는 데 필요한 정보가 수많은 예측이 힘든 곳에 퍼져 있어서 중앙화된 방식으로는 어렵다. 따라서 세계를 탐색하는 중앙화된 군대를 만드는 것보다, 개인이 스스로 조직하도록 장려하는 인센티브 구조를 만드는 것이 훨씬 효과적이다.

하나의 조직이 추구하고자 하는 바는 다양한 생태계의 끝없는 지식과 창의성과 일치 할 수있는 방법이 없다. 아담 스미스의“시장의 보이지 않는 손”은 결국 bottom-up 조직의 힘에 대한 은유로 이해될 수 있다.

오늘날 AI 혁신에 필요한 지식과 자원은 대부분의 개인과 신생 기업의 손이 닿지 않는 거인의 주머니에 담겨 있다. 그러나 주변에 효율적이고 세계적인 시장을 창출함으로써 이에 더 쉽게 접근하게 만들 수 있다. 지배 구조가 분산되어있는 (스마트 계약) 프로토콜에 기반한 올바른 인센티브는 인간의 에너지를 훨씬 효율적으로 활용할 수있는 잠재력을 가지고 있다. 결국 AI는 본질적으로 민주적인 것이다.