특히 민족지학과 같이 상당한 경험과 전문성이 요구되는 연구 프로젝트에서 기계가 인간보다 더 나은 일을 할 수 있는지에 대한 논쟁이 많습니다. 물론 짧은 대답은 '그렇다'이며, 그 증거는 점점 더 무시하기 어려워지고 있습니다. 이것이 바로 제가 창업 초기에 '전통적인' 인류학자를 친구로 두지 않은 이유 중 하나입니다. 당시만 해도 그들은 우리의 기술과 비전을 믿기 힘들어했습니다. 기계가 인간으로서 반복적으로 저지르는 전형적인 실수를 피할 수 있도록 도와준다는 생각을 도저히 납득할 수 없었죠. 어떤 경험이 있든, 인간은 살아 숨 쉬고 일련의 가치와 신념을 가지고 있기 때문에 상황에 대한 판단이나 일련의 데이터 포인트에 따라 결과가 흐려지는 것을 막을 방법을 찾을 수 없습니다. 이러한 문제는 인간의 분석에 의해 주도되는 일반적인 연구 프로젝트의 과정에서 규모가 부족하기 때문에 더욱 악화됩니다.
이 짧은 사례 연구를 제 주장을 뒷받침하는 증거로 고려해 보세요. 하버드 대학교의 경제학자, 컴퓨터 과학자 3명, 시카고 대학교의 보석 전문가로 구성된 전문가 팀이 뉴욕의 노련한 판사들과 대규모 표본(55만 명 이상의 피고인) 보석 심리에 대해 기계와 대결한 결과, 판사들의 풍부한 경험과 '범인'의 눈을 직접 보고 공감적 렌즈를 통해 결정을 내리는 능력에도 불구하고 기계가 훨씬 더 정확하다는 사실을 발견했습니다. 얼마나 정확할까요? 이 알고리즘은 (보석으로 석방된 사람들의) 범죄율을 거의 25%까지 낮추고 수감율을 최대 41%까지 낮출 수 있었습니다. 또한 이 알고리즘은 이미 알고 있듯이 미국 형사 사법 시스템이 직면한 가장 큰 과제 중 하나인 인종적 편견에 대응할 수 있었습니다.
4년 반 전에 회사를 설립했을 때, 우리는 민족지학 프로세스를 지원할 뿐만 아니라 무엇보다도 프로세스의 중요한 지점에 개입하여 인적 오류를 최소화할 수 있는 도구를 만드는 데 중점을 두고 시작했습니다. 이론적으로는 빅데이터와 AI가 가능하리라 생각했지만, 아직 사회과학 분야에서 실제로 활용되는 것을 보지 못했기 때문에 이를 실현할 수 있는 수준의 순수성을 만들고 싶었습니다. 특히, 연구자들이 연구 대상 문화권에서 소비자가 남긴 자연스러운 이동 경로를 따라갈 수 있는 도구를 만들고 싶었습니다. 연구자들이 이러한 빵 부스러기를 찾아다니는 것을 원치 않았습니다(기존 프로세스에서 일반적으로 일어나는 일입니다). 그리고 그 과정에서 연구자들이 자신의 지식과 경험으로 빈틈을 메우면서 가정을 세우는 것도 원치 않았습니다. 2년이 넘는 기간 동안 일련의 실험과 학습을 통해 우리는 이것이 가능하다는 것을 발견했을 뿐만 아니라 기계가 연구 과정의 80% 이상을 처리할 수 있다는 것을 깨달았습니다. 데이터 수집, 모델링, 심지어 해석까지 모두 기계가 수행하여 연구자와 사용자가 따라갈 수 있는 지도를 만들었습니다. 이 지도를 만들 필요 없이 이 지도를 따라가다 보면 사람의 판단에 맡길 수 있는 부분은 거의 없으며, 연구자의 전문 지식과 경험이 필요한 부분은 연구 과정의 후반부, 즉 연구자가 소비자의 이동 경로를 따라가며 조사 결과에서 내러티브를 개발하는 단계에 이릅니다. 이러한 각 빵 부스러기에 대한 해석은 이미 기계에 의해 제공되기 때문에, 연구자는 해석을 생각해낸 다음 이를 바탕으로 내러티브를 구축해야 하는 대신 다양한 해석의 층위를 이해하는 데 의존하게 됩니다. 이는 문화인류학 및 민족지학 분야에서 중요한 성과이며, 이와 유사한 시도를 하고 있는 다른 회사나 기술은 아직 없다고 자부합니다.
이 기술의 첫 번째 버전은 2017년에 탄생했습니다. 현재는 트렌드, 주제, 문화의 미래를 해석하고 예측하는 기계의 능력이 크게 발전한 버전 2에 이르렀습니다. 이 모든 것이 가능했던 것은 기술을 통해 사람이 해야 할 일을 더 낮은 단계로 옮기면서 뉘앙스와 한계 오류를 개선할 수 있었기 때문입니다. 다시 이 글을 시작했던 인간과 기계의 비교라는 주제로 돌아가서, 아직은 기계가 인간 인류학자가 할 수 있는 모든 일을 할 수 있는 단계에 이르지 못했다고 생각합니다. 하지만 기술을 적재적소에 활용함으로써 판단 오류를 최소화하고 AI와 빅데이터의 이점을 극대화할 수 있는 연구 과정의 후반부에 인간 인류학자가 더 많이 참여함으로써 (민족지학 과정에서) 인간 인류학자의 역할을 더 나은 방향으로 변화시킬 수 있습니다.
결과는 그 자체로 증명됩니다. 지난 4년여 동안 고객들은 기계가 주도하는 민족지학을 통해 100개 이상의 브랜드와 제품을 출시했으며, 이를 통해 50억 달러 이상의 신규 매출을 창출했습니다. 하지만 아직은 시작에 불과한 것 같습니다.