도서 소개
눈도 코도 입도, 심지어 마음도 없는 AI. 하지만 인간은 왜 이토록 AI를 신뢰하고, AI의 결정이라면 아무런 반박도 하지 않고 따르려고만 하는가? AI를 창조해낸 것이 바로 인간이라는 점을 고려해봤을 때 이런 AI 맹종 현상은 설명이 불가할 정도로 신기한 부분이 있다.
AI 맹종이라는 말에 동의하기 어려운가? 그렇다면 현재 AI가 처리하고 있는 일의 범주를 살펴보자. 거의 ‘전능하다’라고 할 정도다. 취업 서류심사, 채용 면접, 은행 대출 심사, 법원 판결 보조, 범죄 리스트 등재, 테러리스트 색출, 자율주행차 운행... 인간들이 하고 있는 일을 몽땅 AI에게 던져버렸나 싶을 정도로 일의 종류도 다양하지만, 심지어 인간의 목숨을 좌지우지하는 일까지 AI가 맡고 있다는 점은 놀라울 정도다.
AI 때문에 사라지거나 사라질 인간의 직업 리스트는 지금도 계속 업데이트 중이며, 사람과 AI와의 ‘경쟁’에서 사람이 패배하는 것은 불을 보듯 뻔하다는 서사가 계속해서 확산하고 있다. 이것은 마치 ‘인간이 AI보다 더 열등하고 더 부정확하며 오류가 잦다’라는 전제가 참이라는 것처럼 들린다. 하지만 과연 그럴까?
이 책은 현재 지구촌에 무차별적으로 확산되는 AI 맹신 현상을 구체적인 사례들을 통해 ‘역시 AI는 기계에 불과하며 인간의 철저한 관리 감독을 통해서만 제 기능을 발휘할 수 있다’라며 바로잡아 주는 역할을 한다. 뿐만 아니라, 우리가 ‘내 탓이 아니에요, AI가 그랬어요’라고 요리조리 책임을 회피하며 방패막이로 이용하던 AI에서 방패의 지위를 빼앗고, ‘모든 무거운 책임은 인간에게 있다’라는 아프지만 진실인 명제를 마주하게 한다.
저자인 카트리나 츠바이크는 오류를 저지르는 AI와 그것을 맹신하는 인간의 마음속 현상을 직접 다루지는 않는다. 하지만 구체적이고 능수능란한 단계적인 사례 제시를 통하여, 인간의 심연에서 어떤 일이 벌어지고 있을지를 마치 추리소설을 읽으면서 범인을 예상할 때처럼 독자가 스스로 유추해 나가도록 이끈다.
출판사 리뷰
☆독일 슈피겔 베스트셀러 저자☆
인간을 대신하여 결정할 권한을 넘겨 받은 AI
무책임한 AI ‘때문에’
무고한 시민이 체포되거나, 유죄 판결을 받거나,
심지어 목숨까지 잃고 있다
정말 AI 때문일까?
눈도 코도 입도, 심지어 마음도 없는 AI. 하지만 인간은 왜 이토록 AI를 신뢰하고, AI의 결정이라면 아무런 반박도 하지 않고 따르려고만 하는가? AI를 창조해낸 것이 바로 인간이라는 점을 고려해봤을 때 이런 AI 맹종 현상은 설명이 불가할 정도로 신기한 부분이 있다.
AI 맹종이라는 말에 동의하기 어려운가? 그렇다면 현재 AI가 처리하고 있는 일의 범주를 살펴보자. 거의 ‘전능하다’라고 할 정도다! 취업 서류심사, 채용 면접, 은행 대출 심사, 법원 판결 보조, 범죄 리스트 등재, 테러리스트 색출, 자율주행차 운행... 인간들이 하고 있는 일을 몽땅 AI에게 던져버렸나 싶을 정도로 일의 종류도 다양하지만, 심지어 인간의 목숨을 좌지우지하는 일까지 AI가 맡고 있다는 점은 놀라울 정도다.
AI 때문에 사라지거나 사라질 인간의 직업 리스트는 지금도 계속 업데이트 중이며, 사람과 AI와의 ‘경쟁’에서 사람이 패배하는 것은 불을 보듯 뻔하다는 서사가 계속해서 확산하고 있다. 이것은 마치 ‘인간이 AI보다 더 열등하고 더 부정확하며 오류가 잦다’라는 전제가 참이라는 것처럼 들린다. 하지만 과연 그럴까?
이 책은 현재 지구촌에 무차별적으로 확산되는 AI 맹신 현상을 구체적인 사례들을 통해 ‘역시 AI는 기계에 불과하며 인간의 철저한 관리 감독을 통해서만 제 기능을 발휘할 수 있다’라며 바로잡아 주는 역할을 한다. 뿐만 아니라, 우리가 ‘내 탓이 아니에요, AI가 그랬어요’라고 요리조리 책임을 회피하며 방패막이로 이용하던 AI에서 방패의 지위를 빼앗고, ‘모든 무거운 책임은 인간에게 있다’라는 아프지만 진실인 명제를 마주하게 한다.
저자인 카트리나 츠바이크는 오류를 저지르는 AI와 그것을 맹신하는 인간의 마음속 현상을 직접 다루지는 않는다. 하지만 구체적이고 능수능란한 단계적인 사례 제시를 통하여, 인간의 심연에서 어떤 일이 벌어지고 있을지를 마치 추리소설을 읽으면서 범인을 예상할 때처럼 독자가 스스로 유추해 나가도록 이끈다.
인간, 이대로 좋은가?
생각하기 싫어하는 인간의 약점을 노리고
불량식품의 맛처럼 인간의 일상 속에 스며든 AI
“챗지피티에게 물어보지 그래?”
“챗지피티가 그게 아니라잖아.”
오늘날, 두 명 이상 사람들이 모인 곳에서 심심치 않게 들을 수 있는 이야기들이다. 문득 돌아보니 어느새 AI는 ‘보조’가 아닌 ‘통솔자’이자 ‘지휘자’의 역할을 하고 있지 않은가? 그리고 그에 순응하는 인간들...
인공지능인 챗지피티가 2022년 말 센세이션을 일으키고 이것의 사용이 상용화된 시점으로부터 불과 몇 년도 지나지 않았다. 하지만 우리는 이미 이것의 제안을 아무 거부감 없이 따르고 무슨 일만 생기면 이것의 답변에 주목한다. 인간의 본질이 생각하는 것이라는 점에서 붙여진 호모 ‘사피엔스’라는 이름이 AI에 대한 의존 때문에 빠른 속도로 호모 ‘인사피엔스(insipiens)’의 길로 가고 있다.
AI가 지배하는 세상 경험하기
- 카드 한도가 왜 이럴까?
“우리는 아무도 차별하지 않습니다!
알고리즘이 그렇게 결정했을 따름이죠!”
위의 애플과 골드만삭스 직원들의 항변은, 이 책에 등장하는 데이비드 핸슨이 그의 아내 제이미와 동시에 애플기기를 통해 신청한 애플카드가 자신의 한도는 1,000달러인 것에 비해 아내의 한도는 50달러에 불과한 상황에 대한 해명을 요구했을 때 들은 답변이다. 제이미는 백만장자였고 심지어 남편 데이비드보다 신용등급이 높았음에도 불구하고 카드의 한도가 무려 20배나 차이가 났다. 이에 대하여 문제를 제기하자, 애플사와 이 애플사에 협력해 카드를 발급하는 골드만삭스가 이구동성으로 내놓은 답이 ‘AI 때문’이라는 것이다. 수많은 사람들의 돈과 신용을 관리하는 대기업들의 답변이라고 보기엔 너무 궁색하지 않은가?
결국 데이비드는 ‘성별에 따라 AI가 차별’을 하는 알고리즘을 택하고 있지는 않은지를 의심했다. 하지만, 이 문제를 파고들수록 데이비드는 더 당혹스러운 경험을 하게 된다. “알고리즘에 정확히 어떤 자료를 입력했는지, 혹시 그 과정에서 잘못된 정보들이 끼어들지는 않았는지 물어볼 수 있는 곳이 아무 데도 없다”는 것이다! 즉 AI에 누군가의 데이터를 입력하면 정확히 AI가 어떻게 결정을 하는지, 어떤 차이 때문에 신용한도가 달라지게 되는지를 아무도 설명하지 못한 것이다. 그도 그럴 것이, 그 누구도 데이터 입력 이후, AI 내부에서 어떤 일이 벌어지는지를 정확하게 알지 못했고 결국 이것이 사람들이 앵무새처럼 ‘AI 때문’이라고 둘러대기만 할 뿐 시원하게 설명하지 못하는 근본적인 이유이기도 했었다.
- AI가 범인으로 지목한 남자
“이건 내가 아니에요.”
“하지만 컴퓨터가 이게 당신이래요.”
AI의 오해로 억울하게 체포된 로버트 윌리엄스의 이야기다. 시계를 훔쳤다는 이유였는데, 현장의 CCTV에 찍힌 흐릿한 화면이 그 근거였다. 영상에는 체구가 크고 흑인인지 단순히 피부가 가무잡잡한 것인지도 식별이 어려운 범인의 옆모습이 찍혔는데, 그 영상을 토대로 흑인이고 체구가 비교적 컸던 윌리엄스가 체포된 것이다. 명확한 알리바이가 있음에도 불구하고 그의 항변은 받아들여지지 않았고 구금된 지 30시간 뒤 겨우 풀려날 수 있었다. 이후 윌리엄스는 경찰을 고소했고, 이 고소를 통해 밝혀진 내막은 당황스러웠다. 소프트웨어에 무엇을 입력하든, 누군가는 ‘가장 유사한 사람’이 되어야 하도록 프로그래밍되어 있었기 때문에 입력되는 데이터 중 누군가는 범인이 되어야만 했다는 것이다! 모든 가능성을 고려할 것이라고 인간들이 지레짐작해서 범인 색출에까지 활용되고 있던 기술이, 사실은 ‘범인 없음’이라는 선택지는 설정하지 않아 생사람을 잡도록 프로그래밍되어 있었단 말이다.
프로그래밍의 태생적인 한계에 더해 이 사태를 더 키운 것은 이러한 기술을 현장에 투입하면서도 그것을 사용하는 사람들에게 소프트웨어의 결과를 어떻게 다루는지와 관련된 어떤 교육도 진행되지 않았다는 점이다. 심지어 이 프로그램의 결과가 수사의 단서로만 고려될 수 있을 뿐, 증거 효력이 없다는 가이드라인이 존재했음에도 불구하고 말이다. 모범 시민을 범죄자로 낙인찍을 수도 있는 중대한 사안에서 어떻게 이런 말도 안 되는 해프닝이 벌어진 것일까? 결국 ‘AI 때문일까?
- 자율주행 차의 첫 사망자
“우버의 세상에서는 왜
모든 보행자가 공식적인 횡단보도로만 길을 건너는가?”
자율주행 차량으로 인해 사망한 첫 보행자인 일레인 허츠버그의 이야기를 들여다보자. 이것은 현대의 자동차처럼 굉장히 복잡한 시스템에 자동화된 의사결정 시스템이 사용될 때 무슨 일이 일어날 수 있는지를 단적으로 보여주는데, 개발팀의 가장 작은 모델링 결정조차도 얼마나 중요한지에 대한 경종을 울리는 사례이기도 하다.
보통 차보다 훨씬 많은 센서를 장착하고 인간보다 훨씬 빠른 속도로 반응할 수 있는 최첨단의 우버 차량이, 늦은 밤 자전거를 끌고 귀가하던 한 여성을 친다. 심지어 이 차량 안에는 ‘휴먼 인 더 루프(인간이 기계를 감독하고 문제 시 바로 개입하도록 한 시스템)’의 일환으로 인간 운영자가 차량에 탑승하고 있었다. 이 이야기는 인공지능 시스템이 복잡한 상황에 투입될 때, 어떤 일이 일어날 수 있는지에 대해 중요한 가르침을 주는 사례이기도 하다.
현대의 자동차는 혁신적인 기술의 집합체이다. 우버의 엔지니어들은 일찍부터 이 차량의 자체 긴급 제동 장치를 비활성화하기로 결정했는데, 그것은 두 시스템이 서로 차질을 빚을 수 있어서였다. 이렇게 결정했다는 것 자체가 이미 이런 하이브리드 시스템이 너무나도 복잡해서, 인간이 그 행동을 완전하게 이해할 수 없다는 표시이기도 했다. 사고 조사 결과는 결국 여러 작은 모델링 결정들이 충돌로 이어진 것으로 나타났다. 예를 들어 엔지니어들은 특히 극단적인 상황에서 시스템이 1초간 브레이크를 실행하지 않도록 해놓았는데, 이는 시스템이 상황을 다시 계산하거나 인간 운영자가 개입하도록 의도한 것이었다.
차량 시스템은 그 물체의 속도와 예상 운동방향을 측정해 물체의 경로를 예측한다. 보고서에 따르면, 자전거와 자동차에 대해서는 첫 경로 예측에서 차선 방향으로 이동할 것이라는 점이 자연스런 ‘목표’로 할당되어 있었다. 즉 기계에게 자동차와 자전거는 도로를 주행하는 것이지, 도로를 ‘횡단’하는 것이 아니다. 보행자의 경우, 횡단보도가 있지 않은 한, 그런 목표가 없었다. 즉 기계에게 ‘무단횡단하는 보행자’라는 선택지는 없었다. 이런 모델링 결정은 전체적으로 ‘차량 시스템이 임의의 지점에서 도로를 횡단하는 보행자를 고려하는 것은 불가능’하게끔 했다.
그럼 차량 안 인간 운영자는 무엇을 했는가? 차량 설계자들이 ‘인간 운영자는 시종일관 도로를 주시할 것’이라는 가정을 깨고 계속 무릎에 있는 핸드폰을 보고 있었던 것으로 드러났다. 하지만 엔지니어들이 극단적 상황에서는 인간 운영자가 개입할 것을 가정해 1초간 브레이크를 실행하지 않도록 해놓은 것이 운영자에게는 고지되어 있지 않았다는 것도 역시 드러났다.
그렇다면 누가 허츠버그의 죽음에 책임이 있을까? 인공지능일까?
사이버 공간에서 인간의 주도권 찾기
- 인간의 책임이라는 것 인식하기
데이비드, 윌리엄스, 허츠버그의 사례에서 벌어진 문제들의 책임은 AI에게 있는가?
물론 아니다. 책임은 언제나 인간에게 있다. 모델을 설계하는 것도 제작하는 것도 사용하는 것도 모두 인간이기 때문이다.
- 인공지능의 맹점 정확히 알기
많은 사람들이 인공지능 시스템에 거는 기대는 매우 크며, 실제로 이곳에 기회도 존재한다. 그럼에도 복잡한 시스템에 인공지능 시스템까지 적용하면, AI 내부에서 벌어질 수 있는 수많은 경우의 수의 조합에 의해, 결국 인간이 예측 불가능한 훨씬 복잡한 하이브리드 시스템이 탄생한다는 것을 우리는 잊지 말아야 한다.
모든 상황에서 인공지능 시스템이 어떻게 반응할 것인지가 명확하지 않은 마당에, 이 인공지능 시스템이 다른 시스템 요소들과 어떻게 상호작용할지 누가 예측할 수 있단 말인가? 우리는 이제 AI가 있는 곳 어디에서건 제2, 제3의 일레인 허츠버그가 될 가능성과 마주하고 있는 것이다.
- 21세기의 ‘영리한 한스 신드롬’ 깨기
20세기 초 수학 문제를 풀 줄 아는 동물로 많은 사람을 놀라게 한 말, ‘한스’를 아는가? 한스는 주어진 수학 문제에 대해 말발굽으로 답을 했는데, 답이 숫자 3이라면 발굽을 세 번 톡톡톡 치는 식이었다. 하지만 후속 연구를 통해 한스의 눈을 가리자 한스는 계속 엉뚱한 답을 내놓았다. 결국 한스가 반응한 것은 질문자의 무의식적 표정이나 미세한 신체 신호에 반응한 결과라는 사실이 밝혀졌다. 이것은 관찰자의 기대와 암묵적 단서가 피험자(심지어 그것이 동물일지라도)의 행동에 영향을 미칠 수 있음을 보여주는 주요 사례로 기록되었다.
카타리나 츠바이크는 현재 우리가 AI에게 기대하고 있는 것이 ‘영리한 한스 현상’의 재현일 수 있다고 꼬집는다. 말이었던 한스와 마찬가지로 우리는 AI와 의사소통하는 것이 불가능하다. 이런 상태에서 과도한 기대를 가지고 있다는 것은 AI의 능력을 과대평가하게 되어 이것에서 나오는 결정은 무조건 맹신하게 만들 가능성도 내포하고 있다는 것을 우리 스스로 깨달아야 한다.
AI라는 보이지 않는 불을 손에 넣은 프로메테우스, 인간
유토피아냐, 디스토피아냐는 결국 인간의 선택에 달려 있다
AI가 상용화된 지 불과 3년 남짓, 이제 인간은 커다란 결정을 강요받고 있다. AI는 해악인가? 아니면 AI는 마술지팡이인가? 양극단을 오가는 설전 속에서 인간이 진정으로 원하는 미래를 얻기 위해 이제 무엇을 해야 하는가?
카타리나 츠바이크는 수년간의 숙고 끝에 내린 명쾌한 질문들을 공유하며, 이제 인류 전체가 AI를 통해 불행이 아닌 행복을 얻기 위해서는 무엇을 해결하는 것이 선행되어야 할지 함께 고민할 것을 촉구한다.
* 이것은 원칙적으로 검증 가능한 결정인가?
* 의사결정을 검증하는 것이 당사자에게 얼마나 쉬운가?
* 의사결정을 검증하기 위해 당사자는 무엇이 필요할까?
* 이 인공지능은 얼마나 양질인가, 또한 공정한가, 아니면 특정 집단을 차별하는가?
* 검증이 불가능하거나, 통계적으로만 검증 가능한 결정인가? 전혀 검증할 수 없다면, 현재로서는 인공지능 시스템이 이런 결정을 맡아서는 안 된다.
* 통계적으로만 검증 가능하다면, 다음과 같은 질문이 중요하다.
- 인공지능 시스템을 우리의 기존 의사결정 과정과 어떻게 비교할 수 있을까?
- 의사결정 과정을 결코 완전히 이해할 수 없다는 것을 감수할 정도로, 기계의 결정 이 인간의 결정보다 훨씬 뛰어난가?
- 그렇다면 기계에게 더 나은 결정을 내리도록 하는 인과관계를 다른 시각에서 살펴 보고, 인간이 이해할 수 있는 더 단순한 모델을 설계하고자 노력해야 하지 않을까?
* 인간과 기계가 함께 의사결정을 내리는 사회적 프로세스를 어떻게 설계해야 할까?
카타리나 츠바이크는 위의 질문들이 우리가 미래에 기계와 함께 의사결정을 내리고자 할 때 반드시 던져야 할 질문들이라고 강조한다. 그리고 각각의 사례에 대해 이런 질문에 답할 수 있다면, 앞으로 더 나은 결정을 내릴 가능성이 높아질 것이라고 제안한다.
AI를 맹신하는 것도, 터부시하는 것도 결코 정답이 아니다. 어디까지나 인간은 결정권을 쥔 프로메테우스라는 것을 잊지 말자. 그리고 21세기에 얻은 새로운 ‘불’, AI를 유용하게 사용하면 인류 역사의 새로운 전환점이 될 수 있는 중요한 계기로 작용할 수 있다는 점도 명심해야 할 것이다. 이런 논의들을 자극하는 카타리나 츠바이크의 이 책은 AI의 만연으로 혼란스러운 과도기적 시기에 반드시 짚고 넘어가야 할 문제들을 가리키는 나침반이 되어줄 것이다.
오늘날 최초로, 기계들이 인간의 행동을 평가하기 시작했다. 대부분 ‘인공지능’(줄여서 AI)이라 불리는 기계들이다. 온라인 상점에서 상품을 추천하는 일이나 외국어를 번역하는 일에서 인공지능이 꽤나 진보를 보여주고 있다 보니, 정보과학이나 경제 분야에서는 컴퓨터가 쇼핑보다 더 복잡한 상황에서도 인간을 평가할 수 있지 않을까 하는 생각이 확산되었다. 나는 컴퓨터과학 분야에서 오래 연구를 해왔지만, 이러한 생각에 동의하지는 않는다. 그리고 그렇게 생각하지 않는 것은 나만이 아니다.
그럼에도 오늘날 의사결정 시스템은 여러모로 활용되고 있다. 학생들이 쓴 에세이의 점수를 내는 기계도 있고, 범죄자의 재범 가능성을 평가하는 기계도 있다. 지원자가 그 직장에 얼마나 적임자인지, 과연 미래에 성공적으로 일을 할 수 있을지를 평가하는 기계도 있다.
〈1장 인공지능이 판단하는 세상〉
알고리즘 자체는 정확해도, 그것이 상황에 맞지 않을 수도 있다. 그리하여 은행이 그냥 ‘알고리즘 탓’을 하는 것으로는 충분하지 않다. 알고리즘이 그 자체로 합리적이고, 상황에 적절하다는 점이 명확해야 한다. 알고리즘을 활용해 신용한도를 계산한다고 해서 그것이 신용도를 정확히 평가하는 방법이라는 보장은 없다. 알고리즘으로 계산한다고 결정의 품질이 좋다고 할 수 없다. (중략) 즉 기계가 통계 모델을 계산하고, 이에 기초해 기계적 의사결정이 내려지기 전, 모든 알고리즘의 배후에는 우선 개발자들 머릿속의 모델이 존재한다. 그리고 기계가 계산한 의사결정을 이해하고 신뢰하려면 대부분은 이 두 모델, 즉 인간 모델과 기계 모델을 이해해야 한다.
〈2장 알고리즘의 성차별〉
고용주가 입력한 정보와 복지금 수급 신청자가 입력한 정보 사이에 불일치가 보이는 경우, 미다스 시스템은 이를 신청자의 속임수로 판단했다. 정당하게 사회복지 지원금을 신청했는데도 이런 오류가 발생할 수 있었다. (중략) 인간 직원이 심사하는 경우 이런 일은 발생하지 않는다. 이것은 소프트웨어의 모델링 오류로, 사회복지법을 잘 모르는 개발자가 소프트웨어를 성의 없이 개발한 탓이 크다.
하지만 이제 문제는 기계가 성급하게 판결을 내렸을 뿐만 아니라, 판결이 내려진 즉시 집행되었다는 것이다. 이런 절차는 ‘로보 판결’이라 명명되었다. 그리하여 별안간 사기꾼이 된 사람들에게 지급받은 금액의 5배에 해당하는 금액을 12퍼센트의 이자를 붙여 함께 반환하라는 편지가 발송되었다. 이와 관련해 미다스 시스템은 2013년 10월부터 18개월 동안 약 5만 건의 고지서를 자동으로 발행했다. 그레이와 셰퍼에 따르면, 2015년까지 발송된 고지서에 따른 청구 금액은 약 5,700만 달러에 육박한다고 한다. 정말 놀라울 정도다.
〈9장 내 돈은 어디 갔지?〉
작가 소개
지은이 : 카타리나 츠바이크
독일 RPTU 카이저슬라우테른-란다우 대학교 컴퓨터과학 교수이자 사회정보과학 연구소장을 맡고 있다. 컴퓨터과학, 생명정보학, 철학을 두루 공부한 그는 알고리즘과 사회적 맥락의 상호작용을 연구하며, 독일 의회·EU 집행위의 기술 자문을 맡아왔다. 저명한 과학 커뮤니케이터이자, 학문과 사회를 연결하는 정보과학자다. 독일연구재단(DFG) 커뮤니케이터상을 비롯한 여러 상을 수상했고, 라인란트팔츠 주 인공지능 홍보대사이자 AI 자문 스타트업 “Trusted AI GmbH”의 공동 설립자이다. 이외 여러 연방 부처에서 전문가로 활동하고 있으며, 2018년부터 2020년까지 독일 연방하원의 ‘인공지능’ 조사위원회 위원으로 참여했다. 여러 매체에서 강연을 하는 등 대중을 상대로도 활발한 활동을 펼치고 있다. 2019년 출간한 《무자비한 알고리즘》은 장기간 슈피겔지 베스트셀러 목록에 올랐다.
목차
1장 인공지능이 판단하는 세상
1부 기계는 어떻게 결정을 내리는가
2장 알고리즘의 성차별
3장 정보과학의 작은 ABC
4장 기계는 신용도를 평가하는 법을 어떻게 배울까?
알고리즘, 휴리스틱, 그리고 모델
5장 1부 요약
2부 인공지능이 만들어낸 문제들
6장 얼굴을 인식할 수 없습니다
7장 억울하게 체포된 남자
8장 왜 나는 집을 찾을 수 없을까?
9장 내 돈은 어디 갔지?
10장 인스타그램에서 우울증을 감지하는 법
11장 챗지피티는 왜 나를 히틀러의 오른팔로 만들까?
12장 일레인 허츠버그는 왜 죽어야 했을까?
13장 2부 요약
3부 왜 이렇게 되었는지 알아야 할 때
14장 검증 가능한 결정과 검증 불가능한 결정
15장 언어행위는 언제 성공하는가?
16장 컴퓨터가 내 글에 점수를 매길 수 있을까?
17장 계정이 갑자기 정지된 이유
18장 내가 테러리스트라고?
19장 인공지능과 ‘일반적인 절차’의 학습
20장 가치판단이 자동화될 수 있을까?
21장 3부 요약
4부 우리는 앞으로 어떻게 결정을 내릴 것인가?
22장 자동화된 의사결정 시스템을 활용하면 어떤 점이 더 나을까?
23장 나의 알고리즘을 언제 사용할 수 있을까?
24장 영리한 한스, 어떻게 그렇게 할 수 있니?
25장 이의 제기는 가치가 있다
26장 4부 요약
주