Найактуальнішим питанням є не те, виграють чи програють Сполучені Штати та Китай у змаганні за домінування ШІ. Сам штучний інтелект змінить різні цикли зворотного зв'язку, на які покладаються демократії та автократії, керуючи своїми суспільствами. Багато спостерігачів припускають, що коли машинне навчання стає все більш поширеним, воно неминуче зашкодить демократії та допоможе автократії. На їхню думку, алгоритми соціальних медіа, які оптимізують залучення, наприклад, можуть підірвати демократію, погіршуючи якість зворотного зв'язку громадян. Коли люди клацають відео за відео, алгоритм YouTube пропонує шокуючий і тривожний вміст, щоб зацікавити їх.
Цей вміст часто містить теорії змови або екстремальні політичні погляди, які заманюють громадян у темну країну чудес, де все перевернуто з ніг на голову.
Навпаки, машинне навчання має допомогти автократіям, сприяючи більшому контролю над їхніми людьми. Історик Юваль Харарі та низка інших вчених стверджують, що ШІ «схиляється до тиранії». Згідно з цим табором, ШІ централізує дані та владу, дозволяючи лідерам маніпулювати звичайними громадянами, пропонуючи їм інформацію, яка розрахована на натискання їхніх «емоційних кнопок». Цей нескінченно повторюваний процес зворотного зв'язку та відповіді має створити невидиму та ефективну форму соціального контролю. За цим розщрахунком соціальні медіа дозволяють авторитарним урядам контролювати пульс суспільства, а також захоплювати його серце.
Але ці аргументи спираються на невизначені основи. Хоча витоки зсередини Facebook свідчать про те, що алгоритми справді можуть спрямовувати людей до радикального контенту, останні дослідження показують, що алгоритми самі по собі не змінюють те, що люди шукають. Люди, які шукають екстремальні відео на YouTube, швидше за все, будуть спрямовані на те, що вони хочуть, але люди, які ще не зацікавлені в небезпечному вмісті, навряд чи дотримуватимуться рекомендацій алгоритмів. Якби зворотній зв'язок у демократичних суспільствах ставав дедалі більш безладним, машинне навчання не було б цілком виною; це б лише простягло руку допомоги.
Немає вагомих доказів того, що машинне навчання дає можливість узагальненого контролю розуму, який знищить демократію та посилить авторитаризм. Якщо алгоритми не надто ефективні в тому, щоб спонукати людей купувати речі, вони, ймовірно, набагато гірші в тому, щоб змусити їх змінити свою думку щодо речей, які стосуються близьких цінностей, таких як політика. Твердження про те, що Cambridge Analytica, британська політична консалтингова фірма, застосувала якусь магічну техніку, щоб сфальсифікувати президентські вибори в США 2016 року для Дональда Трампа, розвіялися. Передбачуваний секретний соус фірми, наданий кампанії Трампа, здавалося, складається зі стандартних методів психометричного націлювання — використання опитувань особистості для класифікації людей — з обмеженою корисністю.
Дійсно, повністю автоматизований авторитаризм, керований даними, може виявитися пасткою для таких держав, як Китай, які зосереджують повноваження в крихітній ізольованій групі осіб, що приймають рішення. У демократичних країнах є механізми виправлення — альтернативні форми зворотного зв'язку громадян, які можуть перевіряти уряди, якщо вони збиваються з курсу. Авторитарні уряди, оскільки вони подвоюють машинне навчання, не мають такого механізму. Хоча повсюдний державний нагляд може виявитися ефективним у короткостроковій перспективі, небезпека полягає в тому, що авторитарні держави будуть підірвані формами самопідсилювальної упередженості, якій сприяє машинне навчання. Оскільки держава широко використовує машинне навчання, ідеологія лідера визначатиме, як використовується машинне навчання, цілі, навколо яких воно оптимізується, і як воно інтерпретує результати. Дані, отримані в результаті цього процесу, ймовірно, відображатимуть упередження лідера прямо щодо нього самого.
Як пояснив технолог Мацей Цегловський, машинне навчання — це «відмивання грошей заради упередженості», «чистий математичний апарат, який надає статус-кво аурі логічної неминучості». Що станеться, наприклад, коли штати почнуть використовувати машинне навчання, щоб виявляти скарги в соціальних мережах і видаляти їх? Лідерам буде важче побачити та виправити політичні помилки, навіть якщо ці помилки шкодять режиму. У дослідженні 2013 року було зроблено припущення, що Китай повільніше видаляв онлайн-скарги, ніж можна було очікувати, саме тому, що такі натиски надали корисну інформацію для керівництва. Але тепер, коли Пекін дедалі більше наголошує на соціальній гармонії та прагне захистити високопосадовців, такий підхід невтручання буде важче підтримувати.
Президент Китаю Сі Цзіньпін усвідомлює ці проблеми принаймні в деяких сферах політики. Він довго стверджував, що його кампанія проти бідності — спроба ліквідувати зубожіння в сільській місцевості — була знаковою перемогою завдяки розумним технологіям, великим даним і ШІ. Але з тих пір він визнав недоліки кампанії, включаючи випадки, коли чиновники виштовхували людей з їхніх сільських будинків і ховали їх у міських квартирах, щоб грати зі статистикою бідності. Оскільки переселенці знову впали в бідність, Сі хвилювався, що «єдині кількісні цілі» для рівня бідності можуть бути не правильним підходом у майбутньому. Дані справді можуть бути новою нафтою, але вони можуть забруднювати, а не посилювати здатність уряду керувати.
Ця проблема має наслідки для так званої системи соціального кредиту в Китаї, набору установ для відстеження просоціальної поведінки, яку західні коментатори описують як ідеально функціонуючий «режим стеження за допомогою ШІ, що порушує права людини». Як зазначили такі експерти з інформаційної політики, як Шазеда Ахмед і Карен Хао, система насправді набагато брудніша. Китайська система соціального кредитування насправді більше схожа на кредитну систему США, яка регулюється такими законами, як Закон про справедливу кредитну звітність, ніж на ідеальну антиутопію Оруелла.
Посилення машинного навчання також може призвести до того, що авторитарні режими подвоють погані рішення. Якщо машинне навчання навчено виявляти можливих дисидентів на основі записів про арешти, воно, ймовірно, створюватиме самозміцнювані упередження, подібні до тих, що спостерігаються в демократичних країнах, — відображаючи та підтверджуючи переконання адміністраторів щодо неприхильних соціальних груп і невблаганно закріплюючи автоматизовану підозру та негативну реакцію. У демократичних державах можливий публічний відпор, хоч і недосконалий. В автократичних режимах опір набагато важчий; без нього ці проблеми невидимі для тих, хто всередині системи, де чиновники та алгоритми мають однакові упередження. Замість доброї політики це призведе до зростання патологій, соціальної дисфункції, образи та, зрештою, хвилювань і нестабільності.