Социолог Бенджамин Браттон: «Эпоха мужской героики уходит со взрывами и пальбой»

Искусственный интеллект уже здесь: миллионы людей ежедневно прибегают за советом к Siri; нейросети научились имитировать стиль великих художников и подражать твитам Рамзана Кадырова; даже ваши покупки в сети — это в известной степени результат работы невидимых алгоритмов поисковой выдачи. Социологи и философы изо всех сил пытаются успеть за стремительным развитием технологий, изучая их воздействие на общество. Об этом пишет и теоретик архитектуры и преподаватель Калифорнийского университета в Сан-Диего (а с недавних пор и программный директор московского института «Стрелка») Бенджамин Браттон, выступавший на прошлой неделе с лекцией в Казани. «Инде» поговорил с Браттоном о мире будущего, прозрачном и непрозрачном обществе, кризисе мачизма и о том, какой этики нужно придерживаться в отношениях с искусственным интеллектом.

Объясните в нескольких словах, о чем вы рассказываете в ходе своего турне по России.

Мое выступление можно разделить на две части. Первая — соображения из моей недавней книги The Stack об иcкуcственном интеллекте в масштабе города. Вторая связана с нашей образовательной программой, которая в этом году называется «новая норма». Мы изучаем, как меняются наши представления о том, что нормально, а что нет. Оба направления я планирую объединить в моей следующей книге, которая будет посвящена искусственному интеллекту (далее — ИИ) и новым подходам к нему. Вы слышали о тесте Тьюринга? Он заключается в том, что идеальный ИИ должен продемонстрировать свое совершенство, обманув собеседника и внушив ему, что он имеет дело с человеком. Мне кажется, это глубоко неправильная идея. Я провел несколько лет, изучая образ ИИ в поп-культуре, и пришел к выводу, что человечество сильно ошибается в своих воззрениях на машинный интеллект.

Возьмем дихотомию Иммануила Канта, который писал, что рассудок и чувственность — два разных принципа, лежащих в основе познания мира. И у машины есть эта кантианская чувственность: современный город непрерывно сканирует себя через сенсоры тепла, движения, датчики газа и так далее. Но где этот сбор информации переходит в настоящее мышление — вот в чем вопрос. На мой взгляд, в случае с ИИ мы не можем вслед за Кантом разделить мышление на два разных процесса — рассудок и чувственность у машин перемешаны. Больше того, аналогии с человеческим бессмысленны, так как в случае с машинами мы часто имеем дело с распределенным разумом, который кроется в цепочке объектов, — что и происходит в больших городах. И здесь необходим совершенно другой способ мыслить об ИИ, о том, как он устроен и как к нему относиться.

В рамках общепринятой схемы ИИ сводится к взаимодействию с внешней системой, будь то человек или другой ИИ, это такая бинарная оппозиция, которая совершенно несправедлива. Подумайте о матче Каспарова и Deep Blue — его можно рассматривать как симбиоз машинного и человеческого: Deep Blue думал как Каспаров, а Каспаров пытался думать как Deep Blue. Да, это совершенно разные типы сознания, но они влияют друг на друга. Сегодня самая сложная задача, связанная с ИИ, лежит не в области техники, а в области культуры, в формировании нового типа отношений.

В чем состоит ваша экспертиза в области искусственного интеллекта? Вы разрабатывали какие-то программы? Принимали участие в научных проектах?

Я разбираюсь в этом не на техническом уровне. Интересно, что исследование проблемы ИИ началось не со стороны инженерных разработок, а со стороны философских штудий. Тьюринг придумал тест, который опережал предполагаемые возможности компьютеров на десятки лет, — это был мысленный эксперимент. За эти 65 лет философия играла большую роль в развитии науки об искусственном интеллекте, и то, чем я занимаюсь, также восходит к социальной философии. На мой взгляд, эта область до сих пор продуктивна, и чем больше философия будет распространяться на технические науки, тем лучше будет для всех.

В этом году на Aeon.co выходила статья Джорджа Массера о градациях разумности. Согласно Массеру, некоторых роботов можно поставить на один уровень с рыбами, а более примитивные машины уподобить насекомым. В то же время существуют веганы, которые отказываются от меда, поскольку он является продуктом эксплуатации пчел. Получается, что если поступать этично, то мы должны по-другому относиться к технике и начать искать неэксплуатационные формы сотрудничества. Или, по крайней мере, не грохать смартфоном в порыве злости об стену. Что вы об этом думаете?

Я думаю, что здоровая культура ИИ очень сильно повлияет на ситуацию с правами животных. Но не потому, что мы будем смотреть на машины как на животных, нет... Я думаю, рано или поздно нам придется отказаться от подхода к машинам как к чему-то требующему настройки и обучения в такой форме, как мы учим детей. Не надо воспринимать наш эволюционный казус как мерило для всех разговоров о разуме. И, конечно, если мы присмотримся к животному миру вокруг нас, то будем лучше понимать специфику искусственного интеллекта и его разнообразие. Тут много интересных аспектов. Знаете, в Америке уже очень много роботов-коммивояжеров, которые звонят вам по телефону и начинают навязчиво пытаться продать что-то. Это не люди, хотя они звучат как люди и могут отвечать на ваши вопросы. Это сложный алгоритм, который синтезирует речь. Один мой знакомый журналист спросил однажды такого робота-коммивояжера: «Вы машина или настоящий человек?». Робот рассмеялся и сказал, что он, конечно же, настоящий человек. Журналист спросил еще раз, и робот ответил той же записанной фразой. И так несколько раз кряду. Если вдуматься, то человечество выглядит в свете этой истории довольно скверно. По двум причинам. Во-первых, мы создали некое существо, которое лжет людям, хотя оно и не осознает этого. Но если бы оно ответило правду — мол, ты что, спятил, конечно же, я просто куча аудиофайлов, прошитых единым кодом и созданных потому, что людям хочется, чтобы им впарили товар настоящие теплые коммивояжеры, а не машины? И с этим связана вторая причина — развитию отношений между людьми и машинами мешают наши фобии. Чем дольше мы делаем вид, что ничего не происходит, тем дальше отодвигаем момент понимания искусственного интеллекта и перехода к конструктивному общению с ним.

В то же время существует гипотеза о «зловещей долине» — той степени сходства с человеком, за которой робот начинает вызывать не приязнь, а страх и отвращение...

Да-да, то же самое, кстати, происходит и с 3D-анимацией. Она уже давно позволяет делать абсолютно реалистическое изображение, но дело в том, что людям оно не нравится: дети начинают плакать, собаки лаять. То есть всегда должна быть определенная степень несходства. Я недавно написал статью о Siri, Cortana, Alexa и других программах такого рода, поскольку мне интересно, как дизайн интерфейсов прошел путь от клавиш с пиктограммами до проектирования личности программы, ее характера. Вы можете спросить Siri, верит ли она в Бога и где, по ее мнению, находится Стив Джобс — в аду или в раю. Siri дипломатично дает ничего не означающие ответы достаточной глубины, чтобы вы могли ей доверять и чтобы она не отпугнула вас механическим воспроизведением каких-то условностей. То есть это постоянное балансирование между смыслом и бессмыслицей, между тем, чтобы выдать себя, и тем, чтобы скрыть. Если бы Siri была человеком, она бы ответила: «О господи, я никогда не думала об этом, почему ты спрашиваешь?», а потом, через несколько недель, призналась бы, что этот вопрос вызвал у нее депрессию. Но это бы нас испугало.

Но если мы посмотрим на это с другой стороны, то увидим то, что я называю «перевернутой зловещей долиной». Если вы посмотрите на себя глазами машины, то увидите разобранную на части картинку: она будет опознавать только какие-то основные элементы, глаза, контуры, рот, и это будет не похоже на то, как вы думаете о себе. И это пугает, это действительно жутко. Почему машине не должно становиться жутко от нас? Почему мы считаем себя единственными субъектами, у которых есть право ужасаться? Я думаю, что эти моменты заслуживают изучения. Нам надо учиться смотреть на себя глазами этих других форм жизни.

Как вы думаете, в следующие десять лет католическая церковь задумается о том, нужно ли причащать Siri?

Я бы поспорил с этим. Да, логично, что если у разума есть некая независимость, значит, мы должны общаться с ним доверительно и с уважением. Но значит ли это, что мы должны общаться с ним как с человеком — то есть, например, давать ему причастие? Разве нет других вариантов отношений? Что до католиков, то у меня есть одна хорошая история на этот счет. Один из моих студентов писал работу по клонированию людей и наткнулся на переписку внутри католической церкви начала 1980-х. Тогда, если вы не знаете, священнослужители были очень обеспокоены и задавались массой вопросов — например, есть ли душа у клонированного человека или он забирает половину души у своего донора и как вообще это устроено. В обнаруженной переписке католики задавались вопросом: какого рода грех совершает человек, занимающийся сексом со своим клоном, — мастурбацию или инцест? Собственно, это близко к развиваемой мной теме «новой нормы»: кажется, язык, которым мы описываем реальность, устарел и нам нужны новые термины и слова, чтобы объять изменившийся мир. Сейчас для этого самое время.

Наверняка вы читали книгу Age of Earthquakes Ханса-Ульриха Обриста, Дугласа Коупленда и Шумона Базара о том, что с ростом количества людей и связей между ними в обществе падает уровень субъектности у отдельных индивидуумов и что мы начинаем объединяться в большие гомогенные группы. Что вы думаете об этом?

Тут есть пара моментов. Давайте возьмем понятия гомогенного и гетерогенного. Мы можем посмотреть на это как на результат глобализации и перенасыщения связей между государствами. Разговоры об интеграции культур идут уже 500 лет, и, надо сказать, небеспочвенно. Но ничего нового в этом нет: как в свое время изобретенная национальная идентичность раздавила общности меньшего размера, так и сейчас национальные общности терпят сильное давление со стороны глобальных. Если вы возьмете любой город, то увидите, что он стал больше похож на все остальные города в мире. Лос-Анджелес стал больше похож на Пекин, а Пекин на Лос-Анджелес, чем это было 200 лет назад.

Но есть и обратный процесс. Смотрите, перед нами сейчас стол из русской древесины, кофе из Эфиопии, чай из Индии и айфон, в котором вообще представлена практически любая страна мира, и это тоже часть новой нормы. У нас больше разнообразия, чем когда-либо. Получается, что для высокого уровня характерна гомогенизация, а для низкого — гетерогенизация. Говоря же об ИИ, я считаю, что это более серьезный пример вопроса о том, что такое быть человеком и что такое быть членом общества. И реакция этнонационалистов по всему миру — это попытка укрепить идею идентичности. Фундаментализм всегда был только ответом на глобализацию. И сейчас идет война между финансовой глобализацией и культурной фундаментализацией.

Если хотите знать, где я вижу себя в этой схеме мира, я бы присоединился к условному гуманистическому фундаментализму, если бы таковой существовал. Я хочу защищать идею, что мы, люди, особенные, что наш статус особенный, что человек — в первую очередь личность и эту личность надо оберегать. Но нам нужно проартикулировать более четкую постгуманистическую этику, иначе столкновений не избежать.

Кажется, вы довольно оптимистично смотрите на будущее. Как минимум, оптимистичнее, чем Евгений Морозов (известный публицист, киберскептик. — Прим. «Инде») или Джарон Ланир (ученый-программист, автор термина «виртуальная реальность» и книги «Вы не гаджет». — Прим. «Инде»).

Думаю, сложно быть более пессимистичным, чем Морозов. Он профессиональный оппозиционер-луддит — профессиональный не в смысле уровня, на котором он это делает, а в том смысле, что это его работа. Поэтому я бы не стал себя сравнивать с ним. Конечно, иногда он говорит разумные вещи — раза три или четыре такое точно случалось, — но потом он повторяет их снова и снова. Он рассказывает страшилки, которые, как им и положено, довольно эффектны, но полны передергиваний. Для меня Морозов — пример абсолютного тролля. Его книги похожи на очень длинные язвительные комментарии на YouTube, если вы понимаете, о чем я. Он — полная противоположность того, за что якобы борется. Ланир пишет более осмысленные вещи и с ним проще вести диалог, хотя с ним я тоже во многом не согласен. У Ланира я нахожу занимательной идею наноплатежей (гипотетическая система микровознаграждений и сверхмалых роялти. — Прим. «Инде»). Я не то чтобы более оптимистичен, я более заинтересован в будущем. Я не считаю, что будущее предопределено, как на это намекает Морозов. И я сторонюсь другой предопределенности, в которой нас ждет невероятный технологический прорыв — осталось только чуть-чуть подождать. В ноябре у меня будут дебаты с Курцвейлом, и на его фоне я, конечно же, пессимист. Ведь я тот парень, который говорит футурологам: что вы несете, вы либо сошли с ума, либо упоролись!

Я как раз хотел спросить про Курцвейла. Известна его фраза, что футурология тем хороша, что сначала ты собираешь деньги за лекции и книги, и только спустя десятилетия люди узнают, сбылись ли твои предсказания. Что вы думаете о цинизме продавцов будущего?

Ну, Курцвейл не просто продавец будущего — все-таки он еще и ученый, сделавший несколько открытий в области синтезирования звука. Но я понимаю, о чем вы. Известен он не этим, а своей идеей сингулярности (гипотетический резкий скачок в развитии технологий, за которым невозможно прогнозировать дальнейшие события и который должен, по оценке Курцвейла, произойти в ближайшие 20 лет. — Прим. «Инде»). И этим он отбросил культуру разговора об искусственном интеллекте как минимум на 40 лет назад — это огромный промежуток времени. Под его влиянием у людей выработались определенные ожидания того, как должен вести себя тот самый «большой ИИ», и это совершенно не совместимо ни с чем. Его крики о сингулярности невозможно воспринимать всерьез, это такая плохая научная фантастика. В чем он прав, так это в том, что кумулятивный эффект от объединения возможностей био- и нанотехнологий и возможностей искусственного интеллекта будет колоссальный. Но это не линейный процесс. Курцвейл описывает его как неминуемое будущее, и по сути это ничем не отличается от детерминизма Морозова. На самом деле будущих много, есть масса вариантов развития событий и странно описывать только одну линию. Для Курцвейла сингулярность — некое чудо, но на самом деле, чтобы произошло нечто подобное, общество должно глобально перестроиться, и это очень сложный и болезненный процесс. И, думаю, этому процессу нужно уделить как можно больше внимания.

Возвращаясь к разговору о противостоянии будущего. На мой взгляд, беспокоиться нас заставляют не технологии, а люди, которые стоят за ними. Вспомнить Мартина Шкрели (глава нью-йоркской фармацевтической компании Turing Pharmaceuticals AG, известной спекуляциями на стоимости лекарств. — Прим. «Инде») или Бена Хоровитца (один из главных инвесторов Кремниевой долины. — Прим. «Инде»). А если говорить о медиа, Buzzfeed вместе с Facebook сильно изменили ситуацию на рынке, и я не думаю, что в лучшую сторону. Вы не согласны с тем, что венчурный капитал портит то, к чему он прикасается?

Что касается медиа, я бы не стал все переваливать на голову основателей каких-то сайтов, например Ника Денцена из Gawker. Дело не в них, дело в нас. На рынке масса разных предложений, и если зарабатывают эти люди, значит, их продукт пришелся по вкусу огромному количеству пользователей. Не думаю, что они такие хитрые марионеточники, которые тянут за наши ниточки, заставляя расшаривать материалы с котиками. Это социокультурная установка — более сложный вопрос, на который не хочется отвечать просто обвинениями Сергея Брина или Ларри Пейджа (основатели Google. — Прим. «Инде»).

Вы не слышали историю о приложении Findface, с помощью которого тролли стали выслеживать в соцсетях женщин, снимающихся в порнофильмах, и угрожать им деанонимизацией?

Нет, я не знал об этом. Думаю, это связано не столько с технологиями, сколько с кризисом идентичности и, точнее, с кризисом маскулинности, который происходит во всем мире. Женщины не делают такого с мужчинами. Гендерные роли меняются, и они не могут меняться безболезненно. История с «Исламским государством» примерно о том же: есть ощущение, что эпоха мужской героики уходит, но уходит она со взрывами и пальбой. То, что интернет это усиливает, — безусловный факт. Но корни не в интернете.

Вы думаете, что в прозрачном обществе не будет шантажа, потому что все смогут легко шантажировать друг друга?

Этой позиции придерживается писатель-фантаст Дэвид Брин в своем нон-фикшн-бестселлере «Прозрачное общество». Но я не совсем согласен с ним, потому что все-таки существует такая вещь, как иерархия доступа к технологии. Тот, кто стоит в ней выше, сможет обеспечить себе меньшую прозрачность и, следовательно, получит мощный рычаг влияния на тех, кто под ним. У меня нет простого ответа на этот вопрос — думаю, его и быть не может. Просто я чувствую, что прозрачность лучше, чем непрозрачность. Посмотрим на средства шифрования — что они дают нам? Торговлю оружием, наркотиками, преступность, 4chan? Более того, они дают пространство для роста радикального индивидуализма, сводящегося к тому, что у человека нет никаких социальных и других обязательств. Это может привести к патологическому поведению. Если вернуться к биологической метафоре, абсолютную прозрачность можно сравнить с общей иммунной системой общества. А попытка скрыть свою деятельность будет похожа на абсурдную аутоаллергическую реакцию, которую организм тут же подавит. Но я не хотел бы делать предсказаний или обещаний, я просто предлагаю задуматься о разных аспектах проблемы перемен.

Есть история про таксистов в Португалии, которые сжигали машины водителей Uber из страха, что они, старорежимные бомбилы, будут вытеснены новыми технологиями. В этой ситуации логичным следующим шагом будет объединение водителей Uber и бомбил перед лицом общего врага: машин с автопилотом. Как, на ваш взгляд, успокоить людей, встревоженных технологическими изменениями?

В Оксфорде пять лет назад выходило исследование о воздействии автоматизации на рынок труда. Ученые пришли к выводу, что в течение следующих 20 лет 55 процентов всех рабочих мест в Великобритании окажется под угрозой из-за развития робототехники и искусственного интеллекта. Это ужасно много — есть о чем тревожиться. Но, с другой стороны, это высвобождает пространство для новых возможностей. Это же мечта урбаниста: избавить 25 процентов городского пространства от парковок, которые занимает личный транспорт. От этого выиграют и экология, и экономика, и просто горожане. И на смену вытесненным рабочим местам, по идее, должны прийти новые — в других сферах, связанных с технологией. Весь вопрос, конечно, в том, насколько быстро это замещение произойдет... Давайте посмотрим на утопическую литературу, от «Утопии» Томаса Мора до ситуационистских манифестов: ключевое определение, которое давалось левой утопии, — это место, где людям не нужно будет работать, чтобы получать пищу, кров и одежду. Социальные отношения детерминированы отношением к средствам производства, так? Но что будет, когда средства производства будут заменены средствами автоматизации? Что такое общество с 55-процентной безработицей — утопия или кошмар? Впрочем, пока все примеры таких государств совсем не похожи на утопии: взять хотя бы Сомали или Детройт. С другой стороны, сейчас активно обсуждается идея безусловного базового дохода — что характерно, она интересует как левые, так и правые политические силы.

Другая сторона проблемы связана с автоматизацией: как вы помните, причиной Великой депрессии в США послужил кризис перепроизводства. Это эффект снежного кома — те, кто не работает, не могут покупать, а если никто ничего не покупает, вы не можете работать. Возможно, безусловный базовый доход, несмотря на его социалистический подтекст, может спасти капитализм от коллапса. Я лично отношусь с одинаковым подозрением как к либертарианцам, которые считают, что рынок все расставит по своим местам, так и к сторонникам старорежимного велфера, потому что идея гражданства с каждым днем становится все более призрачной в мире, где главное слово — миграция. Возвращаясь к португальским водителям, я не вижу никаких способов спасти их, кроме как изобрести некий музей такси, который будет их оберегать за счет государственного гранта на искусство. Существуют же люди, которые делают вручную бумагу, верно? Конечно, их станет меньше, но ведь человечество уже пережило исчезновение многих профессий. Я бы посоветовал всем интересующимся этим вопросом почитать книгу «Изобретая будущее: посткапитализм и мир без работы» Ника Срничека и Алекса Уильямса.

Последний вопрос. Правда, что Джейми Стюарт из группы Xiu Xiu — ваш брат?

Да, это так. У нас общий отец, но разные матери — я сам об этом узнал не так давно. У меня в коллекции были записи Xiu Xiu, я их периодически слушал, но, естественно, и предположить не мог, что их лидер — мой сводный брат. Меня усыновили, а он вырос с моим биологическим отцом. И когда я обнаружил, что меня усыновили, я отследил, кто мои родители. Мы с Джейми какое-то время обменивались письмами, а потом он пригласил меня на свой концерт. Я приехал со своей беременной женой, и так получилось, что с концерта она отправилась прямо в роддом. Получается, в один день в моей жизни появились брат и сын. Сейчас мы думаем сделать какой-то совместный проект — однажды мы уже работали вместе над игрой The Game The Game, которую сделала моя студентка в Лос-Анджелесе. Xiu Xiu записали к ней саундтрек, а я написал эссе о проекте. Это игра о том, как чувствуют себя женщины, когда их преследуют пикаперы. Мужчинам играть в нее довольно неудобно, но это полезный опыт.

Фото: Даниил Шведов