Глава 2 Апокалипсис самоотречения

Глава 2

Апокалипсис самоотречения

Идеи, которые, надеюсь, не будут похоронены на основании философской позиции, названной мною кибернетическим тотализмом. Эта позиция применяет метафоры некоторых разделов информатики в отношении человека и вообще реальности. В настоящей главе изложены практические возражения такой философии.

Что делать, когда технологи безумнее луддитов?

Сингулярность — апокалиптическая идея, изначально предложенная Джоном фон Нейманом, одним из создателей цифровых вычислений, и разъясненная такими деятелями, как Вернор Виндж и Рэй Курцвейл. Существует множество версий фантазии о сингулярности.

Например, вот что говорил Марвин Мински за обеденным столом в начале 1980-х: скоро, возможно во втором или третьем десятилетии XXI века, компьютеры и роботы смогут создавать свои копии, причем эти копии будут совершеннее оригинала благодаря интеллектуальному программному обеспечению. Второе поколение роботов создаст третье, и этот процесс пройдет быстрее благодаря усовершенствованиям, внесенным во второе поколение. Следующие поколения будут становиться все умнее, а процесс их создания начнет ускоряться. У людей будет сохраняться ощущение, что они контролируют ситуацию, пока в один прекрасный день скорость усовершенствования не достигнет критического порога и не появится суперинтеллект, который станет править на Земле.

В некоторых версиях истории роботы представали микроскопическими созданиями, «серой слизью», пожирающей Землю, либо сама Сеть вдруг оживала и объединяла все связанные ею компьютеры в армию, чтобы контролировать то, что происходит на планете. В результате люди получали возможность наслаждаться бессмертием в виртуальной реальности, поскольку глобальный мозг оказывался настолько огромным, что не составляло труда — не требовало мозгов, простите за каламбур — сохранить все наши индивидуальные личности навечно.

Грядущая сингулярность популярна в технологическом обществе. Книги о сингулярности так же привычны в разделе компьютерных дисциплин, как образы Апокалипсиса в евангелических книжных магазинах. (В том случае, если вы не знакомы с понятием Апокалипсиса, — это красочное представление о конце света, бытующее в американской евангелической культуре. В моем детстве в сельской местности Нью-Мехико изображения Апокалипсиса можно было частенько встретить на бензозаправках и в скобяных лавках. Обычно это были автомобили, врезающиеся друг в друга, потому что их добродетельных водителей призвали на Небеса перед тем, как на Земле воцарится ад. В чрезвычайно популярных романах серии «Оставленные» также описан подобный сценарий.)

В идеях, связанных с сингулярностью, возможно, и есть определенная доля истины в самом широком понимании реальности. Действительно, на некоем безграничном космическом уровне неизбежно будут возникать более высокие формы сознания, пока вся вселенная не превратится в мозг или что-то вроде того. Даже в более скромном масштабе миллионов или тысяч лет гораздо интереснее представлять, что человечество эволюционирует до некоего изумительного состояния, которое мы сейчас не способны представить. Единственной альтернативой такому сценарию может быть полное вымирание или глубокий застой, что явилось бы большим разочарованием, так что давайте надеяться на будущее совершенствование человечества.

Различие между здравым смыслом и фанатизмом состоит в том, насколько верующий в состоянии не спутать масштабы последствий. Если вы верите в Апокалипсис, в близость второго пришествия или иные чудеса, едва ли решение проблем нашей жизни будет для вас приоритетным. Вы даже можете с готовностью принимать войны, допускать существование бедности и болезней, поскольку они создают условия для приближения Апокалипсиса. Аналогично, если вы верите в скорый приход сингулярности, то можете прекратить разрабатывать технологии для служения человеку, вместо этого готовясь к великим переменам.

В любом случае никто никогда не узнает, были ли вы правы. Технологии, слаженно работающие во имя совершенствования условий жизни человечества, всегда на виду — например, в оптимистичных фантастических произведениях типа сериала «Звездный путь».

Сингулярность, однако, влечет физическую гибель людей и загрузку их сознаний в компьютер, где они продолжат осознавать себя, или даже аннигиляцию человечества в тот неуловимый миг, который предшествует воцарению на Земле сверхразума. Общим у Апокалипсиса и сингулярности является то, что живых свидетелей их пришествия не останется.

Для понимания информационных технологий необходим определенный уровень культурного развития

В новой цифровой реальности выдвигаются и более экстремальные утверждения. Биты представляются живыми, а человеческие существа — временными объектами. Должно быть, все эти анонимные видеоклипы и комментарии в блогах оставлены реальными людьми, но кто знает, где они сейчас, может, уже мертвы? Цифровой улей разрастается за счет индивидуальности.

Кевин Келли утверждает, что нам больше не нужны авторы, а идеи, фрагменты, которые раньше собирались в книги конкретными людьми, могут быть связаны в единую глобальную книгу. А редактор ежемесячного журнала Wired Крис Андерсон предлагает, чтобы наука больше не выдвигала теории, которые способны понять ученые, потому что вычислительное облако в любом случае поймет их лучше.[7]

Антигуманистическая риторика завораживает так же, как завораживает фашизм: она нас оскорбляет, но мы не в силах от нее оторваться.

Антигуманистический подход к вычислениям является самой несостоятельной идеей в истории человечества. Компьютер не существует, если им не занимается человек. Есть теплая масса структурированного кремния, проводящего электрический ток, однако биты ничего не значат без образованного человека, способного их интерпретировать.

И это не солипсизм. Вы можете быть убеждены, что мир создан вашим разумом, но пуля все равно убьет вас. Однако виртуальная пуля даже не существует, если нет человека, способного распознать ее как образ пули. Пистолеты реальны в том смысле, в каком нереальны компьютеры.

Представлять человека устаревшим, чтобы компьютеры казались более продвинутыми

Похоже, сегодня множество интеллектуалов из Кремниевой долины без присущего им духа неудержимого любопытства приняли за данность то, что было лишь рассуждениями. Идеи, спрятанные в туманном мире лабораторий по созданию искусственного интеллекта, вышли на поверхность в технокультуре. Первая догма этой новой культуры: вся существующая реальность, включая людей, является одной большой информационной системой. Это не означает, что мы обречены на бессмысленное существование. Напротив, получается некое новое проявление предначертания, дарующее нам миссию. В данной интерпретации смысл человеческой жизни заключается в том, чтобы помочь цифровой системе, которую мы называем реальностью, функционировать на все более высоких «уровнях описания».

Люди притворяются, что знают, что такое уровни описания, но я в этом сомневаюсь. Считается, что веб-страница представляет собой более высокий уровень описания, чем буква, а мозг — более высокий уровень, чем веб-страница. Все более распространенным расширением такого представления является идея о том, что сама Сеть уже занимает более высокий уровень, чем мозг, — ну или скоро займет.

Человек в данной схеме не представляет собой ничего особенного. Скоро компьютеры станут такими большими и быстрыми, а сама Сеть — настолько информационно насыщенной, что люди превратятся в нечто устаревшее, либо в оставленных, как в апокалиптических романах, либо будут поглощены киберсверхчеловеческим нечто.

Культура Кремниевой долины старается закрепить эту смутную идею и занимается ее продвижением так, как могут только технологи. Поскольку реализация говорит громче слов, идеи способны распространяться через разработку программного обеспечения. Если вы верите в то, что различие между людьми и компьютерами начинает стираться, вы можете выразить свое убеждение — как однажды это сделали мои друзья из Microsoft — путем разработки функций для текстового редактора, которые предвосхищают ваши желания. Например, если вы хотите начать нумерованный список в документе, с которым работаете. Возможно, вы оказывались в ситуации, когда Microsoft Word внезапно, в самый неподходящий момент, предположил, что вы создаете список с отступом. И хотя я полностью приветствую автоматизацию рутинных задач, это нечто иное.

С моей точки зрения, такого рода программные функции — нонсенс, поскольку, чтобы справиться с предположениями о ваших вероятных действиях, постоянно выдвигаемыми программным обеспечением, вам приходится тратить больше усилий, чем если бы их не было вовсе. Такого рода функции не облегчают людям жизнь. Скорее, они продвигают новую философию: компьютер развивается в форму жизни, которая понимает людей лучше, чем они сами понимают себя.

Еще одним примером такой идеологии является то, что я называю «гонкой за звание Самого Мета». Если сервисы типа Facebook или Twitter несколько деперсонализируют людей, то другой сервис, вроде Friendfeed (который может вообще кануть в Лету к моменту выхода данной книги), возможно, вскоре выйдет на авансцену, чтобы агрегировать предыдущие уровни агрегации, делая отдельных людей еще более абстрактными, а иллюзию высокого уровня Мета-сервиса еще более выраженной.

Информация не заслуживает свободы

«Информация хочет стать свободной» — так говорят. Похоже, первым это сказал Стюарт Бренд, основатель издания Whole Earth Catalog.[8]

А я считаю, что информация не заслуживает свободы.

Кибернетическим тоталистам нравится представлять информацию чем-то живым, имеющим собственные идеи и амбиции. Но что если информация не одушевлена? Что если она даже более чем не одушевлена и является лишь артефактом человеческой мысли? Что если лишь люди реальны, а информация — нет?

Конечно, технически существует термин «информация», которым описывается нечто вполне реальное. Это вид информации, который соотносится с энтропией. Но такой фундаментальный вид информации, существующий независимо от культуры наблюдателя, не является тем, что мы можем ввести в компьютер. Это не тот вид информации, который предположительно стремится к свободе.

Информация есть отчужденный опыт.

Можно рассматривать культурно декодируемую информацию как потенциальную форму опыта, аналогично тому как можно рассматривать лежащий на краю стены кирпич как тело, обладающее потенциальной энергией. Когда кирпич подвинут и начинает падать, потенциальная энергия себя обнаруживает. Но это возможно только потому, что ранее кирпич подняли на эту стену.

Подобным образом, сохраненная информация может преподнести опыт, если ее побудить на это определенным действием. Файл на жестком диске действительно содержит объективно существующую информацию. Тот факт, что биты различимы, а не перемешаны в кучу — подобно тому как жар сплавляет предметы, — и делает их битами.

Но биты потенциально могут для кого-то что-то означать лишь в том случае, если с ними что-то делают. Когда это случается, между хранителем и получателем битов действует общность культуры. Опыт — вот единственный процесс, способный открыть информацию.

Та разновидность информации, которая, как говорят, стремится к свободе, есть не что иное, как отражение нашего разума, и сама по себе она не может ничего хотеть и никуда стремиться. Ей не станет хуже, если она не получит того, что хочет.

Но если вы намерены отойти от старой религии с ее надеждой на то, что Господь дарует бессмертие в другой жизни, к новой, где вы мечтаете стать бессмертным, загрузившись в компьютер, то вам просто необходимо верить в то, что информация реальна и жива. Тогда для вас будет важно изменить человеческие институты — искусство, экономику и право, чтобы позволить укрепить представление об одушевленности информации. Вы требуете, чтобы остальные жили в рамках вашей новой концепции государственной религии. Вам нужно, чтобы мы обожествили информацию и укрепили вашу веру.

Яблоко падает снова

Это заблуждение, имеющее примечательные истоки. Его сформулировал Алан Тюринг незадолго до того, как покончил с собой.

В научных кругах самоубийство Тюринга — щекотливая тема. Об этом избегают говорить, поскольку мы не хотим, чтобы один из отцов-основателей выглядел как герой таблоидов и чтобы необычные обстоятельства его смерти затмевали память о нем.

Наследие Тюринга-математика превыше любых сенсаций. Его вклад поистине элегантен и фундаментален. С его помощью были сделаны огромные скачки в развитии, в том числе, математических основ цифровых вычислений. Высшая награда в области информатики, наша Нобелевская премия, названа в его честь.

Однако также необходимо признать Тюринга и культурной фигурой. Прежде всего надо понимать, что он был одним из величайших героев Второй мировой войны. Он был первым хакером — человеком, использовавшим компьютер для взлома систем безопасности врага. Например, он применил один из первых компьютеров для взлома нацистского шифра «Энигма», который математики считали неприступным. Сами нацисты декодировали «Энигму» с помощью механического устройства размером с сигарную коробку. Тюринг взломал шифр, преобразовав его в последовательность битов, которую можно было проанализировать с помощью компьютера. Кто знает, в каком мире мы бы сейчас жили, если бы Тюрингу не удалось взломать «Энигму»?

Второе, что надо знать о Тюринге, — он был геем в те времена, когда это было противозаконно. Британские власти, полагая, что совершают очень благородное дело, принудили его пройти шарлатанские медицинские процедуры, которые предположительно должны были скорректировать его гомосексуальность. Странно, но они заключались во введении больших доз женских гормонов.

Чтобы понять, как они додумались до такого плана, стоит вспомнить, что до того, как появились компьютеры, широко распространенной метафорой понимания природы человека был паровой двигатель. Сексуальное давление нарастало и приводило к поломке машины, поэтому противоположная сущность, женского рода, должна была сбалансировать механизм и снизить давление. Пусть эта история послужит предостережением. Всеобщее использование компьютеров, как мы их понимаем сегодня, в качестве источника моделей и метафор нас самих, по-видимому, настолько же оправданно, как и использование для этих целей парового двигателя годы назад.

У Тюринга выросла грудь и появились другие женские признаки, а также развилась тяжелейшая депрессия. Он покончил с собой, пропитав яблоко цианидом и съев его в своей лаборатории. Незадолго до смерти он опубликовал духовный текст, который нужно оценивать отдельно от его технических достижений. Это знаменитый тест Тюринга. По-настоящему новые духовные идеи появляются крайне редко, и то, что Тюринг сформулировал ее, — еще один пример его гения.

Тюринг представил идею в виде мысленного эксперимента, основанного на популярной викторианской салонной игре. Мужчина и женщина прятались, а арбитр должен был определить, кто есть кто, основываясь только на текстах передаваемых записок.

Тюринг заменил женщину компьютером. Сможет ли арбитр определить, где человек (мужчина)? Если нет, то имеет ли компьютер сознание? Разум? Заслуживает ли он равных прав с человеком?

Мы не можем знать, какую роль сыграла пытка, которой Тюринг подвергался, когда работал над этим текстом. Но невозможно отрицать, что одного из людей, сыгравших ключевую роль в разгроме фашизма, после окончания войны уничтожили мы сами, и лишь потому, что он был геем.

Неудивительно, что в своем воображении он задавался вопросами прав странных существ.

Ко времени смерти Тюринга программное обеспечение находилось в столь ранней стадии развития, что никто не мог себе представить, каким запутанным оно станет в будущем. Тюринг придумал чистую, кристаллизованную форму существования в цифровом мире, и, думаю, было облегчением представить себе форму жизни, отдельную от страданий плоти и политики сексуальности. Примечательно, что компьютером ученый заменил именно женщину и что самоубийство Тюринга повторило падение Евы.

Тест Тюринга работает в обе стороны

Каковы бы ни были мотивы, Тюринг придумал первую метафору, поддерживающую идею того, что биты могут жить своей жизнью, независимой от людей-наблюдателей. Эта идея с тех пор появлялась тысячи раз, от искусственного интеллекта до коллективного разума, не говоря уже о множестве раздутых стартапов Кремниевой долины.

Однако мне кажется, что тест Тюринга не совсем верно интерпретировался поколениями технологов. Обычно его приводят в защиту тезиса, что машины могут достичь того, что у людей называется разумом. В конце концов, если машина заставила вас поверить, что она разумна, утверждать после этого обратное было бы проявлением фанатизма.

Даже если Тюринг надеялся на что-то другое, на самом деле тест говорит только о том, что разумность машины можно оценить лишь относительно, глазами человека-наблюдателя.[9]

В этой книге я критикую способ мышления, аналогичный искусственному интеллекту. Если машина может быть разумна, то вычислительное облако будет лучшим и гораздо более мощным разумом, чем разум отдельного человека. Если вы в это верите, то работа на благо вычислительного облака, а не отдельного человека ставит вас на сторону ангелов.

Но тест Тюринга работает в обе стороны. Вы не можете сказать, это машина стала умнее или вы снизили собственные стандарты понятия «разумный» до такой степени, что машина кажется умной. Если вы способны разговаривать с персонажем, представленным программой искусственного интеллекта, можете ли вы определить степень деградации вашего чувства личности, необходимую, чтобы иллюзия работала на вас?

Чтобы машины все время казались умными, люди сознательно деградируют. До кризиса банкиры верили в якобы умные алгоритмы, способные просчитать кредитные риски прежде, чем выдавать плохие кредиты. Мы требуем от педагогов обучения прохождению стандартизованных тестов, чтобы ученики хорошо выглядели с точки зрения алгоритма. Мы неоднократно демонстрировали беспредельную способность нашего вида снижать стандарты, чтобы информационные технологии выглядели хорошо. Каждое проявление разума в машине двусмысленно.

Та же двусмысленность, которая в прошлом послужила мотивом создания сомнительных проектов в области искусственного интеллекта, сегодня преподносится в виде массовой культуры. Действительно ли поисковик знал, что вам нужно, или вы подыгрываете, снижая стандарты, чтобы он казался умным? Хотя совершенно естественно ожидать, что восприятие человека будет меняться в результате взаимодействия с новыми технологиями: чтобы человек рассматривал разум машины как реальный, требуется ослабить собственную связь с реальностью.

Значительная часть адептов искусственного интеллекта после длительного периода неудачных экспериментов в таких областях, как распознавание естественных языков, в конечном счете нашла успокоение в восхищении коллективным разумом, который демонстрировал лучшие результаты, поскольку за сценой были реальные люди.

Например, «Википедия» основана на том, что я называю иллюзией оракула: знание об авторе подавляется с целью придать тексту сверхчеловеческую достоверность. Традиционные «священные» книги работают по такому же принципу и порождают много схожих проблем.

Это еще одна причина, по которой я иногда думаю о кибернетическом тотализме как о новой религии. Такое обозначение гораздо глубже, чем приблизительная метафора, поскольку включает новый тип поиска жизни после смерти. Для меня очень странно, что футуролог и изобретатель систем распознавания речи Рэй Курцвейл хочет, чтобы глобальное вычислительное облако вобрало в себя содержимое наших мозгов, с тем чтобы мы могли жить вечно в виртуальной реальности. Когда я с друзьями строил первую машину виртуальной реальности, единственной задачей было сделать этот мир более творческим, выразительным, сочувственным и интересным. А не убежать от него.

Множество на первый взгляд отличающихся друг от друга «гениальных идей», сводящихся к обожествлению иллюзий битов, восторгают Кремниевую долину, Уолл-стрит и прочие центры силы. На другом конце телефонной линии может оказаться «Википедия» или симуляция человека. Но на самом деле мы просто снова и снова становимся свидетелями повторения ошибки Тюринга.

Или рассмотрим шахматы

Возобладают ли в науке, экономике или культуре основанные на идее облака модные процессы над традиционными, требующими человеческого осмысления? Нет, поскольку лишь осмысление человеком позволяет существовать содержимому облака.

Культура освобождения фрагментов с затаенным дыханием ожидает будущего технологического триумфа, который приведет к сингулярности или другим подобным воображаемым событиям. Но уже существует несколько примеров того, как тест Тюринга был практически пройден, снижая степень персонификации. Одним из таких примеров служат шахматы.

Игре в шахматы присуще редкое сочетание качеств: очень просто понять правила, но очень трудно хорошо играть. И, что самое важное, попытки повысить мастерство игры кажутся бесконечными. Игроки добиваются все более высоких результатов, однако ни один из них не будет утверждать, что достиг высочайшего уровня.

Компьютеры и шахматы имеют общие корни. И те и другие возникли как орудия войны. Шахматы появились как симуляция битвы, мысленное боевое искусство. Конструкция шахмат даже напоминает о еще более отдаленном прошлом — временах нашего грустного животного наследия субординации и соперничающих кланов.

Аналогично и современные компьютеры были разработаны для управления ракетами и взлома секретных военных шифров. И шахматы, и компьютеры — прямые потомки насилия, которое движет эволюцию в живой природе, сколь бы абстрактным и санированным это насилие ни было в контексте цивилизации. Соревновательный дух практически осязаем и в информатике, и в шахматах, а когда их совмещают, адреналин просто захлестывает.

Для исследователей в области информатики шахматы привлекательны именно потому, что мы плохо в них играем. С нашей точки зрения, мозг человека обычно выполняет задачи, которые кажутся невыполнимыми, например распознает предложения, — однако мы не проводим состязаний по распознаванию предложений, поскольку эта задача кажется нам слишком простой и тривиальной.

Похожим образом нас очаровывают и расстраивают компьютеры. Научиться программировать могут и дети, тем не менее хорошо программировать чрезвычайно трудно даже для признанного профессионала. Несмотря на очевидный потенциал компьютеров, мы слишком хорошо знаем, что еще не придумали лучших программ для него.

Но всего этого недостаточно, чтобы объяснить выражение страха в обществе по случаю победы Deep Blue в мае 1997 года над чемпионом мира по шахматам Гарри Каспаровым как раз в тот момент, когда веб впервые начал оказывать заметное влияние на массовую культуру. Несмотря на шумиху в старых средствах массовой информации, было понятно, что публика реагировала искренне, и это чувство было глубоким. Тысячелетия мастерство игры в шахматы означало наивысший, наиболее чистый вид разума — а теперь компьютер мог играть лучше самого искусного человека.

Было много разговоров о том, остаются ли человеческие существа особенными и не становятся ли компьютеры равными нам. Сегодня такого рода новости не попали бы на первые полосы газет — способ мышления искусственного интеллекта настолько вбит в человеческую голову, что эти новости выглядели бы устаревшими. Но способ подачи события в стиле искусственного интеллекта был неудачен. На самом деле команда ученых построила очень быструю машину и нашла лучший способ представления проблемы выбора следующего хода в шахматной игре. Люди, а не машины сделали возможным это достижение.

Главной победой команды Deep Blue были ясность и элегантность мышления. Чтобы компьютер смог победить чемпиона мира по шахматам, необходимо, чтобы совпали два рода достижений: рост вычислительной мощности оборудования и повышение сложности и четкости, с которыми ведение шахматной игры представлено в программном обеспечении. Этот двойной путь затруднил предсказание точного времени, но не неизбежности триумфа компьютера.

Если бы команда Deep Blue не была столь успешна в решении программной задачи, компьютер все равно бы победил позже — просто за счет огромной вычислительной мощности. Таким образом, интрига была не в том, выиграет ли когда-либо компьютер у лучшего игрока-человека, а в том, какую роль в этом будет играть элегантность программирования. Deep Blue победил быстрее, чем мог бы, заработав тем самым очко в пользу элегантности.

Реакция общества на проигрыш Каспарова поставила важный вопрос перед сообществом исследователей в области информатики. Стоит ли описывать компьютеры как разумные или человекоподобные в каком-либо смысле? Проясняет ли такое представление истинную роль компьютеров в нашей жизни или, наоборот, размывает ее?

Всякий раз, когда компьютер представляют разумным, люди игнорируют некоторые аспекты проблемы, чтобы исключить из рассмотрения все, к чему компьютер слеп. В случае турнира Deep Blue — Каспаров это случилось с шахматами.

У шахмат есть аспект, который несколько роднит их с покером, — наблюдение за оппонентом, проекция уверенности. Несмотря на то что написать программу для «игры» в покер сравнительно просто по сравнению с программой для игры в шахматы, покер остается игрой, где главную роль несут тонкости невербальной коммуникации между людьми — блеф, искусство скрывать эмоции и понимать психологию оппонента и знание того, как вести себя в соответствии с полученной информацией. В результате победы Deep Blue покерную часть шахмат затмил абстрактный, алгоритмический аспект, хотя, по иронии, Каспаров проиграл именно в покерном аспекте.

По-видимому, Каспаров позволил компьютеру запугать себя, даже после того, как он показал, что способен иногда и выигрывать. Он мог выиграть, если бы играл с человеком, обладающим такими же способностями выбора хода, что и Deep Blue (по крайней мере Deep Blue версии 1997 года). Вместо этого Каспаров увидел каменное лицо там, где на самом деле абсолютно ничего не было. Хотя состязание не задумывалось как тест Тюринга, оно стало им, и Каспаров был обманут.

Как я уже упоминал, идея искусственного интеллекта переместила психологическую проекцию хороших качеств с программного обеспечения на другой объект: компьютер + толпа. Поэтому в 1999 году собралась википодобная группа, включая чемпионов по шахматам, чтобы сыграть с Каспаровым в онлайн-игру под названием «Каспаров против всех». Каспаров победил, и многие полагают, что лишь благодаря разногласиям участников группы. Мы, технологи, непрестанно интересуемся ритуалами, в которых пытаемся представить себе, что люди устарели.

Приписывание разума машинам, скоплениям фрагментов или другим божествам умников скрывает больше, чем показывает. Когда людям говорят, что компьютер разумен, они склонны изменять себя, чтобы казалось, будто компьютер работает лучше, а не требовать изменения компьютера для улучшения его работы. Люди уже склонны уступать компьютерам, виня себя в том, что цифровым гаджетом или онлайн-сервисом неудобно пользоваться.

Рассмотрение компьютера в качестве разумной, автономной сущности приводит к перевертыванию процесса разработки с ног на голову. Мы не можем себе позволить настолько почитать свои собственные творения.

Круг сопереживания

Самое важное, что надо знать о любой технологии, — как она меняет людей. Чтобы ответить на этот вопрос, я много лет пользовался мысленным приемом, который называю «круг сопереживания». Может быть, он окажется полезным и для вас. (Философ из Принстона Питер Сингер, часто упоминаемый в связи с правами животных, пользуется похожей терминологией и идеей, что на первый взгляд кажется простым совпадением.)

Воображаемый круг сопереживания каждый для себя строит сам. Этот круг ограничивает расстояние вокруг человека и включает те сущности, которые заслуживают сопереживания. Мне нравится термин «сопереживание», потому что в нем есть духовные нотки. Термины вроде «симпатия» или «лояльность» могли бы быть более точными, но я хотел, чтобы мой термин был слегка мистическим. Он должен как бы намекать, что мы не способны полностью осознать то, что происходит между нами и другими, что мы всегда должны оставлять возможность представления отношений в цифровой базе данных.

Если кто-то попадает в ваш круг сопереживания, вы вряд ли захотите увидеть, как его или ее убьют. Но то, что вне круга, — законный объект нападения. Например, многие поместят всех остальных людей внутрь круга, но большинство будет радо смерти бактерий, например, когда мы чистим зубы. И уж совершенно точно никто не будет беспокоиться по поводу бездушного камня, отброшенного с тропы.

Подвох в том, что некоторые сущности находятся близко к границе круга. Главные противоречия часто вызывает вопрос, должно ли что-то находиться внутри круга или сразу за ним. Например, идея рабства основана на том, что раба помещают вне круга, таким образом как бы делая его неодушевленным. Расширение круга так, чтобы включить всех людей и покончить с рабством, — одно из главных эпических противостояний в человеческой истории, и оно еще не вполне завершено.

Множество других противоречий хорошо описываются этой моделью. Борьба вокруг абортов по существу есть поиск ответа на вопрос, должен плод или эмбрион быть помещен внутрь круга или нет. Спор о правах животных задает тот же вопрос относительно братьев наших меньших.

Когда вы меняете содержимое вашего круга, вы меняете и концепцию самого себя. Центр круга смещается по мере того, как меняется его периметр. Либеральным импульсом является расширение круга, тогда как консерваторы стремятся ограничить рост круга или даже обратить этот рост вспять.

Инфляция сопереживания и метафизическая неопределенность

Существуют ли разумные причины того, чтобы не расширять круг сопереживания? Ответ положительный.

Бесконечное расширение круга сопереживания способно привести к угнетению, так как права потенциальных сущностей (как считают некоторые люди) могут вступить в противоречие с правами безусловно реальных людей. Очевидный пример этого — споры вокруг абортов. Если бы законодательное запрещение абортов не подразумевало власть над телами других людей (в данном случае — беременных женщин), то и больших противоречий не было бы. Мы бы быстро приспособились.

Расширение сопереживания может приводить к меньшему, но все равно существенному злу некомпетентности, упрощения, нечестности и нарциссизма. К примеру, вы не можете жить, не убивая бактерий. Не спроецируете ли вы свои собственные фантазии на одноклеточные организмы, которые в лучшем случае будут к ним безразличны? И получится, что дело в вас, а не в целях расширения круга? Начнете ли вы уничтожать чужие зубные щетки? Вы же не думаете, что спасенные вами бактерии морально эквивалентны бывшим рабам, а если думаете, не умаляете ли вы статус тех людей? Даже если вы можете с чистой совестью следовать своему стремлению освободить и защитить бактерии мира, не игнорируете ли вы реальность, зависимость друг от друга и мимолетность всего сущего? Вы можете стараться не уничтожать бактерии в некоторых конкретных случаях, но вы вынуждены убивать их, чтобы жить. И даже если вы готовы умереть за свои убеждения, вы не в состоянии предотвратить разложение вашего тела бактериями после вашей смерти.

Очевидно, пример с бактериями доведен до абсурда, но он показывает, что круг сопереживания имеет смысл только тогда, когда он ограничен. Если мы теряем конечность, мы теряем наши собственные центр и идентичность. Выдумка о фронте за освобождение бактерий может служить пародией на любое экстремистское движение как левого, так и правого толка.

В то же самое время я вынужден признать, что не в состоянии занять определенную позицию касаемо многих наиболее известных противоречий. Например, я целиком за права животных, но только лишь потому, что ханжа. Я ем курицу, но не могу есть головоногих — осьминогов и кальмаров, потому что безмерно восхищен их неврологической эволюцией. (Головоногие, кроме всего прочего, заставляют задуматься об отдаленном будущем технологий, которое избегает некоторых моральных дилемм, об этом я расскажу позже.)

Как я определяю свой круг? Я просто провел время с различными видами и решил, входят они в мой круг или нет. Я выращивал кур и как-то не чувствовал сопереживания к ним. Они немногим большее, чем пернатые механизмы с сервоприводами, особенно если сравнивать их с козами, которых я тоже выращивал и не стану есть. С другой стороны, мой коллега, исследователь в области виртуальной реальности Адриан Чеок, ощущает такое сопереживание к курам, что построил для них специальные костюмы телепогружения, чтобы дистанционно приласкать их прямо с работы. Всем приходится мириться с несовершенством возможности проводить четкие границы кругов сопереживания. Всегда будут случаи, когда разумные люди не смогут согласиться друг с другом. Но я не заставляю других людей не есть головоногих или коз.

Границу между личностью и неличностью можно найти где-то в эмбриональном развитии от зачатия до рождения или в развитии ребенка или подростка. Или эти границы лучше всего определять на философско-генетическом пути развития раннего человека, а может, в истории культуры древних крестьян, ставших современными горожанами. Граница может существовать где-то в континууме между маленькими и большими компьютерами. Может быть, она связана с вашими мыслями; может, способность к самокопанию или сопереживанию делает вас человеком. Вот лишь некоторые из многих предлагаемых способов определения личности. Но ни один из них не кажется мне оптимальным. Границы личности остаются размытыми и неоднородными.

Ограничение круга

То, что мы не можем точно определить, где должны располагаться границы круга сопереживания, не означает, что мы не в состоянии узнать о нем вообще ничего. А то, что мы можем быть лишь приблизительно моральны, не означает, что вообще не надо стремиться быть моральным. Термин «мораль» обычно используется для описания нашего отношения к другим людям, но в данном случае я применяю его в равной степени и к нам самим.

Доминирующая открытая цифровая культура придает обработке информации роль эмбриона в понимании религиозного права или бактерий в моей доведенной до абсурда фантазии. Это классическая ошибка, но последствия у нее новые. Я опасаюсь, что мы начинаем изменять себя таким образом, чтобы подходить под цифровые модели нас, и меня беспокоит вымывание сопереживания и человечности в ходе этого процесса.

Права эмбриона основаны на экстраполяции, тогда как права нормальной взрослой личности очевидны настолько, насколько вообще возможно, ведь личность говорит сама за себя. Существует множество примеров, когда трудно решить, что делать с верой в личность, поскольку обсуждаемая сущность, возможно, и заслуживает сопереживания, но не способна говорить сама за себя.

Должны ли права животных быть такими же, как права людей? Существуют и особенные опасности, когда некоторые люди слышат голоса, которые не слышат другие, и расширяют свой круг сопереживания. Это как раз те случаи, которые надо оставить людям, близким к конкретной ситуации, если такое вообще возможно. В противном случае мы погубим общую свободу, навязывая друг другу метафизические идеи.

В случае рабства оказалось, что рабы, как только у них появился шанс, не просто смогли говорить за себя, но сделали это очень хорошо. Несомненно, Моисей был личностью. Потомки более поздних рабов, как Мартин Лютер Кинг, демонстрировали необыкновенные красноречие и сопереживание.

Новое веяние в Кремниевой долине выражается в том, что некоторые люди — очень влиятельные люди — верят, будто слышат, как алгоритмы, толпы и другие нечеловеческие, существующие в Сети сущности говорят сами за себя. Однако я таких голосов не слышу и уверен, что те, кто слышит, обманывают себя.

Мысленные эксперименты: корабль Тесея встречается с бесконечной библиотекой Борхеса

Чтобы помочь вам научиться подвергать сомнению фантазии кибернетических тоталистов, предлагаю дуэль двух мысленных экспериментов.

Первый известен уже давно. Как рассказывает Дэниел Деннет, представьте программу, которая может симулировать нейрон или даже сеть нейронов. (Такие программы существуют давно и стали вполне качественными.) Теперь представьте крошечное беспроводное устройство, которое может посылать сигналы нейронам мозга и получать их. Грубые устройства, напоминающие эти, тоже уже существуют; в прошлом я помогал Джо Розену, реконструктивному пластическому хирургу из Дартмутской медицинской школы, создать подобное устройство — «нервный чип», и это была одна из первых попыток передать сигнал в обход поврежденного участка, используя протезы.

Чтобы начать мысленный эксперимент, наймите нейрохирурга, который вскроет ваш череп. Если это неудобно, проглотите наноробота, который умеет проводить операции на мозге. Замените нерв вашего мозга одним из этих беспроводных устройств. (Даже если бы такие устройства довели до совершенства, сегодня было бы невозможно их соединить. Искусственный нейрон должен был бы задействовать все те же синапсы — в среднем около семи тысяч, — что и удаленный биологический нерв.)

Затем искусственный нейрон соединяется по беспроводной связи с симуляцией нейрона в находящемся неподалеку компьютере. Каждый нейрон обладает уникальными химическими и структурными характеристиками, которые должны быть учтены в программе. Проделайте эту процедуру с остальными нейронами своего мозга. В человеческом мозге от 100 до 200 миллиардов нейронов, так что, если тратить хотя бы по одной секунде на нейрон, процедура займет десятки тысяч лет.

А теперь главный вопрос: после того как процесс завершен, вы все еще разумное существо?

Более того, поскольку за динамику вашего мозга полностью отвечает компьютер, вы можете забыть о физических искусственных нейронах и позволить программам, имитирующим нейроны, соединяться друг с другом. Теперь используется только программное обеспечение. Стал ли компьютер личностью? Если вы верите в разум, находится ли теперь ваш разум в компьютере или, возможно, в программном обеспечении? Этот же вопрос можно задать в отношении души, если вы верите в душу.

Больше Борхеса

Вот второй мысленный эксперимент. Он касается того же вопроса, но с другой стороны. Вместо того чтобы менять программу в компьютере, он меняет его конструкцию.

Для начала представьте замечательную технологию: массив летающих лазерных сканеров, который может измерить траектории градин в грозу. Сканеры отправляют всю информацию о траекториях на ваш компьютер посредством беспроводной связи.

Что можно сделать с этими данными? По счастью, в эксперименте есть замечательный магазин для гиков, Самый Большой Компьютерный Магазин, в котором продают компьютеры разнообразных конфигураций. Проще говоря, в нем есть все возможные компьютеры, за исключением некоторых, на самом деле имеющих очень большое количество логических схем.

Вы приходите в магазин с программой. Продавец выдает вам тележку, и вы начинаете примерять свою программу на разные компьютеры. Иногда вам везет, и программа, которую вы принесли из дома, запускается и разумное время работает без сбоев. Когда это происходит, вы кладете компьютер в тележку.

В качестве программы вы можете использовать даже данные о траекториях градин. Вспомните, что программа — не более чем список цифр; в Самом Большом Магазине Компьютеров должен найтись компьютер, на котором она запустится! Странно, что на каждом компьютере, на котором данные о траекториях градин запускаются как программа, эта программа работает по-разному.

Спустя некоторое время у вас есть несколько миллионов текстовых редакторов, удивительные видеоигры и еще куча программ для подготовки налоговой отчетности — вот вам результат запуска одной программы на компьютерах разной конфигурации. Это требует времени; в реальном мире вселенная, вероятно, не станет поддерживать условия для жизни достаточно долго, чтобы вы успели совершить покупку. Но мы проводим мысленный эксперимент, поэтому не привередничайте.

Дальше все просто. После того как вы заполнили тележку массой компьютеров, на которых запускаются данные о траекториях градин, присядьте в кафетерии магазина. Включите компьютер из первого мысленного эксперимента — тот, что воспроизводит ваш мозг. Теперь переберите все купленные компьютеры и сравните то, что каждый из них делает, с тем, что делает компьютер из первого эксперимента. Продолжайте, пока не найдете компьютер, который обрабатывает данные о траектории града так же, как программа, эквивалентная вашему мозгу.

Как вы узнаете, когда такой компьютер будет найден? Существует бесконечное множество вариантов. По математическим причинам вы никогда не можете быть абсолютно уверены, что именно делает большая программа и не возникнет ли ошибка. Но если вы нашли способ удовлетвориться качеством работы программы, имитирующей нейроны из первого эксперимента, значит, вы уже выбрали метод, с помощью которого примерно оцените большую программу. Или вы можете даже найти в своей тележке компьютер, который интерпретирует движение градин в произвольно заданный отрезок времени в точности так же, как программа активности мозга. Таким образом, динамика градин совпадает с программой мозга более чем в один отдельно взятый момент времени.

После того как вы проделали все это, стала ли гроза разумной? А душа у нее есть?

Метафизическая игра в наперстки

Альтернатива посыпания волшебной пылью людей — сыпать ее на компьютеры, цифровой улей-мозг, облако, алгоритм или иной кибернетический объект. Тут самое время задать вопрос: какой из вариантов безумнее?

Если вы пытаетесь убедить себя, что в таком понятии, как сознание, нет ничего волшебного, волшебство, которое в нем присутствует, может неожиданно возникнуть в ином месте в самый неподходящий момент и повредить вашей объективности ученого. Вы ввязываетесь в метафизическую игру в наперстки, от которой голова пойдет кругом. Например, вы можете предположить, что сознание — это иллюзия, однако по определению сознание — это понятие, которое не становится менее значимым, даже если оно иллюзия.

Сознание и время неким образом взаимосвязаны. Если вы попытаетесь удалить из сознания потенциальный намек на волшебство, вы придете к абсурдному приписыванию волшебных качеств времени.

Сознание находится во времени, потому что вы не можете испытать отсутствие времени и не можете изведать будущее. Если сознание — это не более чем ложные мысли в компьютере, которым является ваш мозг или вселенная, тогда что же такое находится во времени? Настоящий момент — единственное, что могло бы в нем находиться, — должен в таком случае быть автономным объектом, независимым от того, как он ощущается.

Вследствие относительности и латентности мыслей, возникающих в мозгу, с научной точки зрения настоящий момент является примерным понятием. У нас нет возможности определить как отдельный глобальный физический, так и конкретный когнитивный настоящий момент. Однако должна существовать точка отсчета, пусть даже очень неопределенная, чтобы появилась возможность вообще говорить на эту тему.

Вероятно, вы можете вообразить себе настоящий момент как метафизическую метку, путешествующую сквозь вневременную версию реальности, в которой прошлое и будущее уже «зафиксированы», как записывающую головку, движущуюся по жесткому диску.

Если вы уверены, что ощущение времени является иллюзией, то все, что у вас остается, — это само время. Нечто должно находиться в чем-то вроде метавремени, чтобы иллюзия настоящего момента имела место быть. Вы убеждаете себя, что время само путешествует сквозь реальность. Это абсурдная, закольцованная мысль.

Называть сознание иллюзией значит придавать времени сверхъестественное качество. Возможно, это некий призрачный недетерминизм. Либо вы можете выбрать другой стаканчик в игре и сказать, что время это естественно (не сверхъестественно), а настоящий момент — всего лишь вероятная концепция, возникшая благодаря сознанию.

Волшебную сущность можно тасовать как угодно, но когда остается волшебный след, лучше было бы просто ее принять, чтобы иметь возможность максимально ясно говорить о множестве вещей, которые действительно можно методично изучать или конструировать.

Признаю, когда вы допускаете законность существования метафизической идеи (например, потенциальную возможность сознания быть чем-то за пределами вычислений), возникает определенная опасность. Как бы вы ни старались не наполнять волшебство суевериями, вы можете подтолкнуть некоторых фундаменталистов или романтиков новой эры проповедовать странные убеждения. «Какой-то компьютерный гений в дредах говорит, что сознание может быть больше, чем компьютер? Значит, моя пищевая добавка точно работает!»

Однако в том, что инженер притворяется, будто знает больше, чем на самом деле, есть гораздо более серьезная опасность, особенно когда он может подкрепить иллюзию вычислениями. Кибернетические тоталитаристы, ожидающие пришествия сингулярности, безумнее, чем приверженцы пищевых добавок.

Армия зомби

Проникают ли фундаментально метафизические — или предположительно антиметафизические — поверья в практические аспекты нашего мышления или личности? Да, проникают. Они могут превратить личность в то, что философы называют зомби.