Кивино гнездо: Беззаконие роботехники (окончание) Киви Берд

Кивино гнездо: Беззаконие роботехники (окончание)

Киви Берд

Опубликовано 28 декабря 2011 года

- Вторая часть статьи. Начало читайте здесь.

Проблема: нежелательный пиар-эффект от применения роботов

Одна из главных проблем с применением роботов на войне — это зачастую негативное отношение людей к подобной технике, особенно в тех странах, где её применяют.

Патрик Лин признает, что сегодня всё чаще слышны критика и слова о том, что использование дронов в войне или миротворческих миссиях не помогает Америке «завоевать сердца и умы» местного населения. Например, быстро стало ясно, что естественное желание американцев отправить своих роботов патрулировать Багдад ради поддержания мира и спокойствия в городе воспринималось бы населением просто как нежелание «освободителей» физически контактировать с местным населением.

Что же касается применения дронов в боевых действиях, то противники США регулярно изображают американцев как нечестных и трусливых — за откровенное нежелание вступать при сражении в непосредственные контакты человека с человеком.

Американские аналитики признают, что этот аспект боевой роботехники играет на руку противникам — подпитывает их пропаганду, в итоге приводя к появлению новых боевиков и террористов.

Ещё один источник проблем — грубые и неуклюжие попытки сформировать позитивный образ боевых роботов в глазах американской общественности и международного сообщества.

В качестве примера Лин приводит транслировавшееся не так давно интервью по телевидению, в котором один из высокопоставленных американских военных отвечал на озабоченность общества тем, что дроны делают войну чересчур простым и лёгким занятием. Опасение людей вызывает то, что с помощью таких дронов-самолётов, вооружённых ракетами, их операторы, находящиеся за многие тысячи километров в комфортной и абсолютно безопасной обстановке, способны наносить смертоносные удары по целям, которые для них ничем не отличаются от антуража видеоигры.

Отвечая на эту озабоченность, военный начальник не придумал ничего умнее, чем уподобить применение дронов США действиям библейского героя Давида, который использовал пущенный из пращи камень для победы над гигантом Голиафом. По мнению этого военного мыслителя, раз Священное писание подразумевает право Давида на использование метательного орудия, значит, оно оправдывает и американские дроны, вооружённые ракетами.

Даже оставляя в стороне саму логику столь сомнительной аргументации, несложно сообразить, что отсыл к религиозным текстам для обоснования своей правоты в нынешних военных конфликтах не может приводить ни к чему иному, кроме как к дополнительному усилению трений и разжиганию ненависти.

Проблема: допустимые сопутствующие потери

Ещё одна проблема, связанная с применением военных роботов: дроны, вооружённые ракетами и другим оружием летального действия, могут не соблюдать международных законов о гуманном поведении при боевых действиях. То есть, иначе говоря, общепринятых законов войны.

Например, критики боевой роботехники отмечают, что нельзя позволять роботам принимать свои собственные решения об атаке, потому что роботы не имеют технической возможности отличать сражающихся от тех, кто не участвует в сражении. То есть роботы не отвечают «принципу различения», который имеется в документах вроде Женевской конвенции.

Этот принцип требует, чтобы оружие никогда не было нацелено на тех, кто не участвует в сражении. Однако неоспоримо, что для робота чрезвычайно сложно отличить террориста, направившего на него свою пушку, от, скажем, девчушки, указывающей на него рожком с мороженым. Хуже того, в реальных условиях сегодняшних войн даже людям порой бывает чрезвычайно непросто соблюдать этот принцип, поскольку боевик в Афганистане, скажем, легко может выглядеть точно так же, как обычный местный пастух, нередко имеющий при себе автомат AK-47, чтобы защищать свое стадо коз.

Другой предмет для серьёзнейшего беспокойства — то, что использование летальных роботов легко оборачивается непропорциональным применением силы относительно масштаба военной задачи. Имеются в виду так называемые «сопутствующие потери» или непреднамеренные смерти оказавшихся поблизости и ни в чём не повинных гражданских людей. Сегодня на Ближнем Востоке такое происходит сплошь и рядом — при ударах ракетами Hellfire, запускаемыми с борта дрона-самолёта Reaper для уничтожения ещё кого-то из выслеженных предводителей противников.

Спрашивается: какова «приемлемая степень» соотношения убитых невинных людей за каждого ликвидированного таким вот манером «плохого человека»? Два к одному? Или десять к одному? А может быть, и пятьдесят к одному?

Мало того, что никто и нигде в международном законодательстве не зафиксировал это численное соотношение. И тянется эта неопределённость, естественно, неслучайно. По свидетельству Лина, руководители некоторых стран вполне допускают ситуацию, при которой уничтожение врага ценится настолько высоко, когда соотношение «тысяча к одному» или даже больше того кажется допустимым в качестве «сопутствующих потерь".

Проблема: размытие границы между шпионажем и войной

Переходя к теме, особо актуальной для разведывательного сообщества, эксперт подчёркивает, что линия раздела между войной и шпионажем ныне становится всё более и более размытой.

Исторически складывалось так, что шпионаж не принято рассматривать в качестве подобающей причины для вступления в войну, поскольку война традиционно определяется как вооружённый физический конфликт между политическими сообществами.

Однако по той причине, что ныне всё больше и больше ценностей государства оказывается или в цифровой форме, или основано на информации, то делается вывод и о возможностях теперь атаковать — и соответственно быть атакованными — с помощью «некинетических» средств вооружения, то есть посредством кибероружия, которое выводит из строя компьютерные системы противника или похищает важную для него информацию.

Непосредственным отражением этих идей стало то, что в 2011 году США объявили как часть своей киберполитики задекларированное право «реагировать применением кинетического оружия в ответ на некинетическую атаку».

Проецируя все эти тенденции на конкретную тему о роботехнике в войне и шпионаже, можно отметить следующие проблемы. Если линия раздела между шпионажем и войной становится всё более размытой, а для шпионажа используется робот, то при каких условиях это можно считать актом войны?

Например, вполне реалистичная ситуация: если шпионский робот, пытаясь избежать захвата, случайно нанесёт на чужой территории вред иностранному гражданину? Может ли это событие стать искрой для начала вооружённого конфликта? Или совсем правдоподобный сценарий: что было бы, если бы при недавнем случае с дроном ЦРУ, захваченным в Иране, он случайно упал на школу или военную базу?

Проблема: ответственность

Несчастные случаи с роботами — это абсолютно правдоподобный и вероятный сценарий происшествий, уже ныне случающихся повсеместно.

В сентябре 2011 небольшой разведывательный дрон-самолёт RQ-Shadow столкнулся с военным транспортным самолётом в Афганистане, заставив того совершить аварийную посадку. Летом нынешнего года при тестовом полёте боевого дрона-вертолёта MQ-8B Fire Scout в США его операторы потеряли управление роботом примерно на полчаса, в течение которых машина пролетела свыше 20 миль в направлении строго ограниченного для полётов воздушного пространства вокруг Вашингтона. Несколько лет тому назад в Южной Африке, при демонстрации новой пушки-робота «Эрликон», способной автоматически поражать цели ПВО, произошёл технический сбой, из-за которого робот открыл огонь по окружающим его людям, убив девять человек и ранив ещё четырнадцать.

Ошибки и несчастные случаи, как известно, происходят с технологиями все время. Поэтому было бы крайне наивно предполагать, что столь сложная вещь, как робот, может быть сделана с гарантированным иммунитетом к подобным проблемам.

Более того, внедряемые ныне боевые роботы с некоторой степенью автономности в своих решениях поднимают закономерные вопросы о том, кто должен нести бремя ответственности за возможный вред и ущерб, наносимый роботом. Даже если этот ущерб наносится случайно, а не предумышленно.

Понятно вроде бы, что сам робот никакой ответственности понести не может (впрочем, кому-то, судя по комментариям Патрика Лина, даже эта мысль отнюдь не представляется совершенно очевидной). Кто тогда должен отвечать? Оператор, запустивший машину? Или программисты, писавшие софт для роботовых «мозгов»? Или же фирма-изготовитель машины? А может, отвечать должен продавец?

Уже сейчас просматриваются намёки на то, что изготовители роботов будут пытаться заранее освободить себя от всякой ответственности. По той же примерно схеме, как это делают в софтверной индустрии с помощью EULA или лицензионного соглашения с конечным пользователем, с которым все наверняка знакомы, поскольку обязаны принять его в качестве обязательного условия при начале использования нового программного обеспечения.

Или же пользователям роботов следует с самого начала категорически настаивать на том, что данные продукты должны быть самым тщательным образом протестированы со стороны изготовителя и иметь доказанную сертификатом «безопасность»?

Это, по идее, выглядит более логично при эксплуатации столь критичного к сбоям оборудования. Например, только представьте себе, что вы при покупке автомобиля обязаны подписать EULA, которое возлагает на вас — как конечного пользователя — всю ответственность за любые возможные сбои в работе механической и электронно-компьютерной частей машины...

Пока что ни все конкретно перечисленные здесь проблемы, ни многие другие из описанных в полном тексте обзора Патрика Лина не решены практически никак.

Хотя явно уже пора ими заняться.

К оглавлению