АНАЛИЗЫ: Троянское обучение в информационных технологиях
АНАЛИЗЫ: Троянское обучение в информационных технологиях
Автор: Александр Поддьяков
"Способность учиться быстрее своих конкурентов является единственным надежным источником превосходства над ними". Эта мысль Ари де Гиуса (Arie de Geus), бывшего регионального управляющего компании Royal Dutch/Shell, председателя Англо-Голландской торговой палаты развивает знаменитое бэконовское высказывание "Знание - сила" и быстро покоряет мир.
Общий закон конкуренции состоит в том, что конкурентных преимуществ можно достигать двумя путями:
а) усиливая свой собственный потенциал;
б) ослабляя соперника.
Если способность к обучению становится критически важной в конкурентной борьбе, начинается реализация обоих путей - безотносительно к тому, что в учебниках педагогики обучение рассматривается как деятельность, направленная на всеобщее благо, а тот же Ари де Гиус пишет лишь о важности способностей учиться, а вовсе не способностей мешать это делать другим. (Простим ему этот романтический идеализм, так свойственный управляющим нефтяными компаниями.)
Но давайте обратим внимание на обратную сторону конкурентной борьбы в обучении и на тех, кто убежден, что способность тормозить обучение конкурентов или же направлять его не туда, куда надо, - тоже вполне надежный источник превосходства над ними. Рассмотрим проблему противодействия обучению соперников, причем в двух сферах: а) взаимодействия людей - участников конкурентной борьбы в области информационных технологий; б) взаимодействия систем искусственного интеллекта.
Жизнь человеческая
Наблюдения и специально проводимые исследования показывают: в реальной жизни случаи противодействия обучению конкурента встречаются в самых разных возрастных, социальных, профессиональных группах - важно, чтобы в их деятельности была конкуренция, ощущаемая участниками как значимая с той или иной точки зрения. Даже дети могут учить новичков заведомо проигрышным стратегиям игры, чтобы выигрывать самим; профессионалы - преднамеренно давать другим неправильные или невыгодные советы, рецепты, инструкции и т. д. Приведем некоторые примеры.
В фирме, занимающейся изготовлением и продажей телекоммуникационного оборудования, руководитель отдела по работе с клиентами, ответственный в том числе за их обучение обращению с этой сложной техникой, получил следующую инструкцию от директора фирмы. Директор сказал, что к ним под видом клиентов могут обращаться конкуренты - для выведывания секретов. Поэтому учить всех приходящих надо так, чтобы они ничему существенному не научились (кроме нажимания кнопок на внешней панели). В случае проблем клиент всегда может обратиться в саму фирму, где все и будет налажено. Этот пример интересен тем, что здесь один человек учит другого (нижестоящего учителя), как тому не учить своих учеников. Тем самым нижестоящий учитель ставится в сложное положение, способное вызвать внутриличностный конфликт.
В вышеприведенном случае противодействие обучению вызвано соображениями секретности и подчиняется принципу: тот, кто выступает в роли обучаемого, "должен знать и уметь только то, что ему положено знать и уметь - лишние знания и умения недопустимы (вредны)".[Малюк А. А., Погожин Н. С., Толстой А. И. Обучение вопросам компьютерной безопасности специалистов-профессионалов и персонала, связанного с противодействием компьютерным атакам. Доклад на российско-американском семинаре по проблемам компьютерного терроризма. 18 марта 2003 г., Президиум РАН, Москва.] Такого дидактического принципа не найти в традиционных учебниках педагогики, где вопрос недопущения учащегося к знаниям показался бы нонсенсом!
Однако в реальном бизнесе при слиянии фирм в альянсы одна из них может специально играть роль так называемого троянского коня, чтобы в период нахождения в альянсе, в процессе скрытого или явного обучения другой фирмой - членом альянса, получить у той скрываемую технологическую и иную информацию. После чего разорвать альянс и выйти на рынок более конкурентоспособной. В свою очередь, другая фирма, закономерно предполагая возможность и такого варианта развития событий, принимает меры защиты от этого несанкционированного ею приобретения знаний членом альянса.[Гарретт Б., Дюссож П. Стратегические альянсы. - М.: ИНФРА-М, 2002. Dussauge P., Garrette B., Mitchell W. Learning from competing partners: outcomes and durations of scale and link alliances in Europe, North America and Asia // Strategic management journal. 2000. V. 21. P. 99–126.] Это одна из сторон управления знаниями в конкурентной борьбе.
Троянское обучение
Особый интерес представляет скрытое обучение другого субъекта тому, что для него невыгодно, вредно, опасно, но соответствует интересам организатора обучения. Для описания и анализа этого явления в 2002 году я ввел понятие "троянское обучение" и "троянские обучающие технологии"[Поддьяков А.Н. Ориентировочная и дезориентирующая основы деятельности: иерархии целей обучения в конфликтующих системах // Вопросы психологии. 2002. № 5. С. 79-8 Поддьяков А.Н. Противодействие обучению конкурента и "троянское" обучение в экономическом поведении // Психология. Журнал Высшей школы экономики. 2004. №3. С. 65-82. Poddiakov A. "Trojan horse" teaching in economic behavior // Social Science Research Network, 2004.] (образовано на основе метафоры "троянского коня"). Приведу примеры этого феномена из разных областей.
Даже в сказках, этих общекультурных формах накопления и передачи значимого социального опыта, которые усваиваются с раннего детства, широко представлены ситуации, когда одни персонажи учат других тому, что для последних невыгодно или опасно: Баба-Яга учит Иванушку садиться на лопату, чтобы засунуть его в печь; лиса учит волка ловить рыбу на собственный хвост в проруби; Братец Кролик учит Братца Лиса, как вести себя покойнику при появлении соболезнующих друзей, и т. д. Тем проще повзрослевшим людям в зрелом возрасте пойти этим же путем…
Особенно уязвимым для троянского обучения оказывается удаленное обучение. Ведь здесь разные участники образовательного процесса получают намного более широкие возможности для скрытого вторжения в учебный процесс конкурента, искажения или подмены учебного материала и т. п. Наиболее яркие примеры можно найти в областях, связанных с интернет-обучением военным видам деятельности.
Сотрудница Контртеррористического института Я. Шахар подчеркивает: "Нам очень важно знать, чему они [террористы. - А.П.] учат друг друга. В форумах, на сайтах мы видим оружие, которое они предпочитают… В таких случаях мы можем вмешаться в дискуссию и сказать: нет, это неэффективно, лучше попробуйте вот это. Это же открытый университет - что-то вроде Википедии. Можно подсказать им идею глушителя, но такого, что размер слишком мал. И предложить испытать его со студентами, посмотреть, как он работает. То же со взрывчаткой: легко придумать новые варианты состава, выложить на сайт открытого университета - и на следующий день посмотреть, у кого не хватает пальцев на руках".[Левкович-Маслюк Л. Инструктаж // Компьютерра. #693-694.]
Таким образом, можно видеть, что технологии противодействия обучению соперников и троянского обучения развиваются в тесной связи с развитием технологий, стимулирующих обучение.
В целом можно утверждать, что цивилизация развивается под влиянием двух противоположных и взаимосвязанных направлений социальных воздействий: а) стимулирования обучения и развития интеллекта; б) противодействия им. Безусловно, это в первую очередь относится к обществу знаний - в нем удар по способности учиться, по процессам обучения и овладения новыми видами деятельности является одним из самых эффективных способов сделать конкурента несостоятельным в стремительно меняющемся мире [Поддьяков А.Н. Психология конкуренции в обучении. - М.: Изд. дом ГУ-ВШЭ, 2006. ]
Обратимся к недавней истории. Джеймс Олсон (James Olson) приводит примеры того, как странам с враждебными режимами, пытающимся нелегально получить мощные компьютеры, запрещенные к продаже, давали возможность украсть или купить предварительно подготовленную компьютерную систему со специальными "закладками" ("логическими бомбами"), которые приводили, например, к опасным скачкам давления в трубопроводе, находящемся под контролем этой системы, или к другим нештатным, потенциально опасным ситуациям.[Olson J. Fair play: the moral dilemmas of spying. Washington: Potomac Books, 2006. ]Олсон не анализирует эти относительно недавние ситуации с точки зрения развития компьютерных технологий, его интересуют моральные дилеммы. Но мы обратимся именно к возможному развитию компьютерных технологий.
Нет сомнений, что подобные ситуации могут повторяться, но уже на новом витке. Если в будущем способность интеллектуальных систем обучаться станет критически важной характеристикой, дающей значительное конкурентное преимущество, то с большой вероятностью обладатели этих систем введут те или иные ограничения и запреты на доступ к ним, на их приобретение и т. д. А тем субъектам, кто попытается нелегально обойти эти ограничения, время от времени будут предлагаться системы с "троянской начинкой" - но уже в отношении способности учиться. Это могут быть системы, чьи способности к обучению ниже ожидаемых, обучающиеся не совсем тому или даже совсем не тому, что нужно пользователю, и т. д.
Обучение и системы искусственного интеллекта
Предварительно подчеркнем: говорить о противодействии обучению технической системы, "межкомпьютерном" троянском обучении и т. д. имеет практический смысл, только если реализуемы сами эффективные обучающиеся и обучающие компьютерные системы (споры же об их реализуемости ведутся ожесточенные). Любое троянское обучение использует особенности "просто" обучения (обучения "без злого умысла"), паразитируя на нем, и возможно лишь на его основе. После этой оговорки продолжим рассуждение о потенциальных направлениях развития "умных" технических систем.
Несмотря на дискуссионность вопроса, в настоящее время многие исследователи считают важнейшим и самым перспективным направлением в области искусственного интеллекта создание систем, способных к обучению. Со своей стороны заметим: в силу психологических закономерностей в случае появления высокоэффективных обучающихся систем некоторые из людей, работающие в областях жесткой (жестокой) конкуренции, займутся созданием обучающихся систем второй и последующих ступеней. То есть среди направлений развития искусственного интеллекта может появиться разработка компьютеризованных систем:
а) противодействующих обучению других технических систем, понижающих их обучаемость и "интеллектуальный уровень" (это может быть выгоднее, чем прямое уничтожение системы или полная и явная остановка ее функционирования);
б) систем, обучающихся и повышающих свой "интеллектуальный уровень" именно в условиях противодействия их функционированию.
Эти возможности развития обучающихся систем искусственного интеллекта совершенно не осознаются.
Более того, прогнозы в связи с обучением интеллектуальных систем делаются оптимистические, обещающие всеобщий расцвет и гармонию. Но на самом деле тому, кто считает, что обучаемость технического устройства - управляемая переменная, изменяющаяся в определенном диапазоне, один шаг до того, чтобы понять: можно пытаться не только поднимать значение этой переменной, но и опускать его до нуля. Затем кто-то может попытаться придать содержательный смысл переводу обучаемости в значения ниже нуля, в отрицательную область - эскалация возможностей представляется здесь безграничной.
Интересно, что сейчас среди огромного количества научной и ненаучной литературы, эксплуатирующей тему столкновения систем искусственного интеллекта (например, роботов, враждующих суперкомпьютеров и т. д.) как их физической схватки, перепрограммирования друг друга и т. д., нам не удалось обнаружить констатации того, что полем конкуренции систем искусственного интеллекта может стать обучаемость, ее повышение и понижение - и это при том, что сама способность приобретать знания оценивается невероятно высоко. Почему-то мало осознается, что придание высокого веса знаниям и обучаемости в картине мира может вести соперников - не только людей - как к повышению своей собственной обученности и обучаемости, так и к попыткам ослабления чужой.
Что думают эксперты в области информационных технологий по поводу проблемы "совместного обучения" искусственных систем - при ее явно представленной формулировке? Как часто подчеркивается, в области спамовой и антиспамовой борьбы, на этом переднем крае развития интеллектуальных систем, контуры которого видны и рядовому пользователю, сражаются именно самообучающиеся программы, причем их самообучение все более эффективно.
Поэтому я обратился с вопросом к разработчикам антиспамовой защиты Яндекса, опубликовавшим статью "Принципы и технические методы работы с незапрашиваемой корреспонденцией", - И. Сегаловичу, Д. Тейблюму, А. Дилевскому, а также разработчику языков программирования и компьютерных программ различного назначения, в том числе антиспамовых фильтров, писателю и художнику Полу Грэму (очень рекомендую его статью "Хакеры и художники"). Я спросил, считают ли они, основываясь на своем опыте, что возможными направлениями развития искусственного интеллекта может стать разработка систем: а) противодействующих обучению других систем искусственного интеллекта; б) обучающихся в условиях противодействия. От российских авторов я не получил отклика (возможно, из-за надежной работы антиспамовых фильтров Яндекса). Грэм ответил утвердительно на обе части вопроса и подчеркнул: спамовые фильтры сейчас разрабатываются так, чтобы в процессе обучения их было трудно обмануть, и в целом в большинстве областей искусственного интеллекта решения будут такими, чтобы избежать обмана.
Бесплатно
Зарубежная фирма предложила Государственному научному центру РФ "Физико-энергетический институт" бесплатное обучение технологии компьютерных расчетов для атомных электростанций. При юридической экспертизе оказалось, что в случае принятия предложения фирма может, пользуясь правом интеллектуальной собственности, наложить вето на любую международную сделку института, в которой использовалась эта технология. Глава Центра охарактеризовал это обучение как средство "закабаления конкурента" [Коновалова И., Коновалов Б. Все на Продажу // Вечерняя Москва. №28 (22313). 5 февраля 1998. С. 6.]. В данном примере важно, что чем качественнее и универсальнее было бы исходное обучение и чем шире обучаемые использовали его результаты, тем масштабнее и разрушительней стал бы эффект последующих действий стороны, организовавшей обучение. Это обучение должно было стать поистине троянским.
Управление обучаемостью
Подчеркнем, что речь идет именно об управлении обучаемостью, а не об управлении обучением. Ведь пытаться управлять обучением человека (интеллектуальной системы, программного агента) как процессом приобретения им тех или иных знаний, умений, навыков можно и не прибегая к изменению его обучаемости. Многие виды животных целенаправленно учат своих детенышей. Но нет никаких данных, что они целенаправленно управляют их обучаемостью - хотя стихийно, вероятно, влияют на нее.
Целенаправленная разработка и реализация программ повышения обучаемости "учись учиться" - это прерогатива человека и, возможно, созданных им искусственных систем.
Для того чтобы поставить задачу повышения обучаемости одних субъектов (программных агентов и т. д.) и понижения обучаемости других, необходимо иметь достаточно развитую теорию обучения, которая постулирует изменчивость обучаемости[Не всякая теория обучения постулирует изменчивость обучаемости. Обучаемость может пониматься и как неизменное качество на протяжении существования субъекта, например, в силу жесткой генетической детерминации.], описывает факторы, влияющие на нее, а также содержит еще один принципиально важный компонент. Это представления об особенностях обучаемости и интеллекта именно того объекта (человека, социальной группы, технической системы), на который направлены позитивные или негативные обучающие воздействия.
Припомним здесь снова две сказки: в одной лиса учит волка, как ловить рыбу на собственный хвост в проруби, а в другой баба-яга учит Иванушку садиться на лопату, намереваясь отправить его в печь.
Результаты, как известно, оказались противоположными для организаторов обучения. Волк, как и хотела лиса, примерз к проруби, лишился хвоста и еле ноги унес от разъяренных селян, сама же она осталась при барышах. А у бабы-яги, в отличие от лисы, дела сложились не так хорошо. Эта "организаторша обучения" погорела в прямом и переносном смысле на том, что Иванушка, всячески подчеркивая свою крайне низкую обучаемость, попросил ее продемонстрировать лично, как же надо садиться на лопату.
В обоих случаях в выигрыше оказался тот, кто лучше представлял себе, что делается в голове у другого: каков его интеллект и на что его можно спровоцировать, в том числе (или даже - прежде всего) в процессе обучения.
Для анализа сказочных, а также вполне реальных ситуаций такого рода больше всего подходит понятие рефлексивного управления соперником и понятие "формирование доктрины противника посредством его обучения", которые отечественный психолог и математик Владимир Александрович Лефевр ввел сорок лет назад в своей теории конфликтующих структур [Лефевр В. А. Конфликтующие структуры. - М.: Ин-т психологии РАН, 2000]. (В 1974 году он эмигрировал в США и ныне работает в Институте математических наук о поведении - Institute for Mathematical Behavioral Sciences, Университет Калифорнии.)
Рефлексия в его теории понимается как размышления о мышлении другого человека. Глубина рефлексии, или ее ранг, определяется длиной цепочки рассуждений: "Я думаю, что ты думаешь, что он подумал..." и т. д. В антагонистических играх рефлексия может способствовать успеху более продвинутого игрока, ломая при этом объективно имевшиеся отношения превосходства и переворачивая казавшуюся незыблемой иерархию. Можно ожидать, что и в троянском обучении, и в защите от него более успешными тоже будут те интеллектуальные системы, в которые встроена рефлексивная способность - способность разбираться в чужом устройстве обучаемости.
В заключение подчеркнем следующее. Разработка конкурентных сред, в которых конкуренция агентов за более высокие уровни обучаемости является одной из ключевых характеристик среды, может стать важным направлением практической и исследовательской деятельности. Цель может состоять в разработке конкурентных сред, позволяющих генерировать и отбирать интеллектуальных агентов с оптимальными способностями к обучению.
Отчего же с оптимальными, а не максимальными? Это отдельная история.
Более 800 000 книг и аудиокниг! 📚
Получи 2 месяца Литрес Подписки в подарок и наслаждайся неограниченным чтением
ПОЛУЧИТЬ ПОДАРОКЧитайте также
2.4. Защита информационных систем
2.4. Защита информационных систем Средства защиты в автоматизированных системах обработки данных:1. Пароли.2. Голос человека.3. Отпечатки пальцев.4. Геометрия рук.5. Рисунок сетчатки глаза.6. Личная подпись человека. Идентифицируемые характеристики – графика написания
Обучение
Обучение Позднее этой теме будет посвящена целая глава. А пока позвольте мне просто сказать, что ответственность за обучение менее квалифицированных программистов возлагается на их опытных коллег. Учебных курсов недостаточно. Книг недостаточно. Ничто не приведет
Обучение
Обучение Как мы учимся программировать? Позвольте рассказать вам одну историю о наставниках и
Оптимизация информационных следов
Оптимизация информационных следов Как узнать, достаточно ли хороший информационный след вы проложили? Измерив некоторые показатели, можно легко проследить движение посетителей и узнать, на каком этапе они уходят с сайта.– Возьмите чистый лист бумаги и расчертите его
Windows Installer - новое слово в технологиях инсталляции
Windows Installer - новое слово в технологиях инсталляции ГлоссарийПрежде, чем продолжить, необходимо ввести минимально необходимый для понимания дальнейшего текста набор терминов, используемых в Windows Installer. Таблица ниже включает список, достаточный для понимания текста данной
Обучение
Обучение Партнеры постоянно обмениваются знаниями: от навыков работы с инструментами (вплоть до мышки) до изучения правил языка программирования, определенных способов проектирования и программирования, общего навыка построения дизайна системы.Обучение протекает в
Обучение
Обучение В контексте CMM термин «обучение» обладает более широким, нежели обычное, значением. Обучение имеет целью наделить сотрудника той или иной квалификацией с помощью специального инструктажа и практических занятий. Обучение может сочетать в себе формальные и
58 На обучение
58 На обучение Темой обсуждения было ближайшее будущее, передовой край в разработке программного обеспечения и приложений. Вопрос из зала — словно мучительное стенание из прошлого: «А что вы посоветуете аналитику и программисту, который на языке COBOL создает текстовые
4.1.3 Обучение
4.1.3 Обучение Если в описании продукта указана необходимость соответствующего обучения, то испытатель (тестировщик) должен иметь доступ к учебным материалам и обучающим
Свежие парадоксы: о рёбрах и технологиях Сергей Голубицкий
Свежие парадоксы: о рёбрах и технологиях Сергей Голубицкий Опубликовано 21 ноября 2013 Компьютерами я заболел в 1989 году, когда и увидел впервые IBM-PC, узнал о существовании MS-DOS, текстового редактора (Word Perfect) и электронных таблиц (Lotus 1-2-3). Мою первую
Десять cамых правдивых теорий заговора в высоких технологиях Олег Нечай
Десять cамых правдивых теорий заговора в высоких технологиях Олег Нечай Опубликовано 12 мая 2013 В современном мире самым причудливым образом переплелись циничная рациональность и самый абсурдный хаос. Спецслужбы сильнейших государств мира могут
Глава 1 Современный мир. Эра информационных технологий
Глава 1 Современный мир. Эра информационных технологий Одним из парадоксов развития человечества является то, что на протяжении всего своего развития человек использовал, накапливал, передавал информацию, не понимая и даже не задумываясь о ней.Реальная цивилизация
Анализ поправок, принятых Госдумой, к закону «Об информации, информационных технологиях и о защите информации» Сергей Голубицкий
Анализ поправок, принятых Госдумой, к закону «Об информации, информационных технологиях и о защите информации» Сергей Голубицкий Опубликовано 26 июня 2013 21 июня Государственная Дума РФ приняла сразу во втором и третьем чтении Федеральный Закон «О
Шесть самых позорных заговоров в высоких технологиях Олег Нечай
Шесть самых позорных заговоров в высоких технологиях Олег Нечай Опубликовано 31 августа 2013 Люди обожают теории заговора. Кто-то всерьёз верит, что всем на свете руководит некое всемирное правительство, что московские многоэтажки взрывали
О технологиях выживания: кто подметает пыльные тропинки далёких планет Василий Щепетнёв
О технологиях выживания: кто подметает пыльные тропинки далёких планет Василий Щепетнёв Опубликовано 28 апреля 2013Признаться, поначалу я был ужасно разочарован. Изображения поверхности Луны, изображения поверхности Марса становятся всё детальнее, уже можно различить