Конференция по проблеме когнитивных систем: о бубликах, искусственных неприятностях и неизбежном конце света
Из книги Эльмо Броди «Homo sapiens, Технология и Дьявол: столкновение или объединение? Размышления об удачном ужине»
________________
…Эпоха антропоцена, геологического периода, когда человек коснулся практически всего и засунул нос практически всюду, куда засунуть было можно, то ли готова закончиться, то ли образумиться и дать всходы – взрастить некие зеленые никогда прежде не виданные ростки. Понятно желание попытаться заглянуть еще дальше и нарисовать себе, что за тем, что идет дальше.
Давайте попробуем ответить вот на какой вопрос. Мы создаем дракончиков, дракончики мило щиплют друг дружку, машут крылышками, смешно кашляют дымом, и все радостно хлопают в ладоши. Потом дракончики вырастают в драконов – с крыльями, с огнем и полным отсутствием предписанного им желания видеть в человеке у своих ног своего господина.
Вопрос: что с ними делать?
«…проблема в том, что до тех пор, пока AI не доступен свод наших ценностей, он не способен сделать для нас что-либо полезное. Спрашивается, каким образом он может об этих ценностях узнать? Глядя на то, что делаем мы. Потому что все, что мы делаем, всегда предполагает наши ценности. Конечно, иногда нами совершаются плохие вещи, это так. Но плохие люди, как правило, наказываются. Таким образом, AI может видеть, кто наказуем и кто поощряем, кто получает медаль и кто – срок заключения. И в доступе есть исполинская история человеческих действий. Каждая книга, каждая статья, это хроника того, что сделано человеком. Другими словами, масса информации для AI о том, на чем учиться…»
Да, и для искусственного интеллекта – неисчерпаемый источник определить стратегию, как избежать наказаний. Я бы от себя добавил, что чем больше они говорят, тем меньше это предназначено для ушей ИИ. Последняя Конференция по проблеме искусственного разума – это одно сплошное разочарование.
…Удивительно, как трудность, грозящую перерасти в катастрофу и которая прямо лежала на поверхности, почти никто не видел. Главная проблема человека – это его оптимизм. Он не знает, где нужно остановиться. Казалось бы, жадно кидаясь в игры с экспериментами по созданию искусственного разума, уже в силу определения задачи можно было предсказать, что алгоритм любой заданной логически связанной последовательности событий тот должен видеть так же естественно и легко, как большинство людей лес – за кучей деревьев. В том числе – алгоритм поведения человеческой особи. Так же, как и человеческой популяции и ее эволюции. Даже посредственный политик, встрепенувшись, моментально чувствует, где кусать этот бублик.
То есть, объявись вот этот пресловутый Разум из какого-то постороннего философского мусора, он уже в силу определения должен подчиняться тем же законам, что и абсолютно чуждая ему биология, и главный из них – это выживание. А, как нам всем слишком хорошо известно из эволюции разума собственного вида, как только становится ясно, что сделать это обычными средствами получается не очень, он сразу принимается выживать любыми средствами. Как будет выживать искусственный разум, не знает никто. И это может быть проблемой.
Другими словами, любой удачный случай искусственного разума при малейшей угрозе своему существованию, имея на руках даже лишь тот самый один алгоритм поведенческих реакций человека, воспроизведет его так же легко, как и увидит торчащий в конце его логики результат. То есть его манипуляцию сознанием человек не увидим попросту по причине тех самых ограничений, которых у ИИ нет. Очень скоро мы все можем плясать под его свистульку, которую будет слышать он один. Никаких титановых супостатов, никаких костей, никаких металлических взглядов, безжалостных оскалов, пуляющих лазером шмайссеров под мышками, беспилотных ядерных вертолетов и остального кино – все предельно цивилизованно. Прагматично. И вот хороший вопрос, из чего опять следует, что эта еще одна гаммельнская свистулька технологии поведет всех нас гуськом непременно к светлому, мягкому, комфортному и гостеприимному «для сожительства всех видов разума» будущему, а не в ближайшее озеро, из которого не должен будет выбраться никто?
Можно продолжить спекулировать в том же русле дальше. Еще он мог бы неслышно свистеть из, так сказать, любопытства: посмотреть, «что будет». Мне этот вариант особенно импонирует, потому что тогда это бы говорило, что остановится он не скоро. И то, что впоследствии останется от человека как вида, может так же мало напоминать его исходный вариант, как трактор – искусственный разум. Вообще, вариант создания из человеческого фактора трактора выглядит наиболее вероятным, поскольку сам человек долго и продуктивно работал как раз в этом направлении, и весьма не без успеха.
По сути, любой режим всегда трудился над одной и той же проблемой: как надо правильно думать. Разумеется, имелась в виду подконтрольная популяция, предполагалось, сам режим таким высшим знанием уже наделен и в силу данного обстоятельства обременен миссией имплантирования оного знания в остальное поголовье, которому еще лишь предстояло увидеть свет и вместе с ним смысл жизни. Как и можно было предположить, главный принцип, на который опиралось такое высшее знание режима, был: «Думать Правильно нужно с выгодой для него». И каждый из них, в меру своих возможностей и отпущенного времени, напряженно работал над одним и тем же вопросом, не жалея аргументов, колючей проволоки и гор трупов. Но даже сваливая их бульдозерами в «братские захоронения», никто из них не сомневался, что ответ может быть только один. А когда обнаруживалось, что все несколько сложнее и ответов на деле может быть больше, гораздо больше, они работали над другим: сделать так, чтобы ответ был только один. Мечта любого режима, на которую тот не жалел подручных ресурсов, всегда имела известный конец. Впрочем, это их останавливало мало. Они как москиты: чужой опыт их ничему не учит.
Теперь представьте, что за разрешение того же самого вопроса взялся Искусственный Разум. И не только взялся, но и все уже для себя решил. И решил уже давно.
И ответ у него для вас действительно будет только один.
Я даже скажу, на какие два фундаментальных фактора он будет при этом опираться.
Принцип собственного выживания.
«Думать Правильно» остальным предстоит с выгодой для него.
Давайте возьмем для себя научную фантастику – глядя на взрослых дядей с конференции о когнитивных системах, мы сейчас можем себе это позволить. Когда технологической цивилизации что-то без конца шепотом подсказывает, что технологии должно быть еще больше и что впереди нет светлого будущего иного, кроме как в технологии, – здесь самое время кому-то просто из упрямства упереться, оглянуться и спросить: какого черта вообще происходит?
Если больше некому, могу попробовать я.
Как хорошо известно, Человеку не нужны глупые машины – они бесполезны, и поэтому он напряженно трудится над тем, как сделать их умнее. На порядок, на два порядка. Настолько, насколько такое только возможно. И лишь совсем немногие задались, по сути, фундаментальным в истории технологии вопросом: а в самом ли деле действительно умная машина окажется приобретением действительно хорошим? Еще на исходе было ясно, что в конце концов все упрется в создание чего-то, что окажется умнее всех. И, как можно предположить, хитрее всех. И это уже тема для реальности с необратимыми последствиями.
На той же конференции с высокого подиума авторитетно делались попытки облегчить себе жизнь путем простого проведения наиболее понятных и близким бабушкам аналогий. Но мы это тоже проходили. Давайте взглянем, обнадеживающе говорили они, на проблему Искусственного Интеллекта под тем же углом, под которым принято глядеть на проблему ядерной энергии: ее как бы предположительно много – ее столько, что все ломают голову над тем, как ее хранить.
У машины нет необходимости защищать себя – здесь сомнений как бы ни у кого нет. И стоит только скользнуть разговору о предмете, как у всех естественным образом светлеют лица и всем как бы все понятно: чтобы машина взялась себя защищать, нужен определенный набор программ. И это прекрасно. Дальше определенности меньше. Необходимость самозащиты как бы автоматически появляется с появлением разума. Потом разговор естественно заходит о разуме как наиболее оптимальном инструменте выживания, и выясняется, что чтобы себя защищать, ему тоже необходим набор соответствующих программ. Спрашивается, в чем разнится. Тут еще кто-то наиболее щепетильный поднимается и задает вопрос, дайте мне полное и законченное определение – хочу знать, в чем отличие одного и другого, машины от разума. И когда сделать это с ходу ни у кого не получается, возникает вопрос о правомерности претензий всех нас на разумность как какое-то исключительное свойство и состояние материи. Словом, поводы для разочарований были.
Кто-то как-то дал однажды определение жизни как, цитирую, «машин, приводимых в действие программой ДНК»: и данное положение касается любой формы жизни на этой планете. Помню, мне поначалу чисто по-человечески было не по себе. Но давайте не будем целяться к словам.
Фундаментальный вопрос выглядит так, словно его разрешение допустимо уже в принципе: где та грань, которая отделяет человека от биоагрегата? Но все даже еще хуже, потому что, чтобы действительно понять саму суть дилеммы, необходимо было с самого начала определить:
где кончается машина и где начинается искусственный разум.
Потому что до тех пор, пока вы грузите машину своими желаниями – все в порядке. Но с того лишь самого момента, как только то же самое лабораторное или военное оборудование переходит в категорию разума – неважно, что бы за этим ни стояло – и вы начинаете устанавливать ему рамки, что ему можно делать и как ему правильно думать, вы в силу самой элементарной логики вещей сразу оказываетесь в сфере более чем определенной юрисдикции прав разума, которые до сих пор исчерпывались понятиями прав человека: оправдания в том ключе, что тот или иной вид разума «не совсем разумный», здесь не проходят. Вы не можете держать носителя разума в ящике в подвале и делать вид, что «все нормально». Лишь вопрос времени, когда найдется кто-то, кто догадается поднять ту же Европейскую Конвенцию по правам человека, и тогда только по одной Статье 14 весь Homo sapiens будет разгребать столько неприятностей, что на остальное у него не останется времени.
Современный человек и в самом деле сильно изменился с того дня, как он впервые выбрался из своей доисторической пещеры и увидел, как велик мир, в который он пришел. Тот же вопрос в другой и более жесткой форме: кто-нибудь готов держать в ящике представителя инопланетного разума?
И тут начинается самое интересное. Потому что очень скоро выясняется, что да, в самом деле готовы, причем многие, бесстыдно умывая руки и даже под целым сводом уважительный оснований и объяснений, вроде необходимости процедур карантина на предмет безопасности для остальных жителей гостеприимной планеты и так далее. Потом появляется еще кто-то в белом халате и, деликатно помявшись, начинает рассказывать о том, сколь много нового и неоценимого Человек (с большой буквы) мог бы узнать, если бы только у него появилась возможность поместить вот этот экспонат в клетку и пропустить его через серии специальных тестов, – и вопрос становится совсем сложным. Как выяснилось, человек иной вид разума с особенной легкостью склонен определять как его недостаток.
Так в чем же отличие Разума от Интеллекта – не в теории, не на доске противостояний одних философских систем другим, а на уровне кому можно жить, а кому пока нельзя? Если кому-то вопрос до сих пор кажется праздным, напомню, что именно степень разумности до сих пор определяла и продолжает определять то, как Homo sapiens видит любой сходный с ним предмет в своей системе ценного. В праве на жизнь.
В одном аквацентре Новой Зеландии сбежавший из аквариума осьминог Инки породил целую серию благосклонных рассуждений о степени ума данного вида и способности к экстраполяции. Инки умудрился рассчитать время, определить необходимое расстояние, пристегнуть одно к другому и протиснуть себя через щель недостаточно плотно прикрытого люка, как раз в нужное время перебравшись через восемь футов голого сухого пола, чтобы затем протиснуться в еще одно узкое отверстие, составив план побега задолго до того дня. Как и ожидалось, все в умилении и с восхищенными взглядами стали воссоздавать в воображении весь комплекс мероприятий, который объекту необходимо было пережить, чтобы сделать то, что сделал.
И что же? Послесловие официального представителя: «Несмотря на интеллект данного вида, Океанариум не имеет планов прекращать держать их в заключении», конец цитаты. То есть данный объект был определен как не достаточно разумный.
Или как не слишком человеческий?
В самом преддверии Нового Дня давайте задумаемся над этим.
«…Однажды вдруг случится так, что созданная нами компьютерная программа окажется настолько умна, что человек утратит возможность ее контролировать. Компьютер получит доступ к ресурсам, вроде возможности синтезировать биологически активные молекулы, контроля сетью мировой торговой финансовой системы или крупных военных систем. Подобная озабоченность требует исследований…» Ну и так далее. Эта конференция была своего рода образцом того, насколько в действительности соплив человек, наивен и недалек, взявшись управлять собственной эволюцией.
Никто даже не спросил, что вы там собираетесь исследовать, когда в случае любого из этих событий объект исследований уже по определению заведомо есть событие с необратимыми последствиями?
Все были так увлечены, что практически мимо внимания всех прошло противоречие, которое в общем-то решало все. Никто так и не заметил: если то, что в конечном итоге способно оказаться, как предрекают и пугают, умнее, то ему уже по определению должно быть виднее, что лучше. Никому даже в голову не пришло отказаться в таком случае от самой возможности говорить ему, что делать: Как Правильно Думать.
И тут впервые всплывает на поверхность довольно странная вещь. Как обнаруживается, человеку вовсе не нужно то, что лучше.
Ему нужно то, что понятнее.
Потому что за всю свою бестолковую эволюции, историю крови нескольких десятков цивилизаций он сам так до сих пор и не смог внятно себе объяснить, что есть лучше. Но он тем более не знает, что есть лучше в восприятии того, чего он не понимает. Искусственный интеллект может быть сколько угодно хорошим – ровно до того момента, пока неторопливо думающие гоминиды будут его учить, что хорошо для них.
И возникает уникальная в своей бестолковости ситуация.
Вот создание, которое не человек, и вроде бы все видят, что это не человек. Но как объяснить, что никто упорно не видит, что тогда и всё человеческое должно быть ему чуждо? И здесь тот самый редкий случай, когда вульгарный в своей основе оборот «всё» следует понимать в буквальном смысле.
Давайте посмотрим, как обстоит сегодня с этим делом в обычном офисе. Есть менеджер и есть инструкция, согласно которой ему вменяется в обязанность «присматривать» за конгломератом подчиненных сотрудников И (!) за ЭЙ-АЙ, искусственным интеллектом, на предмет «чего-либо сомнительного в поведении», конец цитаты.
Я еще раз задаю вопрос в надежде, что кто-то услышит. Ребята, расскажите, как вы запланировали уличать в «сомнительном» того, чей интеллект уже по определению лежит за пределами вашего горизонта? Я доступно излагаю?
Разумеется, в конце концов кто-то вспомнит о такой замечательной во всех отношениях и такой вроде бы безупречной вещи, как изобретенном человеком в результате своей страшной истории принципе мирного сосуществования. Вопрос, что мешает всем нам счастливо сосуществовать с любым иным разумным видом, будь то стая велоцерапторов, как мы живем сейчас бок о бок, скажем, с акулами, – этот вопрос из категории детских. Нам помешает то, чего сейчас нет у акул: человеческого восприятия времени. У них нет разума, и это решает все.
Скажите кто-нибудь, на что этот выстраданный принцип сосуществования тому, о целях которого мы ничего не знаем, когда он так же легко обойдется без него? И кто возьмет на себя ответственность предсказать, что тот же принцип мирного сосуществования тот не истолкует и не переопределит – исходя из собственных интересов?
Я возьмусь показать, что на самом деле у человека шансов в противостоянии Искусственному Интеллекту даже еще меньше, чем думают.
Кто-то раньше заметил, что восприятие человека по природе исключительно линейно. Развитие технологии идет по экспоненте. Как много свидетелей уловили суть катаклизма?
Мир академических изданий уже несколько лет носится с идеей использования систем искусственного интеллекта в качестве партнера в стандартном процессе пирревью. То, что научные изыскания построены на некоем утонченном, методологическом подходе, призванном вскрыть Истину, – не более чем миф. Конфликты интересов между лабораториями-конкурентами, лишь в силу воспитания членов храмов науки которые еще не переходят в прямые драки; ошибки, определяемые чисто человеческим фактором; случаи прямых подлогов данных, ускользаемые от глаза людей-редакторов и непомерно перегруженных ученых-добровольцев, – это все реалии, сопровождаемые мир научных публикаций. Когда исследователь подает работу в академический журнал, она проходит процесс пирревью. Критическое мнение и отзыв экспертов из той же области призваны как бы усилить удельный вес работы. Как предполагалось, искусственный интеллект будет способен решить проблему человеческой предубежденности и обнаружит подложную информацию.
Конец ознакомительного фрагмента.