serge_gorshkov


Сергей Горшков - о бизнесе в сфере ИТ

о семантической интеграции, программировании, управлении...


Previous Entry Share Next Entry
Про "умные машины", трансгуманизм и конец света
serge_gorshkov
Заголовок громкий, да. Но новогодние каникулы - самое подходящее время для того, чтобы немного оглядеться вокруг. Я решил собрать воедино свои соображения о главных угрозах человечеству, идущих с той стороны, в которой более или менее разбираюсь.

Моя работа состоит в том, чтобы сделать вычислительные машины как можно более умными. Казалось бы, вполне достойная цель: усовершенствовать способы обработки информации настолько, чтобы компьютер перестал быть в основном платформой для запуска экселя, и смог бы решать действительно интеллектуальные задачи. То есть - принимать решения.
Распределять потоки трафика, решать, где построить детский сад, а где отремонтировать подстанцию, выявлять угрозы безопасности... Наверное, кто-то думает, что компьютеры могут это делать и сейчас. Это верно лишь отчасти: сейчас такие функции доступны в рамках узкоспециализированных программ, где решение всех вопросов, по сути, предрешено человеком - компьютер лишь предпринимает те или иные действия при возникновении определенных ситуаций. То есть, он не принимает решения, а применяет их.

Чтобы принимать решения, компьютеру нужны как минимум две способности: а) работать с информацией переменной структуры, б) концептуализировать поступающую информацию, и в) умение делать логические выводы. Технологии для этого уже есть, а их применение пока не стало мейнстримом :) Именно в таком направлении мы понемногу практикуемся. Конечно, наши экзерсисы довольно скромны по сравнению с тем, что делает, например, IBM в проекте Watson. Пристальный футуролог мог бы увидеть некие угрозы и в этой деятельности, но пока они, в целом, поддаются оценке и контролю. Посмотрим, однако, что ждет нас за этими, первыми шагами.

Во-первых, нас ждет давно ожидаемая симуляция нейронной структуры мозга аппаратными средствами (см. TrueNorth от IBM). Эта технология может идти в связке с предыдущей, осуществляя восприятие окружающей среды, и передавая осмысленную информацию на обработку средствам логического вывода. Скорее всего, логические движки головокружительного качества будут реализованы на самой нейронной аппаратной платформе, и наши сегодняшние семантические упражнения покажутся крестьянской телегой на фоне Сапсана. Риски? Главный и очевидный риск - перестать понимать, что именно происходит внутри структуры, которая сложнее и производительнее человеческого мозга в несколько раз. Я не говорю о возникновении в ней сознания и самостоятельной воли, о таких вещах можно только гадать, но страшно будет и без этого - если такому компьютеру передано принятие решений, жизненно важных для людей. А в том, что так и будет, можно не сомневаться; мы же ездим на Сапсане, хоть он и движется намного быстрее человека или лошади.
Кстати, в переходе на новую аппаратную архитектуру состоит одно из возможных разрешений парадокса технологической сингулярности, если смотреть на нее узко - с точки зрения производительности вычислительных машин (закон Мура).

Во-вторых, нас ждет интерфейс мозг-компьютер, о котором, кажется, не писал только ленивый, и который хорошо освещен в массовой культуре. Как показывает сегодняшняя одержимость гаджетами, никаких моральных или иных "человеческих" препятствий для погружения в "новую реальность" нет. Человечество сядет на эту иглу, и радостно избавится от своих биологических органов чувств ради новых, небывалых ощущений. То, что мы пока еще считаем объективной (т.е. воспринимаемой непосредственно нашими органами чувств) реальностью, и сейчас уже весьма зыбко в некоторых отношениях - мы видим много примеров того, как под влиянием информационных потоков люди одни и те же объекты и явления воспринимают совершенно по-разному, и почти всегда - в чудовищном искажении. Легко представить, что произойдет, если вся информация, которую мы будем получать, будет поставляться информационными системами. Тут уже не важно, кто ей управляет - другие люди, или "умная машина".

В-третьих, существует такая чудесная вещь, как трансгуманизм. Направление довольно эклектичное, в том числе потому, что среди рассуждающих о нем полно людей, которые не являются профессионалами ни в одной из наук или отраслей технологии. Для нашего обсуждения достаточно сказать, что одной из главных целей трансгуманистов является радикальное изменение природы человека как биологического, социального и духовного существа. В результате должен появиться сверхчеловек - существо с бесконечно развивающимися возможностями. Люди в нынешнем виде будут для него лишь "эволюционными предшественниками". Сверхчеловек будет использовать и возможности информационных технологий, о которых шла речь выше, и (может быть) усовершенствованные возможности своего тела. Хотя далеко не факт, что биологическая субстанция ему вообще понадобится.

Так вот. Может, не стоит всего этого бояться? Крестьянин XIX века до смерти испугался бы Сапсана (раз уж мы взялись за эту метафору), но это не значит, что скоростные поезда представляют для нас серьезную угрозу...
Я знаю, что во всем этом не нравится лично мне. Хорошо известно, что человек - алчное существо. Его алчность регулируется сложными механизмами, в том числе социальными, биологическими и духовными. При серьезном нарушении баланса она регулируется разного рода катастрофами, социальными взрывами и прочим. Так вот - опасность того пути, на который толкают нас перечисленные выше технологии, состоит в их использовании для удовлетворения человеческой алчности, и снятия имеющихся барьеров для этого. Например, для меня стремление к вечной жизни, или хотя бы к жизни длиной в сотни лет, о чем мечтают трансгуманисты - ничем не лучше стремления купить в кредит третий лексус.
В результате, у людей, обладающих доступом к этим технологиям - скорее всего, их будет очень немного - появится возможность бежать все дальше и дальше, гонясь за несуществующим и невозможным удовлетворением своей алчности. У подавляющего большинства других людей при этом будет отнята возможность личного выбора, достижения своего частного счастья, достойной жизни - или даже жизнь как таковая. Это абсолютно аморально.
Даже если, паче чаяния, в результате развития технологий некие блага, в виде материальных удобств и новых ощущений, станут доступны многим людям - это совершенно не значит, что они станут счастливее. Скорее всего - наоборот.

Конечно, картина может выглядеть подобным образом и без новых технологий, чему можно найти немало примеров. Но сейчас, впервые в истории, технологии покушаются на незыблемые доселе основы: статус человека, как самого умного существа на Земле, хозяина своей судьбы; и на природу человека, как биологически-социально-духовного существа.

Что делать? Только одно. Те, кто развивает новые технологии, должны осознавать свою ответственность за результаты своих действий.

  • 1
Сергей, я не понимаю Ваших опасений в сфере ИТ.
Для меня есть разница между человеком и компьютером.
И эта разница непреодолима.

По поводу виртуальной реальности.
Ну так уже сейчас много людей больны играми. и Это уже серьезная их проблема и их родителей. Дальше будет еще хуже.
Но не проблема для человечества в целом. Зачем на Земле так много людей, если можно их заменить роботами.
Дебилы пусть вымрут их не жалко.

Меня больше смущают эксперименты в области генетики.

Вы правы насчет игр, и элиминации избыточного количества людей. Но это мне не кажется качественно новым явлением: грубо говоря, поколение, которое было молодо в 1990-е, ушло в наркотики, а нынешнее уйдет в игры. Примерно с таким же статистическим результатом для популяции.

Но современные игры все-таки не могут полностью вытеснить реальность из сознания человека. И они не умнее, чем человек. А что, если с человеком будет играть машина, которая действительно умнее его? Тогда все зависит от ее целей (ну, или заложенных в нее целей), и тут оснований для оптимизма нет никаких.

Генетика - да, смущает. Я ее уложил в трансгуманизм, как одну из составляющих.
В том и суть, что даже для атеистов человек, с моральной точки зрения, должен представлять собой некую высшую ценность. А тут на него покушаются со всех сторон - и на биологическую "платформу", и на принципы общественной жизни, и на его статус самого умного существа на планете. С одной стороны, для этого можно найти основания - человек делает не слишком много действительно умных поступков и в отношении себя, и в отношении планеты - но с другой стороны, повторю, у меня нет ни грамма веры в то, что использование "умных машин" или "сверхлюдей" как-то улучшит ситуацию. Для людей.

Для меня суть проблемы в окончательной потере человеком контроля над своей судьбой и жизнью. Если до сих пор история была в основном про отстаивание личного или социального суверенитета от посягательств других людей и обществ, то теперь на наш - уже общечеловеческий - суверенитет могут посягнуть, извините за громкое слово, не-человеческие сущности.

А разница между человеком и компьютером... я как раз пишу о таких технологиях, которые позволят ее преодолеть. По крайней мере в некоторых аспектах. В особенности интересна в этом плане симуляция нейронной структуры мозга.


Посягнуть на суверенитет - могут, но вот тут-то человеку как раз и представится повод продемонстрировать (и подстегнуть в развитии) свой ум, дабы удержать статус самого умного. А также способность приспосабливаться, изменяться, действовать коллективно - всё то что нас и сделало доминирующим видом. По-моему должны справиться...

Хотелось бы верить.
Борьба со своими собственными порождениями, как правило, тяжелее, чем со внешними угрозами.

что бы не ходить в школу

Чтобы принимать решения, компьютеру а), б), в) не достаточно. Я не совсем, правда, понял что вы понимаете под словом "концептуализировать", допустим "осмыслять", но это дела не меняет. Ни какое вытеснение человека компьютером в творческом процессе нам не грозит (а там где грозит: значит там не было творчества, а была только его имитация).
Ибо все современные компьютерные и даже биологические технологии находятся в рамках классической кибернетики в которой действует закон необходимого разнообразия.

А технологическую сингулярность придумали школьники, что бы не ходить в школу :)
Человек всю свою историю живет в такой сингулярности. Раньше была природная, теперь технологическая...

Re: что бы не ходить в школу

Смотря о решениях какого уровня говорить. Для управления технологической системой или механизмом перечисленных возможностей компьютеру вполне достаточно. Например, сейчас активно испытываются автомобили с полностью автоматическим управлением - это как раз о том. Конечно, все нынешние образцы работают в строго ограниченном диапазоне условий, но тем не менее - это показатель направления развития. Начало пути.

Если говорить о творчестве - то да, пока что кажется, что человеку вытеснение не грозит. Но тут, опять же, смотря что понимать под творчеством. "Войну и мир" компьютер не напишет, а роман Донцовой - запросто. Дальше уже вопрос увеличения сложности системы. Нельзя ведь однозначно провести границу, и сказать, что вот это - творчество, а вот это - нет. Скорее всего, элементы творчества есть в любом произведении, даже в сочинении школьника, просто где-то они проще, где-то сложнее. Суть творчества, в любом случае, можно описать как порождение новой информации на основе имеющейся, с привнесением некого личного отношения или вклада. Если можно сэмулировать простые случаи привнесения этого личного вклада, то из чего следует, что будут принципиальные ограничения на эмуляцию сложных случаев?

Сейчас в это сложно поверить, но это не значит, что есть какие-то объективные ограничения, которые не дадут возможностям компьютеров развиваться дальше определенного уровня. Например, лет 15 назад (условно) определение автомобильных номеров в потоке транспорта могло казаться фантастикой, а сегодня - это рядовая задача.
Главное же состоит вот в чем. Если рассматривать современные, фон-неймановские архитектуры - то да, потолок возможностей понятен (хотя еще далеко не достигнут). Но платформы с эмуляцией нейронной архитектуры дают совсем другие возможности. Синтез аппаратных средств с человеческим мозгом дает совсем другие возможности. Эти возможности вполне можно рассматривать как угрозы - зависит от точки зрения говорящего.


Re: что бы не ходить в школу

Всегда будет техподдержка и инженеры для обеспечения любой самой сложной системы. Без этого её никто не даст ввести в эксплуатацию. Ну а у инженеров есть способы и борьбы со сложностью, и аварийный рубильник, и логи.
Про алчность из поста - согласен. Других опасностей не вижу.

Re: что бы не ходить в школу

Насчет техподдержки, единственный вопрос: что произойдет в тот момент, когда система усложнится настолько, что человек просто не сможет объять ее разумом? Сейчас такая проблема в основном возникает из-за количественного расширения систем. Скажем, больших ERP. Это решается, в свою очередь, фрагментацией сведений о системе, и самих процессов ее поддержки. А если система будет неограниченно усложняться на качественном уровне?

Мы, сегодняшние программисты, худо-бедно понимаем, как работает весь стек технологий - от памяти и процессора, до каких-нибудь высокоуровневых моделей данных. Таким образом, работа системы для нас объяснима на любом уровне.
Я не поручусь, что работа нейронного процессора будет так же объяснима и понятна даже тем, кто его создал. Особенно когда речь пойдет об объединении таких процессоров в системы из огромного количества узлов.

Re: что бы не ходить в школу

Думаю, ничего страшного не произойдёт, и анализ ситуации будет на уровне разбирательства с феноменами, а не принципами действия (как это всегда было в науке).
Для инженера, обслуживающего систему распознавания автомобильных номеров, ничего не скажут веса и количество слоёв обученной нейронной сети внутри системы. Ему достаточно того, что система с требуемым качеством выполняет свою функцию. Когда это качество ещё неприемлемо, после робота требуется проверка инспектором-человеком. Когда же качество становится приемлемым (обычно, 95% и выше), то ставят всё на автомат, а с ошибками и погрешностями разбираются отдельно (или просто игнорируют их). Если качество упадёт, то систему остановят и в дело вступит инженер, для которого веса и количество слоёв - ежедневная рутина. И даже если он не до конца понимает, как это работает внутри, то он всё равно сможет настроить систему, представляя её "черным ящиком" с входами-выходами и настроечными коэффициентами.
На опасных производствах, и в критически важных процессах, никогда не поставят в эксплуатацию систему, для которой недоступен такой инженер, который сможет разобраться с возникшей проблемой в системе.

PS: байка - из-за рубежа вызвали специалиста, который посмотрел логи и тренды работы турбины энергоблока, а затем просто открыл крышку блока управления и крутанул отвёрткой на четверть оборота, собрал вещи и уехал, никому ничего не объяснив, но проблема с регулярным срывом в помпаж исчезла.

Re: что бы не ходить в школу

Байка отличная, и очень характерная.

Re: что бы не ходить в школу

Принятия решений не имеет отношение к уровню понимания вопроса. То о чем вы говорите, это не принятие решения, а вычисление решения, которое не увеличивает количество информации и соответственно не является созидательным, т.е. не формирует сложность. Упрощенно-говоря, ПРИНЯТИЕ РЕШЕНИЯ - это творческий процесс. Тут дело не в красоте сказанного, а в математике вопроса.

Человек, конечно тоже часто действует алгоритмически, но у него еще есть другие механизмы выбора и некоторые из них недостижимо (с точки зрения кибернетики) эффективнее машинных. И тут, конечно, глядя на среднестатистическое большинство, хочется вспомнить "человеческий фактор", смуту от которого и призваны заменить машины. Однако если машина ни когда не делает созидательный вне-алгоритмический выбор, то человек на это способен.

Интересно, Лебедев тоже не задает себе вопрос - "зачем"?
То есть, в принципе понятно, каковы дороги к бессмертию, но вот зачем оно...

Бессмертие - это громко сказано. Фактически, эти усилия сводятся к повышению качества жизни. А длительность жизни - один из KPI.

ww.scienceagainstaging.com/fund.html
"Миссия Фонда – мобилизация усилий общества, инвесторов и ученых для победы над старением, для существенного увеличения продолжительности жизни человека."

Спасибо - отличные посты, особенно второй. Очень созвучно )

  • 1
?

Log in

No account? Create an account