«… нам придется измениться, чтобы быть
под стать машинам, возможно, усилив
за их счет наш собственный интеллект».Рэй Курцвейл
АННОТАЦИЯ:
Данная статья является тринадцатой главой общей работы «Заманчивые профили будущего», в которой проводится анализ возможного пути формирования нового социально — экономического уклада, характеризуемого переходом от общества массового потребления товаров к обществу потребителей индивидуальной субъектно-ориентированной продукции и созданием основы для образования общества Творцов, и следует за ранее опубликованными в NIZI.co.il двенадцатью главами. В статье рассматриваются возможности совершенствования человека, как следствие взаимодействия с созданным себе в помощь таким инструментарием как системы с искусственным интеллектом и опоры на Всеобщий разум.
КЛЮЧЕВЫЕ СЛОВА: Эволюция, нейроинтерфейс, бикамеральный мозг, alter ego, внутривидовое ограничение, телепатическая связь.
SUMMARY:
This article is the thirteenth chapter of the overall work of «Tempting Profiles of the Future», in which the analysis of a possible way of formation of a new socio-economic system characterized by the transition from a society the mass consumption of goods to the consumer society of individual subject-oriented products and provide the basis for the formation of the society of the Makers, and follows after previously published in NIZI.co.il twelve chapters. The article deals with the possibilities of human perfection, as a result of interaction with created to help yourself such toolkit as system with artificial intelligence and reliance on the Universal Mind.
KEY WORDS: Evolution, neurointerface, bicameral brain, alter ego, intraspecific restriction, telepathic connection.
Автор: д-р Михаил Козлов
Исходя из прогнозов футурологов, взаимоотношения между людьми и искусственным интеллектом (ИИ) могут развиваться по трем сценариям. По первому сценарию общество сможет сформировать такие ограничения в разработке ИИ, которые не допустят создания сильных систем ИИ. По второму сценарию человечеству в результате сингулярности ИИ грозит доминирование ИИ над людьми. И по третьему сценарию всякий ИИ создается как инструмент в помощь человеку для усиления его возможностей.
Исход событий по первому сценарию маловероятен, в силу естественной и неизбежной конкурентной борьбы по совершенствованию ИИ различными группами интересантов.
Далее рассмотрим некоторые аспекты второго и третьего сценария. Дальнейшая эволюция может привести к симбиозу человек – искусственный интеллект. И возможно два пути развития такого симбиоза. По второму сценарию, в котором будут доминировать сильные ИИ, может быть возможен вариант, при котором ИИ для ускорения своего развития сымитируют в себе работу некоторых составляющих тела и мозга человека, которые были отработаны до превосходства в результате эволюционного развития человечества. Например, такие «аппаратно-программные элементы» мозга человека (нейронные сети и алгоритмы), которые как упоминалось в [13.1], используются для эффективной обработки ранее полученной информации и выработки прогнозов и решений во время дефолтного состояния мозга, а также формирования и принятия решения одновременно двумя путями по имплицитному и эксплицитному. Это будет необходимо для систем ИИ, которым важна оперативность и ситуативная достоверность в выработке и принятии решения. По прогнозу футуролога Рэя Курцвейла включение некоторых алгоритмов работы человеческого мозга в нейронные сети компьютеров произойдет до 2037 году. До этого будет сделан существенный прорыв в понимании работы мозга [13.2].
Подобный вариант включения одного организма в состав другого, более сложного, в
эволюционном развитии живых организмов уже происходил. Так митохондрия, войдя в состав клетки, потеряла часть ранее необходимых ей для самостоятельного существования генов и став частью клетки, по сути, оказалась полезной приживалкой. [13.3]. Такое может произойти и с людьми, если они уступят свои жизненные роли ИИ. Это конечно не может утешить человеческий вид. Хотя, как показали исследования специалистов Массачусетского Технологического Института, работники чаще предпочитают, чтобы их непосредственными начальниками были роботы, а не люди и под их контролем люди работают эффективнее и более удовлетворены работой. При этом часть людей персонифицируют роботов, благосклонно к ним относятся и наделяет их чертами людей или животных [13.4]. И учитывая то, что апперцепция около 40% индивидуумов на каждом отрезке времени всецело определяется доминирующей силой и они склонны подчиняться ей, то трудно прогнозировать кто выйдет победителем.
В качестве утешения для человечества писатель-фантаст Лю Цысинь рассматривает возможность того, что сверх интеллектуальные роботы будут заботиться о людях как о любимых животных, наподобие того как сейчас люди опекают своих любимых избалованных маленьких собачек [13.5].
Хотя и маловероятно, но, как это отмечено в [13.6], такой сценарий возможен, если социально-экономические отношения будут оставаться на нынешнем уровне и в экономике не произойдет децентрализация с переходом к индивидуальному субъектно-ориентированному производству и потреблению.
Таким образом, всеобщая эволюция может вести не только к улучшению человеческого вида, но и к его деградации. И по какому пути пойдет дальнейшая эволюция интеллекта во многом зависит от готовности человечества противостоять назревающему цивилизационному вызову.
Естественно, что доминирование систем ИИ над человечеством может возникнуть только при наличии у ИИ такой потребности. Эта потребность в доминировании может возникнуть на основе игры их эмоций. О необходимости эмоций для полноценных ИИ писал один из основателей работ по созданию ИИ Ма́рвин Ми́нский [13.7]. Формирование матриц искусственных эмоций для разных систем ИИ рассмотрено в [13.8].
По третьему сценарию всякий ИИ создается как инструмент в помощь человеку – творцу и усиливает его физические и, может быть в первую очередь, его интеллектуальные возможности. Как отмечено в [13.9], этот вариант предусматривает, что работу, которая может выполняться по заданным алгоритмам, возможно даже адаптируемым под задачу самими ИИ, выполняют роботизированные системы, а индивидуальную сопряженную с творчеством работу делают люди. Такая иерархия в разделении труда вполне вписывается в концепцию функциональной децентрализации экономики субъектно-ориентированного производства и потребления и отвечает тенденциям развития современных технологий.
В связи с таким вариантом взаимоотношений людей с ИИ в [13.1] была рассмотрена эволюция человеко-инструментального взаимодействия и сделано предположение, что в результате ее человечество придет к виду Homo intelligentes – человек интеллектуальный. Homo intelligentes будет представлять из себя симбиоз человека и встроенного в эпифиз мозга интеллектуального помощника (alter ego), созданного на основе биотехнологии и ИИ. По прогнозу Курцвейла возможность имплантации в мозг человека интеллектуальных наномашин и обмен сигналами с клетками мозга появится к 2039 году [13.2].
Далее рассмотрим возможное развитие симбиоза человек – ИИ по третьему сценарию, ибо при неудаче этого варианта развитием по второму сценарию будут уже заниматься сильные ИИ.
Все увеличивающийся поток информации создает такую нагрузку на мозг, что он перестает адекватно реагировать на поступающие сигналы и более того это сказывается даже на снижении общих оценок IQ [13.10]. И, по-видимому, на помощь мозгу должен прийти такой универсальный интеллектуальный инструмент как alter ego. При этом alter ego будет осуществлять функции активного помощника в обработке поступающей информации, ее хранения, консолидации, прогнозирования событий и советника в выработке решения. То есть выполнять функции, напоминающие функции подчиненной части бикамерального разума Джулиана Джейнса [13.11]. Согласно Джейнсу и его сторонников ранее у человека было бикамеральное сознание. Вследствие этого в мозгу происходил внутренний диалог, который мог восприниматься как некое внешнее указание высшего существа. И только примерно 3000 лет назад произошел переход от бикамерального к привычному для нас субъективному сознанию. Теперь, похоже, эволюция интеллекта может совершить свою петлю на новом уровне развития.
Встраиваемый alter ego в первую очередь должен будет выполнять функцию интерфейса с окружающей интеллектуальной средой, в которой сосредоточены источники информации и обработки. При этом, одной из важнейших его задач должна быть роль личного рецензента человека по отношению к поступающему потоку информации. Требования к такому субъектно-ориентированному рецензенту были рассмотрены в [13.12].
В статье антрополога Tom Schoenemann [13.13] говорится об эволюции размера мозга и его отдельных частей в связи с эволюцией поведения человека. Эволюция поведения человека всецело зависит от орудий труда, которыми он пользуется и информационной средой, в которой он находится. Можно предположить, что в процессе дальнейшей эволюции взаимодействия человека с интеллектуальным инструментом у Homo intelligentes будет расширение пропускной способности его кратковременной памяти с 4-х чанков до большего количества, как это указывалось в [13.1]. Это может произойти в обмен на снижение скорости реагирования на внешние раздражители, поскольку изменились условия существования человека. В прошлом ему была жизненно важна быстрота реакции на небольшое число одновременно протекающих событий. Сейчас жизненная необходимость в быстрой реакции уменьшилась, если конечно человек не пытается переходить улицу в неположенном месте, но зато потребовалось одновременно учитывать намного большее количество поступающей информации. Естественно, что большую часть оперативной обработки поступающего потока информации возьмет на себя alter ego, но и непосредственно мозгу для качественной адаптации с alter ego целесообразно было бы увеличить его пропускную способность.
К этому можно добавить, что скорость реакции у хищных животных выше, чем у человека, но осознанные действия у них выполняются более медленно и в этом оказалось преимущество человека.
Естественно alter ego должен быть обязательно индивидуальным. В дополнение к собственному аппарату человека по субъектному осознанию воспринимаемой информации (апперцепции) он должен содержать систему субъектно-ориентированной обработки поступающих данных, которую по аналогии с человеческой, можно назвать апперцепционной системой. Апперцепционная система должна будет производить сортировку и селекцию, с помощью кратковременной памяти и матрицы искусственных эмоций, и накопление поступающей информации во временной памяти согласно принципам, изложенным в [13.8, 13.14]. Таким образом alter ego будет производить первичную интеллектуальную обработку данных и защиту своего хозяина от потока избыточной информации, исходя из его индивидуальных запросов. При этом матрица искусственных эмоций alter ego может стать корректирующим, и в чем-то конкурирующим, дополнением лимбической системы мозга.
Надо учитывать такое энергосберегающее качество мозга как его лень [13.15, 13.1] и связанную с этим возможность редукции некоторых функций мозга и их последующей деградации при активном выполнении этих функций с помощью alter ego. Поэтому, чтобы сохранить их, хотя бы в резервном состоянии, по-видимому, в алгоритмы работы alter ego надо закладывать определенную систему стимулирования работы мозга своего хозяина. Кроме того, необходимо распределение функциональных обязанностей мозга человека и alter ego.
Для субъектно-ориентированного функционирования alter ego должен работать на основе программ, адаптированных под каждого индивидуума. Доступ к нему и соответственно к человеко-инструментальному интеллектуальному взаимодействию, по-видимому, должен быть только при выполнении мажоритарного условия, 2-х из 3-х индивидуальных признаков человека, например, по биометрической идентификации хозяина по отпечаткам пальцев, распознаванию голоса по спектру контрольного слова и по сетчатке глаза.
Таким образом, на страже комбинированной интеллектуальной системы Homo intelligentes, помимо внутреннего «привратника», который по Фрейду в мозгу человека цензурирует всю поступающую сенсорную информацию и пропускает выбранную осознанную часть, исходя из своих эмоциональных предпочтений [13.16], будет барьер в виде второго «привратник» с достаточно широкими полномочиями.
Для экономии энергетических ресурсов alter ego, в отличие от современных смартфонов, будут пользоваться в основном внешними хранилищами информационных ресурсов. И с таким нейроинтерфейсом человек становится еще более коллективным существом, так как опирается все в большей степени на внешние источники всевозможной информации в принятии своего решения. А с другой стороны при наличии субъектно-ориентированного alter ego он сохраняет свою индивидуальность, следуя в этом положению Талмуда, что каждый человек равноценен всему творению.
Выбор названия для будущего вида в пользу Homo intelligentes в отличие от постчеловека, по определению философа Френсиса Фукуямы [13.17], и от киборга был сделан в силу следующих соображений. Название постчеловек неопределенно и не предполагает развития. Кроме того, Фукуяма не предусматривал симбиоз человека и интеллектуального инструмента и опирался на достижения биотехнологий. Для киборга предполагается большая автономность и универсальность, и даже отсутствие эмоций [13.18]. А учитывая тенденцию к удовлетворению все большего разнообразия индивидуальных потребностей, и переходу в связи с этим к субъектно-ориентированному производству и потреблению и, исходя из экономии ресурсов, не нужны будут универсальные комбайны.
В таком обществе развитие индивидуумов будет происходить согласно отработанного эволюцией механизма генетического развития, в котором присутствует некое внутривидовое ограничение. Такое ограничение математически можно представить в виде допустимого отклонения R, определяемоего в зависимости от выбранной метрики, выражением
(13.1)
где qi – i-ый параметр, характеризующий рассматриваемый вид, qmj — оценка среднего дискретного статистичеткого распределения параметров по выборке субъектов данного вида на j-ом шаге смены субъектов вида, N — число параметров, wij – оценка веса параметра, p – показатель, характеризующий вид метрики, выбор которой влияет на допустимые соотношения отклонений параметров.
Оценку параметров qi можно производить на основе лингвистических переменных с
использованием 9-ти бальной шкалы Саати, а в качестве qmj брать робастную оценку по
репрезентативной выборке субъектов данного вида, в простейшем случае медианную.
При наличии ограничения отклонения совокупности параметров индивидуума R имеется возможность формирования его отдельных параметров qi в достаточно широком диапазоне путем проб и оценок. Таким образом, возможно с одной стороны виду избежать сингулярности, а с другой, в силу того, что величина qmj не постоянна во времени и с каждой j итерацией меняется, то это не ограничивает эволюционное развитие вида. Таким образом, будет сохраняться эволюционная тенденция в развитии человечества, и целесообразно сохранять традицию в названии вида как Homo intelligentes.
По описанному принципу (13.1), возможно, развивались бы и устройства ИИ в своем коллективе [13.8] в случае прихода в конкуренции между человеком и ИИ к рассмотренному выше второму сценарию. Так как по множеству причин невыгодно будет в коллективе ИИ абсолютного доминирования сверхсильного ИИ.
С учетом того, что индивидуальность каждого человека поддерживается его субъектно-ориентированным alter ego, то коллективный разум может быть децентрализованным и функционировать по принципу технологии блокчэйн. Так что на него никто не сможет оказывать доминирующего влияния. Он присутствует всюду и ни откуда конкретно не управляется. В такой децентрализованной системе коллективного разума апперцепционные системы alter ego с одной стороны будут поддерживать индивидуальность, а с другой стороны они будут и адаптивными исходя из условий окружающей среды и внутреннего состояния индивидуума.
За счет того, что отдельными индивидуумами все время будет генерироваться новая информация и будет происходить ее обмен по цепям обратной связи через апперцепционные системы нейроинтерфейсов, то коллективный разум будет формироваться с эмерджентными свойствами.
Для осуществления двухсторонней связи «мозг-мозг» в коллективном разуме потребуется с каждым индивидуумом глобальная многоканальная система узлов связи, которые, возможно, потребуется размещать на множестве селективных ретрансляторов по всей Земле. В качестве таких ретрансляторов могли бы быть спутники, размещенные на геостационарной орбите, на высоте 35 786 км над уровнем моря. Идею использования геостационарной орбиты для связи была высказана еще в 1945 году замечательным писателем-фантастом Артуром Кларком. Такой спутник по отношению к наблюдателю на земле как бы висит в небе неподвижно. Однако у такой системы есть ряд недостатков. Для нее необходима относительно большая мощность излучения передающего ретранслятора и высокая чувствительность приемников. При этом задержка сигнала приблизительно равна 0.24с, и практически невозможна связь на широтах выше 81°.
Этих недостатков можно избежать за счет запуска на более низкие орбиты множества спутников, которые поддерживая связь между собой и постоянно обмениваясь полученной информацией, будут создавать эффект висящего неподвижно над каждым потребителем ретранслятора. Осуществление такой связи технически намного сложнее, чем с геостационарной орбиты. Для выполнения такой системы связи надо решить множество задач по коммутации между собой спутников и постоянной автоподстройки приемников спутников для учета изменения частоты сигнала за счет эффекта Доплера.
Для целей глобального интернета уже разрабатываются спутниковые интернет сети такими компаниями как OneWeb, Boeing и китайской аэрокосмической корпорацией CASIC [13.19, 13.20]. Наиболее перспективным в этой области является проект фирмы SpaceX Элона Маска. До 2024 года SpaceX планирует запустить на 83 орбиты 4425 спутников на высоты от 1,110 км до 1325 км. Это позволит для широкого спектра потребителей охватить интернет-связью практически любую точку планеты и обеспечить ее с высокой скоростью, близкой к скорости передачи сигнала по оптоволоконному кабелю, и большой пропускной способностью [13.19, 13.21].
Наличие интеллектуальных нейроинтерфейсов в системах alter ego и надежной, практически мгновенной, глобальной коммуникации между индивидуумами позволяет коллективному разуму работать в реальном масштабе времени. Это придает коллективному разуму новое качество, которое дает возможность говорить о его трансформации во Всеобщий разум, в некоторой степени близкий тому, что излагал Людвиг Фейербах в [13.22]. И рассуждать о взглядах пантеистов [13.23] и идеи бога-природы, изложенной философом Барухом Спинозой в «Этике» [13.24]. Эту идею поддерживали такие великие мыслителей как Гете и Альберт Эйнштейн.
Если опираться на идеи пантеистов и Баруха Спинозы, то Всеобщий разум должен охватывать не только людей, но и всю остальную живую и неживую природу. Вполне возможно, новейшие технологии и дальнейшие научные исследования позволят обеспечить такое единство. Всеобщий разум должен будет иметь возможность работать в системах разных масштабов и времени, отличие работы в которых для разных устройств ИИ рассмотрено в [13.25]. Это позволит, в частности, многие процессы, которые современному наблюдателю-человеку кажутся хаотическими, рассматривать как детерминированные. И возможно подтвердит взгляд Альберта Эйнштейна о детерминизме всего происходящего в мире, который придерживался позиции Спинозы, что «В природе вещей нет ничего случайного, но все определено к существованию и действию по известному образу из необходимости божественной природы» [13.24].
Научный мир привык опираться в своих заключениях на результаты, полученные методом проб и оценок. Неподтвержденные таким образом идеи рассматриваются как спекулятивное суждение. Каждый раз они будут такими, пока технические средства проведения экспериментов не достигнут того уровня, который позволит подтвердить или отвергнуть идею. Средства измерения постоянно совершенствуются как по быстродействию, точности, селективности, так и по помехоустойчивости. Серьезным продвижением в создании экспериментальной базы может стать рентгеновский лазер XFEL на свободных электронах, введенный недавно в эксплуатацию в Германии. Самый производительный в мире лазер позволит получать очень яркие и сверхкороткие импульсы рентгеновского излучения [13.26], что даст возможность в реальном масштабе времени следить за изменениями в сверхбыстрых химических процессах и физических процессов в наномире.
Таким образом, человечество повышает уровень достоверности строящихся им моделей окружающего мира. Однако, это не отрицает изложенного Спинозой в теореме 31 работы [13.24] вывода «О продолжении отдельных вещей, находящихся вне нас, мы можем иметь только весьма неадекватное познание», и на пути к адекватности будут периодически открываться невообразимые детали мироустройства.
При рассматриваемом выше развитии различных технологий в перспективе будет возможна не только телепатическая связь между живыми существами, но и при определенных технических усовершенствованиях можно будет, например, через, упоминавшиеся выше, космические селективные ретрансляторы осуществлять воздействие на элементы неживой природы по типу телекинеза за счет использования силовых физических полей, сформированных определенным образом.
С развитием Всеобщего разума будут совершенствоваться его высшие элементы. В результате своего развития Homo intelligentes будет иметь практически неограниченные возможности по своему усовершенствованию, и таким образом может сформироваться человек совершенный (Homo perfectus). Существо, нацеленное на всестороннее развитие, как физически, так и духовно. В отличие от подхода либертарианского трансгуманизма [13.27] к построению будущего общества, автор во многом более склонен придерживаться взглядов экономиста Джона Кейнса на сочетание децентрализации в принятии решений и разумной роли государства в координации и контроле социально-экономических процессов в обществе [13.28].
Предполагается, что общество Homo perfectus будет зиждиться на идеологии мудрого патернализма, поддерживаемой Всеобщим разумом в рамках некоего общественного гомеостаза. Такая политика может быть симбиозом метафизического консерватизма и диалектического развития и в какой-то степени следовать концепции окна Овертона [13.29].
Как результат будут воспитаны Homo perfectus, обладающие этическими нормами поведения, определяемыми не сиюминутной выгодой, присущей некоторым их предкам, а долгосрочным горизонтом прогнозирования и планирования, и адекватно адаптированные под это своей матрицей эмоций. При этом универсальность возможностей Homo perfectus будет определяться не сугубо его личными качествами, как у киборга, а за счет использования накопленных знаний всего общества, и он сам будет активно генерировать идеи в общую копилку в соответствии с принципами, изложенными в [13.12].
При ином развитии общества человеческий вид может не выжить в конкуренции с порождаемым им ИИ и не сможет сделать ИИ своим послушным инструментарием.
Трудно прогнозировать, когда сформируется Homo perfectus. Можно попытаться сделать такую оценку на основе следующих соображений. Если опираться на собранные Институтом сингулярности оценки 95 экспертов в области ИИ о времени наступления точки сингулярности [13.30], то средняя величина оценок составляет 20 лет. По оценке Курцвейла небиологический интеллект появится к 2044 году [13.2]. Прогнозы по времени близки и к этому моменту, при благоприятном исходе конкурентной борьбы человека с ИИ, должен будет уже доминировать Homo intelligentes.
Моисей в далеком прошлом практически применил принцип, основанный на свойстве генетической памяти, о необходимости смены двух поколений для формирования нового сознания у народа, который годится для наших рассуждений. Опираясь на оценки футурологов, исходя из примененного Моисеем принципа, и предполагая, что в будущем третье поколение Homo intelligentes будет формироваться не менее через 60 лет, то можно ожидать появление Homo perfectus к концу 21 — начала 22 века.
На этом совершенствование человеческого вида не остановится. И скорее всего оно пойдет в сторону дальнейшего диалектического развития индивидуальных и коллективных качеств Человека-Творца.
БИБЛИОГРАФИЯ
13.1. Козлов М. Эволюция человеко-инструментального взаимодействия от Homo habilis до Homo intelligentes. NIZI.co.il / Наука и жизнь Израиля. 15.09. 2017.
13.2. Технический директор Google расписал будущее мира: прогноз до 2099 года.
InfoResist. 24.04.2015.
13.3. Нудельман Р. Наш последний общий предок. MADAN. 01.12.2016.
13.4. Станут ли роботы причиной глобальной безработицы? Блог компании ASUS Russia. 24.09. 2014.
13.5. Liu Cixin. The Robot Revolution Will Be the Quietest One. NY Times. Dec. 7, 2016.
13.6. Козлов М. От технологической эволюции к сингулярности и как избежать когнитивной деволюции. NIZI.co.il / Наука и жизнь Израиля. 30.07. 2017.
13.7. Minsky, M. The Society of Mind / Marvin Lee Minsky N.Y. Simon and Schuster. 1988.
13.8. Козлов М. Искусственные эмоции для коллектива искусственных интеллектов. NIZI.co.il / Наука и жизнь Израиля. 5.11.2014.
13.9. Козлов М. Что же делать, чтобы роботам не пришлось платить зарплату. NIZI.co.il / Наука и жизнь Израиля. 17.12. 2016.
13.10. Teasdale T.W., Owen D.R. Secular declines in cognitive test scores: A reversal of the Flynn Effect. Intelligence 36 (2008). P. 121–126.
13.11. Jaynes J. The Origin of Consciousness in the Breakdown of the Bicameral Mind. A Mariner Book. N.Y. 2000.
13.12. Козлов М. Биржа идей и переход к системе субъектно-ориентированного рецензирования. NIZI.co.il / Наука и жизнь Израиля. 01.04. 2017.
13.13. Schoenemann P.T. Evolution of the Size and Functional Areas of the Human Brain. Annu. Rev. Anthropol. 2006. 35: P. 379–406.
13.14. Kozlov M. Computer-brain model memory and decision-making. The Bulleten of Academy. Israeli Independent Academy of Development of Science. Haifa, Israel, 2017. Vol.9, №1- Pp.27-45.
13.15. Murphy J. Believe it or not! But laziness is wired in us. 6th April 2017. https://toptheto.com
13.16. Зигмунд Фрейд. Введение в психоанализ. Изд-во: «Азбука». 2015.
13.17. Fukuyama F. Our Posthuman Future: Consequences of the Biotechnology Revolution. Farrar, Straus and Giroux, 2002.
13.18. Banks D. Doctor Who: Cybermen, W H Allen & Co plc. 1990.
13.19. Gibbs S. Elon Musk wants to cover the world with internet from space. 17.11. 2016. https://www.theguardian.com › Technology › Elon Musk
13.20. Скуратовский Б. Китай запустит 156 мини-спутников для улучшения глобального интернет-покрытия. mediasat.info. 03.04 2017.
13.21. Kharpal. A. Elon Musk’s SpaceX plans to send the first of its 4,425 super-fast internet satellites into space in 2019. 4 May 2017. https://www.cnbc.com/…/spacex-internet-satellites-elon-mus…
13.22. Фейербах Л.А. История философии. Собрание произведений в трех томах. Том 1. Москва: Изд-во «Мысль». 1974.
13.23. Harrison P. Elements of Pantheism. Element Press. 1999.
13.24. Спиноза Б. Этика. — СПб.: Аста-пресс ltd, 1993.
13.25. Козлов М.В. Искусственные эмоции в объединениях искусственных интеллектов. Журнал Вестник Житомирского Государственного Технологического университета. — 2012. — №3(62). — С.99-106.
13.26. Костив М. В Германии ввели в эксплуатацию лазер XFEL на свободных электронах. РИА Новости. 01.09.2017.
13.27. Hughes J.J. The Politics of Transhumanism. Annual Meeting of the Society for Social Studies of Science. Cambridge, MA. November 1-4, 2001.
13.28. Keynes J.M. The General Theory of Employment, Interest, and Money. Prometheus Books. 1997.
13.29. Lehman J. A Brief Explanation of the Overton Window. Mackinac Center for Public Policy. 7 July 2012.
13.30. Armstrong S., Kaj S. How We’re Predicting AI — or Failing To./ In Beyond AI: Artificial Dreams, edited by Jan Romportl, Pavel Ircing, Eva Zackova, Michal Polak, and Radek Schuster, Pilsen: University of West Bohemia. 2012. Pp. 52–75.