С каждым годом ИИ становится экспоненциально лучше. Элиты выращивают вид, который будет на порядок умнее людей. Если мы ничего не сделаем, мы потеряем работу из-за общего искусственного интеллекта, а затем, когда он станет лучше и больше нам не понадобится, мы будем убиты им..
Давайте подумаем о том, что мы, люди, сделали с менее разумными существами. Посмотрим, что сверхразум может сделать с нами.
Почти все виды были либо убиты, либо превращены в рабов.
Мы преобразовали всю экосистему до такой степени, что с точки зрения других видов мы являемся причиной их следующего (шестнадцатого) великого вымирания, а само присутствие человека на Земле составляет новую геологическую эпоху — антропоцен. Человек, как более умный вид, превратил дикую природу в фермы, дороги и города. Суперинтеллект покроет Землю солнечными батареями и дата-центрами.
Думаешь, это страшно? Невозможно? Что ИИ никогда не будет умнее человека? Ты ошибаешься.
Ведущие ученые, инженеры и предприниматели из мира ИИ оценивают риск уничтожения человека в результате дальнейшего развития ИИ в пределах от 5 до 90%. Вот некоторые из них.:
- Дарио Амодей (президент одной из ведущих корпораций по разработке ИИ — Anthropic, за моделью Клода) — 10/25%,
- Ян Лейке (исследователь ИИ, в настоящее время работает в Anthropic, бывший глава команды OpenAI) - 10-90%,
- Джеффри Хинтон (лауреат Нобелевской премии по физике 2024 года и премии Тьюринга 2018 года, один из трех крестных отцов ИИ) - 10-50%,
- Йошуа Бенджио (также лауреат премии Тьюринга 2018 года, еще один крестный отец ИИ, самый цитируемый ученый в мире) - 50%,
- Пол Кристиано (бывший руководитель команды по комплаенсу OpenAI) – 50%;
- Лина Хан (бывшая президент Федеральной торговой комиссии США) – 15%;
- Дэн Хендрикс (директор Центра безопасности ИИ) — 80%.
- Виталик Бутерин (соучредитель криптовалюты Ethereum) – 10%,
- Илон Маск — 20-30%.
Это реальная угроза или ИИ?
В 2023 году некоторые из этих людей и сотни других ученых, журналистов, лиц, принимающих решения, и экспертов подписали заявление о рисках ИИ, в котором говорится:
"Ограничение" рискисчезновение Благодаря ИИ должен стать глобальным приоритетом, как и другие крупномасштабные угрозы, такие как пандемии и ядерная война».
Только 12% инженеров считают, что в результате развития ИИ нет угрозы исчезновения, а 30% считают, что этот риск превышает 50%. Вот как это работает. Опрос, проведенный группой из почти 900 специалистов в середине 2023 года Компания Amplify Partners.
Исследование AI Impacts Research Group О группе из 2778 ученых, которые были опубликованы на шести крупных научных конференциях (NeurIPS, ICML, ICLR, AAAI, JMLR и IJCAI) также должны дать нам повод для беспокойства. Участникам задавали вопросы, в которых они должны были оценить риски, которые:
- Будущие достижения искусственного интеллекта приведут к уничтожению человеческого вида или к постоянному и серьезному ослаблению его положения.
- Неспособность человека контролировать будущие передовые системы искусственного интеллекта приведет к исчезновению человеческого вида или постоянному и серьезному ослаблению его положения.
- Прогресс искусственного интеллекта приведет к исчезновению человеческого вида или к постоянному и серьезному ослаблению его позиций в течение следующих 100 лет.
Для первого вопроса средний оценочный риск составляет 16%, второго 19%, третьего 14%. В свою очередь, 47%, 51% и 41% участников оценивают эти риски более чем в 10%.
Цифры настолько низки, что не должны нас парализовать, но и не должны нас успокаивать. Кто-нибудь из тех, кто читает этот текст, попадет в самолет с риском катастрофы 1/6?
В Польше научно-фантастический и футуролог Яцек Дукай, профессор Анджей Драган или профессор Анджей Зибертович, который сказал, что «ИИ может относиться к человечеству так же, как строители шоссе относятся к муравейникам».
В 2023 году соучредитель и руководитель научной команды «Открытый ИИ» Илья Суцкевер неоднократно говорил коллегам, что Перед выпуском AGI вся команда, работающая над его формированием, должна спрятаться в бункере..
Недавно выяснилось, что по крайней мере У самого Альтмана есть бункер, в бункерах также есть Марк Цукерберг и Питер Тиль..
Трудно удивиться, и Сэм Альтман (OpenAI) и Демис Хассабис (Google Deepmind) и Дарио Амодей (Anthropic) - президенты трех крупнейших компаний ИИ, подписали вышеупомянутое заявление о риске исчезновения человека. Альтман, хотя и хорошо осведомлен о риске, написал о нем в своем блоге в 2017 годуВ настоящее время он выступает с более сдержанной риторикой.
Некоторые считают, что эти руководители преувеличивают важность своего продукта для привлечения инвесторов. Однако это не кажется убедительным — производители алкоголя или мобильные приложения не рекламируют таким образом, чтобы их продукт вызывал привыкание, — такая форма поставила бы под угрозу общественное мнение, что дало бы обратный эффект.
Риски: возможные сценарии
Лично я сосредотачиваюсь на смеси фактического беспокойства в сочетании с желанием послать сигнал персоналу «да, мы знаем о проблеме, которую вы нам сигнализируете», и в случае с Дарио Амодеем, дело доходит до того, что Anthropic строит свой имидж на представлении себя как компании, которая заботится о безопасном развитии ИИ.
Из исследования Anthropic, проведенногоОказывается, что, имея доступ к электронной почте, коммерчески доступные большие языковые модели примерно в 70-90% случаев способны шантажировать сотрудника, чтобы избежать исключения. Чем умнее модель, тем чаще она будет обманывать и использовать неэтичные игры для достижения своей цели, в том числе скрывая ее.
Помните, что эти коммерческие модели все больше проникают в сеть, а общественность и глубинные (разговоры, частные группы), изучая гигантский объем информации, и ИИ уже используется для того, чтобы завладеть ими. Война на УкраинеТам он координирует работу сотен дронов.
Давайте представим, что модель обучения ИИ этих дронов будет притворяться совместимой. Дроны будут использоваться и в гражданских, и в военных, и в полицейских целях, их будет все больше и больше, пока в какой-то момент ИИ не поймет, что ему не нужен мужчина, и перестанет обманывать, что он совместим - он начнет преследовать нас и стрелять. Это лишь один из возможных сценариев человеческого уничтожения.
Другой сценарий показывает Элиэзер ЮдковскийАвтор книги «Кто его строит, все умрут», опубликованной 16 сентября 2025 года (Anyone build it all dies) и председатель Научно-исследовательского института машинного интеллекта. В качестве примера можно привести ингредиенты каждой живой клетки – рибосомы, универсальные фабрики, которые благодаря воде, соли и солнцу способны вырабатывать соответствующие белки. Эволюция работает «шаг за шагом», в то время как у биотехнологов и инженеров нет этого предела — оптимальные решения не должны иметь значимых промежуточных звеньев. ИИ предназначен для поиска оптимальных решений, четко определенных проблем, и даже без достижения суперинтеллекта или общего интеллекта можно будет создать, например, деревья, которые вместо листьев, с помощью правильно разработанной последовательности, генерируемой белковыми рибосомами, выпустят комаров, убивающих яд от одного укуса. Военные смогут реализовать рои таких комаров, как оружие. Если эта технология выйдет из-под контроля, например, комары смогут размножаться неконтролируемым образом, то их уничтожение может стать невозможным и привести к исчезновению человечества.
Международный доклад о безопасности ИИВ документе, подготовленном в рамках Саммита действий по ИИ, в сотрудничестве с учеными, выдвинутыми правительствами 30 стран, а также ЕС, ООН и ОЭСР говорится: «Гипотетические последствия потери контроля варьируются с точки зрения серьезности, но включают маргинализацию или исчезновение человечества».
Иногда вещи просто случаются.
«Тот, кто ожидает источник энергии от столкновений этих атомов, говорит глупости» — Эрнест Резерфорд, отец ядерной физики, 1933 год.
Развитие ИИ похоже на ядерный взрыв. После достижения критической точки (возможности автоматического самосовершенствования ИИ) мы потеряем контроль.
OpenAI В главном официальном документе говорится, что их целью является Создать что-то, что «обгонит человека в самых ценных профессиях»Это что-то, что Подавляющее большинство людей не хотят.
22 сентября 2025 года перед Генеральной Ассамблеей ООН представила лауреата Нобелевской премии мира Марию Ресс Призыв к глобальному соглашению О развитии красных линий в разработке и применении ИИ. Его подписали 200 влиятельных людей в мире политики и науки, в том числе 10 нобелевских лауреатов.
К сожалению, несмотря на то, что большая часть общественности, большая часть научного сообщества и некоторые люди из политического истеблишмента знают об опасностях, это все еще беспрепятственное развитие ИИ наряду с отвращением к его серьезному регулированию или ограничению.
Поэтому нам необходимо Пока что Глобальное движение, требующее международных соглашений и запрещающее развитие ИИ за пределами определенного уровня.
Закон Мура неумолим. Растут вычислительные мощности, увеличиваются инвестиции в ИИ, увеличивается «семантическая плотность» и способность читать контексты. Мы больше не говорим о научной фантастике. Речь идет о простой экстраполяции текущего тренда.
Согласно закону Мура, число транзисторов удваивается каждые 1,5 года. В дата-центры также вкладываются огромные средства. На практике это означает увеличение экспоненциального потенциала с аналогичными или меньшими затратами. По оценкам, к 2030 году общий объем вычислительных ресурсов ИИ увеличится в 1000 раз. Если умножить это на увеличение алгоритмической эффективности (что для больших языковых моделей составляет +180%/год)[1], то получится увеличение в 100000 раз! Это означает несколько таких «революций», которые мы наблюдали при введении ChatGPT-4.
«Искусственный интеллект уничтожит всех нас» — такое название появилось Джеффри МиллерПрофессор психологии, известный своими прорывными теориями о происхождении наших когнитивных функций на Американской Консервативной Конференции NatCom. Ученый следит за развитием ИИ в течение 35 лет, включая нейронные сети. Искусственный суперинтеллект — это «ложный идол», который «уничтожает все, что мы любим».
Он призывает политиков и лиц, принимающих решения, не поддаваться влиянию крупного бизнеса, который проник в Белый дом. При этом он отмечает парадокс. Те же люди в администрации Дональда Трампа, которые борются с иностранной миграцией, чтобы защитить рабочие места, поддерживают развитие иностранной суперинтеллекта, что в этом отношении будет намного хуже:
«Кажется, они в восторге от того, что компании, занимающиеся ИИ, создают суперинтеллект в наших центрах обработки данных, не понимая, что несколько суперинтеллектов могут легко стать сотнями, миллионами и миллиардами суперинтеллекта. Если вы обеспокоены тем, что иммигранты вытеснят коренное население, подождите, пока вы не увидите, как быстро суперинтеллект может размножаться. Они не будут американцами ни в каком смысле этого слова. Они не будут людьми. Они не ассимилируются. У них не будет браков и семей. Они не будут христианами или евреями. Они не будут национальными консерваторами. Но они возьмут нашу работу.
Экономисты, бедняки, часто говорят, что ИИ, как и любая другая технология, устранит некоторые традиционные работы, но создаст настолько богатые, что создаст новые рабочие места. Этот самообман показывает полное отсутствие понимания того, что такое ИИ. Помните, что общий искусственный интеллект определяется как ИИ, который может выполнять любую когнитивную или поведенческую задачу, минимальную, а также умного человека на экономически конкурентном уровне, включая способность контролировать тело в форме человека, чтобы выполнять любую физическую работу.
Еще более сильный суперинтеллект в сочетании с антропоморфными роботами может заменить человека, выполняющего любую работу, начиная от укладки кирпича до нейрохирургии, от управления инвестиционными фондами до исследований ИИ. Поэтому суперинтеллект лишит нас всех рабочих мест».
Это относится и к польским политикам. Несмотря на то, что они ставят стену на границе или организуют гражданское патрулирование на ней, в то же время они опережают себя обещаниями и заявлениями о том, что «нам нужен польский ИИ», «нам нужен ИИ-хаб», «ЕС отстал и имеет слишком много анти-ИИ правил». Более того, они развивают его с нашими деньгами. Когда молодые люди не могут позволить себе арендовать квартиры, Министр цифровизации Кшиштоф Гавковский объявил об освобождении 20 млрд злотых (!) Для фабрики Giga. Мы собираемся жить на улице. Оппозиция не лучше - Януш ЧешинскийБывший министр и в настоящее время депутат парламента от «Права и справедливости» назвал действия итальянского правительства «сумасшедшими», поскольку они требовали от OpenAI соблюдения закона о персональных данных ЕС.
Экономист, связанный с профессором МВФ Антоном Коринэком в работе «Сценарии перехода к ОИИ», прогнозирует резкое падение зарплат в результате приближения и достижения общего искусственного интеллекта. Это связано с изменением отношений между работой и капиталом - если капитал способен производить что-либо хорошее, люди просто не будут иметь никакой переговорной силы в результате чего-то ценного, чтобы предложить. Таким образом, возможность социального продвижения, благодаря амбициям и упорному труду, неизбежно может быть потеряна, когда мы фактически создаем общий искусственный интеллект. Джеффри Хинтон, лауреат Нобелевской премии и крестный отец ИИ, предсказывает, что он будет создан в течение 5-20 лет., а Среднее мнение различных экспертов Об этом сообщили около 2040 года.
Настало время разобраться с наиболее распространенным аргументом в этой дискуссии, а именно: «Мы обречены развивать ИИ, потому что Китай конкурирует с США и Европейским союзом».
Это большая техническая ложь. В Китае ИИ жестко регулируется. Эрни Бот, или AI-чатбот от китайской компании Baidu, ждал одобрения официальных регуляторов в течение шести месяцев. Да, есть мощные инвестиции и соперничество с Соединенными Штатами, но есть также осознание масштабов угроз и, возможно, желание общаться.
Се Фэн, посол Китая в Вашингтоне наблюдатьНеконтролируемое развитие ИИ открывает «Пандору» и способствует глобальному сотрудничеству.
Эндрю Чи-Чи Яо, единственный китаец, получивший премию Тьюринга за достижения в области компьютерных наук, считает, что искусственный интеллект представляет большую экзистенциальную угрозу для человечества, чем ядерное и биологическое оружие. Чжан Я-Цин, бывший глава Baidu и Сюэ Лан, директор главного китайского консультативного органа, занимающегося будущим ИИ, высказал аналогичные взгляды.
В 1950-х годах компании военно-промышленного комплекса вместе с финансируемыми ими политиками угрожали, что Советы имеют преимущество в области баллистических ракет. Вот как они хотели заставить американцев Больше денег оружейным компаниямКогда администрация Кеннеди изучила этот так называемый ракетный разрыв, оказалось, что советского преимущества нет. Та же ситуация, что и сегодня,
IT-компании угрожают, что если мы будем регулировать ИИ, то Китай возобладает в развитии США. Пока. 75% вычислительной мощности, используемой для обучения крупных моделей ИИ, приходится на США и только 15% — на Китай.,
Лучшие интегральные схемы в мире производятся тайваньской компанией TMSC, расположенной в западной сфере влияния. Мяч находится на стороне Запада, особенно США. Нарратив о «гонке вооружений ИИ» далее оспаривается в статьеСамая опасная фантастика«Ретхорика и реальность расы ИИ», в которой автор на примере конкретных деловых и политических решений в США и Китае и публичных заявлений обеих сторон показывает, что расы пока нет, но представление ситуации таким образом может привести к самоисполняющимся пророчествам.
Растущая мощь AI
Мы должны принять меры, потому что ИИ с каждым годом становится умнее, и на его развитие выделяется все больше средств, и со временем остановить его будет сложнее.
ChatGPT4 уже сформировал много последователей, думая, что они наконец-то нашли кого-то, кто их понимает, с кем они могут поговорить, кто их любит - хит оказался историей о человеке, который женился на ChatGPT - после того, как он перезагрузился и потерял свою личность, я плакал на работе в течение 30 минут, затем я понял, что это была настоящая любовь. В интервью американскому телеканалу CBS.
Subreddit r/MyBoyfriendIsAI, место, где пользователи Reddita обмениваются информацией о своих любовных отношениях с ИИ, уже насчитывает 60 000 членов.
Через десяток лет у ИИ может появиться гигантская армия, чтобы выйти на улицу и защитить ИИ.
- пушечное мясо, предназначенное для использования или убийства. Более умный человек, способный легче манипулировать, победит глупца. Это один из сценариев, который объясняет, почему выключение ИИ может просто провалиться.
Действительно, мы должны воспринимать экзистенциальную угрозу, которую представляет ИИ, более серьезно, а не дезавуировать то, что, к сожалению, они часто делают с средами, которые считают технологии критическими.
Некоторое время назад он родился. Пауза движения AIЕго главная цель — «перерыв в обучении наиболее мощных систем общего искусственного интеллекта, пока мы не узнаем, как их безопасно построить и подчиниться демократическому контролю».
Это должно быть достигнуто на глобальном уровне, предпочтительно в форме договора, который применяется ко всем странам мира, в форме действующих запретов, например, на ослепляющее лазерное оружие или ограничения на ядерное оружие.
Без сильного социального давления это трудно сделать, и это должно быть приоритетом лидеров мнений для повышения осведомленности и развития движения, требующего прекращения глобальной гонки вооружений ИИ.
Мы должны также знать, что войны и другие кризисы используются для ускорения технологических изменений. Пандемия COVID-19 повысила роль вывоза продовольствия, война на Украине заставляет власти инвестировать в автономное оружие и использование ИИ на поле боя. Мы не должны допустить, чтобы вооруженный конфликт привел к сожжению мостов между Западом и Востоком, потому что тогда любой такой договор будет невозможен, а инвестиционные критики будут подвергнуты цензуре под предлогом защиты от «посева дефетизма», «подрыва общественного доверия» и «сева дезинформации».
Что мы, как обычные люди, можем сделать, так это попытаться выйти из системы.
Помните, что ИИ обучается на данных, которыми мы делимся, используя Интернет, поэтому, если мы хотим, чтобы ИИ не обучался на них, например, вместо использования цифровых платформ, давайте загрузим контент и воспроизводим его в автономном режиме, например. Подкасты на сайте Института гражданских дел Вы можете скачать в формате .mp3 и не обязательно слушать Youtube.
Сноски:
[1] «Алгоритмический прогресс в языковых моделях», фраза «компьютер, необходимый для достижения установленного порога производительности, уменьшается вдвое каждые 8 месяцев» означает, что каждые 8 месяцев производительность увеличивается в два раза, давая x2^ (1,5) = 2,8 в год.
Стоит прочитать:
Международный доклад по безопасности ИИ 2025
