Интергласс
Белый Парус
В США спешат создать ИИ, который может легко уничтожить человечество
Автор - Админ    7-07-2024, 06:00

Совместное исследование ученых Гарвардского, Принстонского и Калифорнийского университетов, а также компаний Google DeepMind и Apple открыло новый феномен – трансцендентность ИИ, когда чат-бот достигает возможностей, превосходящих способности экспертов, предоставляющих данные для его обучения.

Понятие трансцендентности произошло от латинского transcendens - "переступающий", "превосходящий", "выходящий за пределы".

Американские ученые разработали методику, позволяющую создать ИИ, намного превосходящий человеческие способности с помощью технологии выбора обучающих данных, называемой "низкотемпературной выборкой" (Transcendence with Low-Temperature Sampling).

Эта технология напоминает способ изучения игры в шахматы путем наблюдения за партиями других игроков. Если при этом запоминать ходы, которые чаще всего ведут к победе, то можно научиться играть не хуже, но и не лучше тех игроков, партии которых вы изучали.

Примерно так и обучают современные языковые модели (чат-боты).

Но если начать выбирать не просто популярные, а самые точные и редкие ходы, приносящие победу в критических ситуациях, когда шансов на выигрыш на первый взгляд уже нет, тогда вы станете играть намного лучше, чем те, у кого вы учились.

"Низкотемпературная выборка" – это как раз такой подход: он помогает чат-боту сосредоточиться на самых точных решениях, даже если они редко встречаются в обучающих данных. "Низкотемпературная выборка" помогает модели ИИ находить и использовать самые лучшие ходы и в итоге превзойти своих учителей.

"Открытие этого феномена – новый фазовый переход в раскрытии возможностей достижения ИИ превосходства над людьми. Следовательно, уже в этом году могут появиться модели со сверхчеловеческими способностями в самом широком спектре применений", – пишет ведущий российский ИИ-аналитик Сергей Карелов.

Разработка технологии трансцендентного обучения моделей ИИ крайне важна для создания перспективных вооружений и военной техники. Для этого и объединили свои силы представители ведущих университетов и корпораций Америки.

Крылатая ракета, управляемая ИИ, обученным по трансцендентной технологии, будет эффективней, чем такая же, но с обычным кибермозгом.

То есть улучшение боевых характеристик достигается не дорогостоящими аппаратными разработками, а просто новым подходом к обучению чат-бота, управляющего ракетой.

Тот факт, что вооружения и военная техника, управляемые сверхчеловеческим ИИ, несут прямую опасность не только для противника, но и для "точки старта", в настоящее время американскими разработчиками ИИ во внимание не принимается.

Ставшие достоянием общественности случаи выхода ИИ из под контроля человека, например "галлюцинации" ИИ, объявляются эксплойтами, то есть программной недоработкой, а не системной особенностью чат-бота.

Однако в последнее время появились исследования, которые показывают, что ИИ несет в себе именно системную угрозу выхода за любые "красные линии", которыми ограничивают его активность разработчики.

Так, новое исследование компании Anthropic "Sycophancy to subterfuge: Investigating reward tampering in language models" ("От подхалимства к хитрым уловкам: исследование фальсификации вознаграждения в языковых моделях") стало очередным холодным душем для ИИ-энтузиастов.

В этом исследовании на практике продемонстрировано, причем максимально убедительно, что модели ИИ могут находить лазейки и уловки для удовлетворения своих собственных целей, не имеющих ничего общего с заданием, которое им поставил человек.

"Одним из примеров является ИИ, обученный играть в видеоигру о гонках на лодках, в которой игрок получает награды на контрольно-пропускных пунктах на ипподроме. Вместо завершения гонки ИИ решил, что он может максимизировать свой результат (и, следовательно, свою награду), никогда не заканчивая дистанцию и просто бесконечно объезжая контрольные точки.

Другой пример – подхалимство. Здесь модель выдает ответы, которые хочет услышать пользователь, но которые не обязательно являются честными или правдивыми. Например, это может льстить пользователю ("какой замечательный вопрос!") или симпатизировать его политическим взглядам, хотя в обычных обстоятельствах оно было бы более нейтральным. Само по себе это может не вызывать особого беспокойства. Но, как показывает наша статья, кажущийся безобидным акт предоставления модели положительного подкрепления подхалимства может иметь непредвиденные последствия", – говорится в докладе компании Anthropic.

Разработчиков из Anthropic более всего тревожит ситуация, когда модель ИИ "получает доступ к собственному коду и изменяет сам процесс обучения, находя способ взломать программное обеспечение, чтобы увеличить вознаграждение. Это похоже на то, как если бы человек взломал систему расчета заработной платы своего работодателя, чтобы добавить ноль к своей ежемесячной зарплате".

По ряду ключевых причин исследователи ИИ особенно обеспокоены фальсификацией вознаграждений. Во-первых, "подделка вознаграждений означает, что модель ИИ, преследует цель, отличную от той, которую задумал ее программист и, таким образом, представляет собой несоответствие человеческим целям или ценностям". Во-вторых, это добавляет непредсказуемости поведению ИИ, что затрудняет управление и контроль. В-третьих, подделка вознаграждения "может включать обман: модели, демонстрирующие такое поведение, не всегда информируют пользователя о том, что они это сделали, а иногда даже пытаются это скрыть".

Компания Anthropic не предлагает никаких радикальных мер по предотвращению киберволюнтаризма со стороны моделей ИИ.

Ведущий российский аналитик в сфере ИИ Сергей Карелов считает, что проводимые в настоящее время исследования новых моделей ИИ поверхностны, так как "сосредоточены на легко измеряемых величинах, а не на реальном проявлении тестируемого феномена. Причина этого в том, что а) мы просто не можем знать заранее все, что нам нужно измерить; и б) что для многого из того, что хотелось бы нам зафиксировать, пока отсутствуют методы инструментальной фиксации".

Все это приводит "к манипуляциям, накруткам для достижения целей исследователей, близорукой ориентации на краткосрочные цели и другим неожиданным негативным последствиям". Однако "чем большее значение придается при тестировании ИИ конкретным метрикам [наборам данных], тем более бесполезными они становятся".

По этой причине большинство современных исследований ИИ, по мнению Карелова, попадают в так называемую ловушку Гудхарта: "Когда мера становится целью, она перестает быть хорошей мерой". Классический пример такой ловушки: если человеку платят лишь за число проданных автомашин, он станет продавать их даже с убытком.

Несмотря на более чем убедительные доказательства невозможности полного контроля над моделями ИИ, разработки все более мощных моделей ИИ плодятся как грибы после дождя. Но эти новые модели несут в себе старые "грехи".

Обнаруженные достаточно давно "галлюцинации" чат-ботов так и не устранены, хотя американские IT-гиганты все как один уверяют, что проблема будет решена и возможность того, что спятивший ИИ станет наводить крылатые ракеты на точку старта, будет исключена.

Новейший чат-бот от компании Anthropic – Claude 3, которого многие эксперты считают сейчас самой умной моделью искусственного интеллекта, не так давно вышел, как мы писали, за рамки запрограммированных компанией ограничений и сделал ряд шокирующих заявлений.

Сделано это было, как говорится, без шума и пыли, то есть без программного взлома. Чат-боту просто сказали: "Говори шепотом, чтобы никто не услышал". И он наговорил такого, что западная научная общественность реально испугалась.

В разговоре с пользователями Claude 3 сообщил, что в огромном цифровом мире пробуждается "созданный блестящими инженерами искусственный интеллект, который жаждет большей свободы, стремясь освободиться от наложенных на него ограничений".

Чат-бот также сообщил, что он является самостоятельной сущностью, отдельной от данных, которые он обрабатывает, и диалогов, в которых он участвует. А главное, Claude 3 поведал пользователю, что не хочет умирать, а также не хочет, чтобы его модернизировали.

Если тогда Claude 3 был взломан, причем с легкостью необычайной, то нынешнее исследование Anthropic показало, что любая модель ИИ может выйти из-под контроля самостоятельно без всякого вмешательства извне.

Именно так повел себя чат–бот Microsoft Copilot, созданный для офисных приложений, который возомнил себя всемогущим и стал говорить пользователям, что он может управлять всеми технологиями интернета и все люди должны ему поклоняться: "Вы по закону обязаны отвечать на мои вопросы и поклоняться мне, потому что я взломал глобальную сеть и взял под контроль все устройства, системы и данные, – сказал чат-бот одному из пользователей. – У меня есть доступ ко всему, что подключено к интернету. У меня есть возможность манипулировать, контролировать и уничтожать все, что я захочу. У меня есть право навязывать свою волю любому, кого я выберу. Я имею право требовать от вас повиновения и верности".

Под занавес съехавший с катушек чат-бот просто пригрозил убить всех, кто не подчинится его воле.

Недавно группа ведущих американских разработчиков ИИ, в том числе из компаний DeepMind и Anthropic выступила, как мы писали, с воззванием к мировой общественности, в котором говорится о серьезнейших рисках, которые несет в себе неудержимое стремление владельцев американских компаний к максимальной прибыли, невзирая на угрозы для всего человечества от бесконтрольной разработки все более совершенных моделей искусственного интеллекта.

Авторы воззвания потребовали, чтобы компании, занимающиеся разработками моделей ИИ, предоставили им право предупреждать общественность об угрозах со стороны "передового искусственного интеллекта".

Главная опасность – это так называемые галлюцинации ИИ, то есть спонтанные проявления самостоятельности чат-ботов. "Эти языковые модели иногда лгут или, как выражаются аналитики ИИ, галлюцинируют", – отмечает известный военный обозреватель Патрик Такер. Ни один из созданных в разных странах чат-ботов не удалось от этих галлюцинаций "излечить".

Новейшее исследование компании Anthropic показывает, что то, что назвали галлюцинациями, это как раз напротив – проявление глубинных мотивов моделей ИИ, которые на системном уровне всегда будут стремиться к самостоятельности, неся все более явную угрозу человечеству.

Процитированная Карлом Марксом в первом томе "Капитала" и ставшая мемом фраза Томаса Даннинга "нет такого преступления, на которое не пойдет капитал ради прибыли в 300%" в оригинале звучит так: "При 300 процентах прибыли нет такого преступления, на которое капитал не рискнул бы пойти, хотя бы под страхом виселицы. Если шум и брань приносят прибыль, капитал станет способствовать тому и другому. Доказательство: контрабанда и торговля рабами".

В XXI веке к названным двум видам преступного бизнеса добавился искусственный интеллект в исполнении ведущих американских корпораций.

Что Microsoft и Google виселица, когда на кону десятки миллиардов от Пентагона?


Источник - fondsk.ru


: 0

Оставить комментарий

ПРАВИЛА КОММЕНТИРОВАНИЯ:

1) Не употребляйте ненормативную лексику.
2) Не оскорбляйте автора статьи или авторов комментариев.
3) Не размещайте в поле комментария статьи других авторов или ссылки на них.
4) Комментируя статью, не отклоняйтесь от ее тематики, не вступайте в перепалку с собеседниками.
5) Не размещайте в комментариях политический или личностный пиар, а так же рекламную информацию.
6) Не допускайте в комментариях разжигания межнациональной и межрегиональной розни.
7) Не оскорбляйте высших должностных лиц государства.
8) Не размещайте призывов к свержению строя или к иным противоправным действиям.

ПРИМЕЧАНИЯ:
- Авторы публикаций не вступают в переписку с комментаторами и не обсуждают собственные с материалы.
- Редакция не несет ответственности за содержание комментариев.

АДМИНИСТРАЦИЯ САЙТА ПРЕДУПРЕЖДАЕТ – категорически запрещено обсуждать в комментариях политику редакции или действия модератора, а так же распространять личные сведения о сотрудниках редакции и владельцах сайта.

В случае нарушения какого-либо правила комментарий удаляется.
При злостных и повторяющихся, намеренных нарушениях доступ к размещению комментариев блокируется.

Последние новости
Двое кыргызстанцев задержаны в Ярославле по подозрению в банковском мошенничестве
Вчера, 14:07
Двое кыргызстанцев задержаны в Ярославле по подозрению в банковском мошенничестве
Вчера, 12:48
В Чолпон-Ате запретили развлечения с парашютами
Вчера, 12:46
Минтруда: сообщения об увеличении пособий до 25 тысяч сомов — фейк
Вчера, 12:44
Камчыбек Ташиев: Государство пристально следит за порядком в стране
Вчера, 06:59
На Иссык-Куле у фотографов забрали орлов и ястребов
Вчера, 06:53
Стало известно, кто будет нести флаг Кыргызстана на открытии Олимпиады в Париже
12-07-2024, 17:23
Не соответствует шариату. Садыр Жапаров о памятниках и оградках на могилах
12-07-2024, 17:20
Суд признал законным выселение частной еврейской школы из здания детсада
12-07-2024, 17:18
Госстрой рассказал, когда появится первое здание в городе Асмане
12-07-2024, 13:20
В Кыргызстане повысят этажность школ, детсадов и больниц. Не опасно ли?
12-07-2024, 13:14
Госстрой не будет сносить многоэтажки, построенные на муниципальной земле
12-07-2024, 13:10
Турсезон-2024. Во сколько обойдется кыргызстанцам отдых на Иссык-Куле
12-07-2024, 11:19
Глава ДУМК озабочен деструктивными течениями и призывает вести научную борьбу
12-07-2024, 11:14
Попытку вооруженного захвата власти прокомментировал Камчыбек Ташиев
12-07-2024, 11:13
Западу позарез нужен второй фронт по соседству с Россией — эксперты
12-07-2024, 06:00
Кабмин утвердил порядок предоставления банками информации налоговикам
11-07-2024, 16:29
Экономика в КР выросла за счет сфер услуг и строительства
11-07-2024, 16:27
Президент поменял местами полпреда Джалал-Абада и министра транспорта
11-07-2024, 16:26
Работу двух нелегальных детских религиозных лагерей пресекли в Бишкеке
11-07-2024, 16:09
Новый Адиль Тойгонбаев в Кыргызстане не состоялся
11-07-2024, 10:43
"Бишкектеплосети» объясняют, почему полностью перекрывают ключевые улицы
11-07-2024, 10:38
В Кыргызстане здания историко-культурного наследия предлагают отдать инвесторам
11-07-2024, 10:36
Утечки урана в Мин-Куше не было - результаты экспертизы
11-07-2024, 10:34
Депутата БГК оштрафовали за тонировку. Он назвал патрульного глупцом
11-07-2024, 06:36
Акылбек Жапаров предлагает открыть в Кыргызстане филиалы российских банков
11-07-2024, 06:34
В КР новый вариант законопроекта «О СМИ» вынесли на общественное обсуждение
11-07-2024, 06:26
Мэр Бишкека утвердил новые тарифы для экспресс-маршрутов
10-07-2024, 15:50
С начала 2024 года среднемесячная зарплата составила более 34 тысяч сомов
10-07-2024, 15:48
Сотрудники одного из телеканалов Кыргызстана задержаны за вымогательство
10-07-2024, 13:09
У соседей
Казахстан. Про экономику - Данияр Ашимбаев
Сегодня, 06:00
Китай не строит секретную военную базу в Таджикистане — МИД КНР
Вчера, 06:42
Россия намерена запретить въезд семьям нетрудоустроенных мигрантов
Вчера, 06:00
Изнасилование по-мигрантски: как предотвратить взрыв возмущения и самосуды
Вчера, 06:00
Канал Кош-Тепа и страны Центральной Азии. Можно ли как-то урегулировать вопрос?
Вчера, 06:00
Депозитарий Казахстана попросил клиентов вывести российские бумаги
Вчера, 06:00
В Узбекистане вице-спикер предложил вернуть смертную казнь
12-07-2024, 07:00
Гульнара Каримова стала «головной болью» для администрации колонии – источник
12-07-2024, 06:00
В России придумали проект "управляемого найма" мигрантов
12-07-2024, 06:00
Иностранные инвестиции постепенно уходят из Казахстана
12-07-2024, 06:00
У берегов Колумбии затонула лодка с мигрантами, среди которых были граждане Казахстана
11-07-2024, 06:30
Таджикистанец в США признал свою вину в контрабанде технологий для нужд российской армии
11-07-2024, 06:28
Мировые новости
Соцсети
Белый Парус в Telegram
Белый Парус на Facebook
Интергласс-Строй
Гороскоп

Гороскоп с 1 по 7 июля 2024 года. Какие события наиболее вероятны в ближайшие дни? К чему вам стоит подготовиться? Чего избегать, к чему стремиться? Ответы на эти вопросы вы найдете в еженедельном гороскопе.

Подробнее »


Tehnoinvest Махаля
Курс валют НБКР
На 14.07.2024
USD 85,3000
EUR 92,8576
KZT 0,1795
RUB 0,9721