Palantir и Anduril, две ведущие компании в сфере оборонных технологий, 7 декабря 2024 года объявили о создании отраслевого консорциума для устранения препятствий, которые, по их мнению, мешают Министерству обороны США принять ИИ.

"Наша цель - предоставить технологическую инфраструктуру, от периферии до предприятия, которая позволит нашему правительству и отраслевым партнерам трансформировать ведущие мировые достижения Америки в области искусственного интеллекта в военные и национальные возможности безопасности следующего поколения", - заявили компании в пятницу в совместном обращении.

Обе фирмы являются ключевыми игроками в экосистеме искусственного интеллекта и программного обеспечения Пентагона. Palantir создает платформы для анализа и обработки данных, а Anduril разрабатывает ряд современных аппаратных и программных систем, в значительной степени ориентированных на автономность и искусственный интеллект.

Компании работают вместе над программой создания армейской системы доступа к тактической разведке и наведения. Эта система будет использовать искусственный интеллект для интеграции и наведения. Ожидается, что система будет введена в эксплуатацию в течение ближайших двух лет.

Palantir также предоставляет базовое программное обеспечение для платформы данных армии, которая помогает руководителям всех подразделений получать полную информацию и быстро принимать решения (контракт был заключен в 2017 году). Армия использует Palantir для обеспечения готовности подразделений, управления боевой мощью, логистикой и установками, а также для вербовки.

Тем временем Anduril поставляет оборудование и программное обеспечение для инициативы Пентагона Replicator, целью которой является развертывание тысяч небольших сетевых беспилотников к августу 2025 года.

В рамках нового партнерства компании будут развивать существующие линейки продуктов, включая платформу искусственного интеллекта Palantir, AIP, и Menace от Anduril - программно-определяемую систему управления и контроля.

Цель состоит в том, чтобы решить две ключевые проблемы, которые, по их мнению, препятствуют внедрению ИИ в вооруженных силах США: готовность данных и отсутствие безопасного канала для масштабирования отраслевых моделей ИИ.

Для решения второй задачи команда хочет воспользоваться AIP, чтобы предоставить возможность облачного управления данными и обеспечить доступ ИИ ко всей информации разных уровней секретности. Они также планируют объединить интеллектуальную систему Maven от Palantir с программным обеспечением Lattice от Anduril, чтобы обеспечить "бесперебойную операционную возможность" для разработки и внедрения новых инструментов ИИ на оборонном предприятии.

"Эта платформа уже внедрена и используется компаниями Anduril и Palantir для их собственных корпоративных целей, а также в рамках государственных контрактов, что позволяет начать эту работу немедленно", - заявили компании. Планируется в конечном итоге расширить партнерство и включить в него больше фирм.

Новости о консорциуме появились на фоне объявлений о нескольких других отраслевых сотрудничествах с участием двух компаний. Anduril заявила на прошлой неделе, что объединится с создателем ChatGPT OpenAI для использования алгоритмов ИИ в целях улучшения возможностей военных по борьбе с дронами.

В свою очередь Palantir объявила 7 декабря 2024 года, что объединяет усилия с Booz Allen Hamilton для продвижения оборонных инноваций среди союзников США. Это партнерство фокусируется на модернизации оборонной инфраструктуры и использовании инструментов, ориентированных на данные, для улучшения сотрудничества между странами-партнерами.

Поддержание технологической конкуренции

Тем временем в начале декабря 2024 года два сенатора США представили законопроект, призывающий Министерство обороны США ввести ограничения для поддержания конкуренции за крупные программы разработки технологий.

Законопроект, предложенный сенатором Элизабет Уоррен (демократ от Массачусетса) и сенатором Эриком Шмиттом (республиканец от Миссури), нацелен на программы Министерства обороны США в области искусственного интеллекта и облачных вычислений, портфели которых, по их словам, преимущественно сосредоточены в руках нескольких компаний из Кремниевой долины.

"Сейчас все наши яйца в одной гигантской корзине Кремниевой долины. Это не только душит инновации, но и обходится дороже, и это серьезно увеличивает наши риски безопасности", - заявила Уоррен в своем заявлении. "Наш новый законопроект гарантирует, что по мере того, как Министерство обороны будет расширять использование инструментов ИИ и облачных вычислений, оно будет заключать выгодные сделки, которые сохранят нашу информацию в безопасности, а наше правительство - устойчивым".

Конкретные положения законопроекта включают требование к Министерству обороны проводить открытый конкурс для любых программ в области искусственного интеллекта или интеграции данных с годовыми контрактами на сумму не менее 50 миллионов долларов.

В документе также содержится поручение Главному управлению по цифровым технологиям и искусственному интеллекту Пентагона обеспечить безопасность и защиту любых правительственных данных, используемых для создания или эксплуатации военных инструментов с применением искусственного интеллекта, особенно если они хранятся вместе с данными поставщиков.

ИИ и ядерное оружие

16 ноября 2024 года лидеры США и Китая встретились на полях саммита Азиатско-Тихоокеанского экономического сотрудничества в Лиме (Перу), совместно подтвердив "необходимость сохранения контроля человека над решением о применении ядерного оружия". Эта декларация перекликается с совместным документом, представленным Францией, Великобританией и Соединенными Штатами в ходе процесса рассмотрения Договора о нераспространении ядерного оружия в 2022 году.

Элис Салтини и Ян Лян Пан (Центр нераспространения Джеймса Мартина, США) в статье на аналитической платформе War on the Rocks "Управление рисками, связанными с ИИ в системах командования и контроля в атомной энергетике" (06.12.2024) пишут:

"В связи с тем, что страны все чаще отдают приоритет применению ИИ в военных целях, интеграция ИИ в системы ядерного оружия становится вполне возможной, особенно по мере модернизации ядерных арсеналов. В то время как некоторые государства, обладающие ядерным оружием, подчеркивают важность надзора и контроля со стороны человека над решениями о применении ядерного оружия, еще слишком рано радоваться победе. Чтобы избежать развития событий по сценарию "Скайнет", когда ИИ получает полный контроль над ядерным оружием (имеется ввиду американский фантастический фильм "Терминатор. Восстание машин" - Е.Л., В.О.), необходимо снизить риск случайных запусков ядерных ракет.

Искусственный интеллект обещает повысить производительность и возможности систем ядерного командования, управления и связи, которые составляют основу принятия решений в ядерной области. Однако, если такая интеграция будет осуществляться поспешно и без адекватной оценки рисков, гарантий и резервирования, она может резко увеличить шанс непреднамеренной ядерной эскалации. Риски эскалации могут возникать из-за изменения динамики принятия решений, высокой скорости обработки данных, которая опережает контроль со стороны человека, или коварных ошибок, которые могут незаметно распространяться по сложным системам - независимо от того, остаются ли люди в цикле принятия решений.

Чтобы предотвратить ядерную катастрофу и обеспечить ответственное использование ИИ в ядерном командовании и управлении, государства должны выйти за рамки простых предписывающих обязательств по надзору со стороны человека.

Снижение риска непреднамеренной ядерной эскалации требует структуры управления, которая устанавливает количественный порог для максимально приемлемой вероятности случайного ядерного запуска в качестве единого критерия безопасности.

Из регулирования безопасности использования ядерной энергетики в гражданских секторах можно извлечь ценные уроки, в частности, из того, что регулирующие органы называют подходом к управлению безопасностью, основанным на "учете рисков" и "результативности". Применение этих принципов к ядерным системам командования и управления требует выхода за рамки упрощенного предписания "человек в контуре" и сосредоточения внимания на оценке показателей безопасности системы. Цель состоит в том, чтобы оценить количественную вероятность случайного запуска ядерного топлива с определенной конфигурацией подсистем с ИИ и без него и обеспечить, чтобы эта вероятность оставалась надежно ниже приемлемого порога.

Влияние ИИ на ядерные риски

Оценить, как ИИ может повлиять на ядерную сферу и способствовать непреднамеренной эскалации, - непростая задача. Нынешнее ограниченное понимание поведения моделей ИИ, их быстрое и непредсказуемое развитие, а также сложность и непрозрачность ядерных систем и подсистем, которые используются в процессе принятия решений, делают эту дискуссию в значительной степени спекулятивной. Тем не менее, можно предположить, что государства рассмотрят возможность применения ИИ в рамках масштабной модернизации устаревших ядерных арсеналов, основываясь на текущей ядерной ситуации и стремлении получить стратегическое превосходство.

Например, генерал Энтони Коттон, Глава Стратегического командования ВС США, указал на потенциал ИИ для автоматизации сбора данных, оптимизации обработки и ускорения обмена данными с союзниками. Аналогичным образом, в официальных заявлениях и документах других ядерных держав ИИ часто изображается как инструмент, помогающий руководителям, принимать более быстрые и обоснованные решения за пределами ядерной сферы.

В принципе, способность ИИ анализировать огромные объемы данных из различных источников хорошо подходит для быстрого выявления угроз, , автоматизации идентификации объектов и оценки потенциальных вариантов действий. Тем не менее, ИИ несет в себе ряд существенных рисков из-за ограничений, присущих современным передовым его моделям.

Во-первых, ИИ ненадежен. Современный искусственный интеллект может уверенно генерировать ложную информацию, которая может привести к ошибочным прогнозам и рекомендациям, что в конечном итоге исказит процесс принятия решений. Это явление называется "галлюцинациями". Примерами могут служить большая языковая модель, генерирующая неверные факты об исторических событиях, или модель зрения, "видящая" объекты, которых нет.

Во-вторых, непрозрачность систем ИИ, известная как проблема "черного ящика", затрудняет полное понимание того, как система ИИ приходит к своим выводам. Такое отсутствие прозрачности подрывает доверие и снижает полезность ИИ в условиях с высокими ставками, таких как принятие решений в ядерной энергетике, где прозрачность имеет решающее значение.

В-третьих, системы ИИ подвержены кибератакам, что создает возможности для противников скомпрометировать целостность систем ядерного командования и управления.

В - четвертых, Современные модели искусственного интеллекта стараются сопоставить свои результаты с человеческими ценностями и целями, но иногда могут отклоняться от них. Напряженная обстановка при принятии решений в ядерной энергетике в сочетании с ограниченным временем реагирования усугубляет эти опасности, поскольку решения могут основываться на неточной, непрозрачной, скомпрометированной или несогласованной информации.

Несмотря на заявления некоторых ядерных держав о сохранении человеческого контроля над принятием решений в ядерной области, не все из них открыто взяли на себя обязательство сделать это, оставляя место для серьезных последствий из-за недоразумений или неправильного толкования намерений стран. Но даже если бы все ядерные государства сделали аналогичные заявления, нет простого способа проверить выполнение этих обязательств. Более того, взаимодействие человека и машины само по себе может быть сопряжено с серьезными рисками. Операторы могут чрезмерно доверять системе ИИ, полагаясь на ее результаты без достаточного контроля, или они могут полностью не доверять ей, не решаясь действовать, когда скорость имеет решающее значение. Обе ситуации могут исказить процессы принятия решений, даже если системы ИИ функционируют должным образом.

Еще больше усугубляет эти риски неопределенность, связанная с будущими достижениями ИИ. Хотя текущие ограничения в конечном счете могут быть устранены, также могут возникнуть новые риски, которые остаются непредсказуемыми на данном этапе.

Прецедент регулирования гражданской ядерной безопасности

Несмотря на то, что риски, связанные с интегрированным ИИ в командование и управление, могут показаться новыми, управление ядерными рисками с серьезными последствиями для здоровья и безопасности населения не является новой проблемой для правительств. Действительно, принципы регулирования, которые используются в гражданской ядерной безопасности для оценки рисков и результатов, могут быть с пользой применены к взаимосвязи ИИ и ядерного командования и управления.

В Соединенных Штатах процесс "информирования о рисках" регулирования ядерной безопасности начался в 1975 году с Исследования безопасности реакторов. Таким образом, были количественно оценены риски аварий и радиоактивных выбросов, связанных с производством ядерной энергии, с использованием методов вероятностной оценки рисков. Проще говоря, эти методы отображают различные последовательности каскадных событий, включая системные сбои, которые в конечном итоге могут привести к аварии, что позволяет количественно оценить вероятности различных последствий.

До количественной оценки рисков регулирование основывалось в основном на предписывающих и детерминированных требованиях. Например, регулирующие органы предписывают несколько резервных функций безопасности для предотвращения определенных прогнозируемых аварий без явного учета вероятности какой-либо конкретной последовательности аварий. После аварии на АЭС "Три-Майл-Айленд" в 1979 году (потеря охлаждения ядерного топлива, в результате чего произошло расплавление 50% активной зоны реактора – Е.Л., В.О.). Комиссия по ядерному регулированию расширила свои исследования, включив в них более широкое применение методов вероятностной оценки рисков. В результате расследования аварии были предложены рекомендации, которые привели к политическому заявлению 1995 года и последующим планам по информированию о правилах безопасности и оценке рисков.

В то же время промышленность выступала за более широкое использование регулирования, основанного на производительности, что предоставляло лицензиатам больше гибкости в определении способов достижения определенных целей безопасности. Вместо определения того, какие функции безопасности должны быть интегрированы в конструкцию реактора, нормативные требования, основанные на характеристиках, просто устанавливают количественно измеримый результат безопасности. В своем публичном сообщении Комиссия по ядерному регулированию иллюстрирует свой подход, основанный на производительности, на примере прыжков с парашютом. В этом случае регулирующий орган установит "требование к производительности", согласно которому "парашют должен раскрываться на высоте выше 5000 футов", не уточняя, должен ли этот результат быть обеспечен с помощью разрывного шнура или автоматического устройства активации.

Руководствуясь качественной целью безопасности, согласно которой эксплуатация атомной электростанции не должна вносить существенный вклад в индивидуальные и общественные риски, к 1986 году Комиссия по ядерному регулированию определила измеримый контрольный показатель, согласно которому "общая средняя частота крупных выбросов радиоактивных материалов в окружающую среду в результате аварии реактора должна составлять менее 1 на 1 000 000 в год эксплуатации реактора". С тех пор этот эталон был усовершенствован в более операционизируемые стандарты.

В последние годы, по мере появления разнообразных и новых концепций реакторов, стало ясно, что многие функции безопасности, предписанные для традиционных реакторов, больше не применимы. Поэтому регулирующие органы уделяют приоритетное внимание разработке технологически нейтральных правил, обеспечивающих большую гибкость в том, как конструкции реакторов могут соответствовать критериям безопасности.

Как признал генерал Коттон: "Нам необходимо направить исследовательские усилия на понимание рисков каскадных эффектов моделей ИИ, возникающих и неожиданных моделей поведения, а также косвенной интеграции ИИ в процессы принятия решений в ядерной сфере". Действительно, быстрое развитие ИИ опережает исследовательские усилия, оставляя значительные пробелы в нашем понимании того, как интегрированные функции ИИ, поддерживающие принятие решений в ядерной области, могут непреднамеренно привести к эскалации.

Продолжающиеся многосторонние дискуссии об ответственной интеграции ИИ в военную сферу еще не определили, что представляет собой "безопасная" интеграция ИИ в ядерное командование и управление и смежные системы, особенно с учетом серьезных последствий, которые может вызвать даже одна ошибка. Ситуация осложняется тем, что государства, обладающие ядерным оружием, скорее всего, будут интегрировать ИИ различными способами, руководствуясь своими уникальными доктринами, возможностями и восприятием угроз.

Поэтому крайне важно установить поддающиеся количественной оценке пороговые значения риска для интеграции ИИ. Системы оценки рисков могут помочь директивным органам различать приложения ИИ с высоким уровнем риска и приемлемые. Чтобы гарантировать, что риски непреднамеренной эскалации не превышают установленных пороговых значений, они будут анализировать, как конкретные модели ИИ взаимодействуют с ядерным командованием, системами управления и смежными системами, и выявлять каскадные точки отказа, а также их потенциальные последствия.

Именно здесь регулирование гражданской ядерной безопасности может послужить полезным уроком. Регулирование рисков искусственного интеллекта в системе управления ядерной энергетикой должно включать вероятностные методы оценки рисков и использование контрольных показателей, основанных на эффективности, а не на предписаниях. Эффективность в этом контексте означает надежность систем ИИ, их способность выдавать точные и согласованные результаты, а также эффективность защиты системы. Вероятностные методы оценки рисков необходимы, потому что системы "черного ящика" по своей природе устойчивы к детерминированному анализу неисправностей, а сложные последовательности аварий требуют систематической количественной оценки рисков.

Кроме того, технологически нейтральное управление безопасностью требует подхода, основанного на оценке рисков и производительности. Вероятностная оценка рисков должна принимать во внимание технологии, а двусторонние и многосторонние соглашения в области безопасности должны применяться к различным технологиям, учитывая разные способы, с помощью которых государства интегрируют ИИ в свои системы управления и контроля.

Более того, быстрое развитие систем ИИ приведет к появлению новых режимов отказа, с которыми не всегда смогут справиться предписывающие ограждения. Таким образом, вместо жестких предписаний, которые в любом случае было бы чрезвычайно трудно проверить с помощью такой неосязаемой технологии, как ИИ, гораздо практичнее, чтобы страны договорились о наборе широких целей в области безопасности. Страны могли бы взять на себя, например, обязательство по достижению всеобъемлющей цели безопасности, согласно которой системы искусственного интеллекта, интегрированные в систему командования и управления в ядерной области, не должны увеличивать риск применения ядерного оружия, и на этой основе разработать измеримые цели в области безопасности, такие как снижение риска случайного запуска ядерного оружия на уровне 1 к 10 000 000 в год. Также можно было бы использовать методы вероятностной оценки рисков для оценки того, будет ли конкретная конфигурация систем с искусственным интеллектом (или без него) соответствовать этим целям.

Когда речь идет о системах искусственного интеллекта, оценка рисков учитывает как технологические риски, так и интеграционные риски. Технологические риски связаны с надежностью, прозрачностью и производительностью модели. Риски интеграции сосредоточены на том, как и где используется ИИ - от задач с низкими ставками, таких как повышение эффективности коммуникации, до функций с высокими ставками, таких как формулирование рекомендаций по забастовке. Конструкция и встроенная избыточность системы также являются решающими факторами при оценке.

Предписывающие обязательства, такие как принцип "человек в контуре" или исключение некоторых типов передовых систем ИИ, могут показаться категоричными, но они не являются технологически нейтральными и не гарантируют снижения риска случайного применения ядерного оружия ниже поддающегося количественной оценке порога. Более того, они создают ложное чувство безопасности и иллюзию того, что обладатели ядерного оружия могут выполнить свои обязательства по снижению риска, следуя набору предписаний, которые не меняются со временем и не гарантируют удержания рисков аварий ниже определенного порядка.

Конечно, объективные критерии эффективности не всегда могут быть определены, поэтому гражданские регулирующие органы ядерной безопасности сохранили некоторые предписывающие требования. Вероятностные методы оценки рисков также имеют свои ограничения, особенно в оценке вклада в риск со стороны человеческих, организационных факторов и факторов культуры безопасности. Таким образом, даже несмотря на то, что Комиссия по ядерному регулированию США работает над обоснованием рисков в своих правилах безопасности, она сохраняет свою приверженность принципу глубокоэшелонированной защиты, который относится к практике наложения избыточных систем безопасности, которые вряд ли выйдут из строя одновременно. Аналогичный принцип должен применяться в контексте ИИ и ядерного командования и управления, но так, чтобы учитывать понимание рисков. Уроки, извлеченные из ранних правил гражданской ядерной безопасности, которые опирались исключительно на резервные системы безопасности, показали, что подход к глубокоэшелонированной защите сам по себе является неоптимальным.

В конечном счете, ответственность за предотвращение случайной или непреднамеренной эскалации лежит на обладателях ядерного оружия, независимо от того, полагаются ли их системы командования и управления на дискеты или передовой искусственный интеллект.".

Новый путь к сверхразуму

В начале декабря 2024 года OpenAI запустила то, что ее генеральный директор Сэм Альтман назвал "самой умной моделью в мире" - программу генеративного ИИ, возможности которой, как предполагается, намного больше, чем у любого подобного программного обеспечения до нее.

Эксперты The Atlantic в статье "Эра GPT уже заканчивается" (06.12.2024) пишут, что "стартап готовился к этому моменту с 12 сентября 2024 года, дня, который, по словам OpenAI, направил мир на новый путь к сверхразуму.

Именно тогда компания представила ранние версии серии моделей ИИ, известных как o1, созданных с использованием новых методов, которые, по мнению стартапа, выведут его программы на невиданные высоты".

Марк Чен, тогдашний вице-президент OpenAI по исследованиям, рассказал The Atlantic несколько дней спустя, что o1 принципиально отличается от стандартного ChatGPT, поскольку он может "рассуждать", что является отличительной чертой человеческого интеллекта. По состоянию на 5 декабря 2024 года стартап выпустил первую полную версию o1 с полностью развитыми способностями к рассуждению для общественности.

Новые модели рассуждений OpenAI демонстрируют значительное улучшение по сравнению с другими программами во всех видах кодирования, математики и научных задач, заслужив похвалу генетиков, физиков, экономистов и других экспертов.

Согласно расследованиям The Information , Bloomberg , TechCrunch и Reuters, крупные компании ИИ, включая OpenAI, Google и Anthropic, обнаруживают, что технический подход, который двигал всю революцию ИИ, достигает предела. Сообщается, что модели предсказания слов, такие как GPT-4o, больше не становятся надежно более способными, даже более "умными" с размером. У этих фирм могут заканчиваться высококачественные данные для обучения своих моделей, и даже при достаточном количестве программы настолько огромны, что увеличение их размера больше не делает их намного умнее. o1 - первая крупная попытка отрасли преодолеть это препятствие.

Марк Чен после дебюта o1 в сентябре сказал, что программы на основе GPT имеют "основной пробел, который мы пытаемся устранить". В то время как предыдущие модели были обучены "очень хорошо предсказывать то, что люди записали в прошлом", o1 отличается. "Мы обучаем "мышление" не через имитационное обучение", - сказал он. Модель рассуждения "не обучена предсказывать человеческие мысли", а производит или, по крайней мере, имитирует "мысли сама по себе". Из этого следует, что поскольку люди не являются машинами для предугадывания слов, то и программы ИИ не могут оставаться таковыми, если они надеются улучшиться.

"Вот еще один способ размышления о различии между языковыми моделями и моделями рассуждений: попытка OpenAI создать сверхразум определяется "попугаями" и "крысами".

ChatGPT и другие подобные продукты - стохастические попугаи - предназначены для поиска закономерностей среди огромных объемов данных, для связывания слов, объектов и идей.

o1 - это бегущий по лабиринту грызун, предназначенный для навигации по этим статистическим моделям мира для решения проблем.

Или, если использовать шахматную аналогию: вы можете играть в игру, основанную на наборе ходов, которые вы запомнили, но это отличается от подлинного понимания стратегии и реагирования на вашего противника. Языковые модели изучают грамматику, возможно, даже что-то о мире, в то время как модели рассуждений стремятся использовать эту грамматику".

OpenAI смотрит в будущее. Модели рассуждений "исследуют различные гипотезы, как это сделал бы человек", - сказал Чен. Благодаря рассуждениям o1 также лучше понимает и отвечает на вопросы об изображениях, сказал он, и полная версия o1 теперь принимает мультимодальные входные данные. Новые модели рассуждений решают проблемы "почти как это сделал бы человек", - писал OpenAI в сентябре 2024 года. И если масштабирование больших языковых моделей действительно упирается в стену, этот тип рассуждений, похоже, является тем местом, куда многие конкуренты OpenAI также обратятся в следующий раз.