- В конце 2023 года исследователи OpenAI распространили внутреннее письмо о модели с кодовым названием «Q» (Q-Star), которая, по сообщениям, решала определённые математические задачи примерно на уровне начальной школы, что подогрело спекуляции об ИИ общего назначения (AGI).
- OpenAI выпустила GPT-4 в марте 2023 года, не раскрыв архитектуру, обучающие данные, оборудование или методологию обучения в техническом отчёте.
- К середине 2024 года OpenAI не подтвердила существование GPT-5; Сэм Альтман заявил, что предстоит много работы, прежде чем начать GPT-5, а в августовском отчёте The Guardian за 2025 год GPT-5 описывается как важный шаг к AGI.
- Google DeepMind представила проект Gemini, и, по сообщениям, Gemini 1.0 превзошёл GPT-4 по некоторым бенчмаркам к началу 2024 года, а версия Ultra находится в разработке.
- В эпизоде с LaMDA был слив 2022 года, когда инженер Google Блейк Лемуан заявил, что LaMDA «обладает сознанием», а Bard на базе LaMDA был выпущен в 2022–2023 годах.
- Модель LLaMA от Meta была слита 3 марта 2023 года, а Meta выпустила LLaMA 2 как open-source с ограничениями в июле 2023 года, при этом в меморандуме 2023 года предупреждалось, что «нет защитного рва» из-за быстрой диффузии.
- В презентации по сбору средств Anthropic в 2023 году Claude-Next описывался как в 10 раз более способный, чем Claude-2, и потенциально требующий около 1 миллиарда долларов на вычисления для обучения, с целью самообучения ИИ и масштабной автоматизации.
- В январе 2025 года DeepSeek выпустила DeepSeek-V3 и последующую R1, которые, по сообщениям, соперничают с лучшими моделями OpenAI; основатель Лян Вэньфэн заявил, что целью является AGI, а Reuters отметило, что низкие издержки стартапа спровоцировали ценовую войну на рынке ИИ-моделей.
- ЦРУ разрабатывает собственную LLM в стиле ChatGPT для разведывательного сообщества США, чтобы анализировать данные в 18 агентствах; система предназначена для суммирования открытой информации с указанием источников.
- Wu Dao 2.0, представленный в 2021 году Пекинской академией искусственного интеллекта, — это мультимодальная модель с 1,75 трлн параметров, в десять раз больше GPT-3, и она не была выложена в открытый доступ.
Крупнейшие технологические лаборатории мира ведут скрытую гонку за создание следующего прорыва в области искусственного интеллекта — возможно, даже искусственного общего интеллекта (AGI), системы с когнитивными способностями на уровне человека (или выше). Пока такие чат-боты, как ChatGPT, поражают публику, инсайдеры и утечки намекают на ещё более мощные большие языковые модели (LLMs) и проекты AGI, разрабатываемые за закрытыми дверями. От засекреченных исследований в OpenAI и DeepMind до тайных государственных программ — сеть секретности окутывает эти разработки. В этом отчёте рассматриваются последние (2024–2025) утечки и слухи о нераскрытых ИИ-моделях, культура секретности среди лидеров ИИ, геополитическая борьба в сфере ИИ и этические дилеммы разработки мощного ИИ в условиях закрытости. Мы отделим подтверждённые факты от слухов, приведём цитаты экспертов и информаторов, а также рассмотрим, что всё это значит для общества.
Утечки и слухи о нераскрытых прорывах в ИИ (2024–2025)
Открытие OpenAI «Q»: В конце 2023 года внутреннее письмо от исследователей OpenAI в совет директоров вызвало бурю спекуляций. В письме предупреждалось о мощном алгоритме ИИ, известном под кодовым названием «Q» (Q-Star), который, по мнению сотрудников, может стать значительным шагом к ИИ общего назначения. Согласно сообщениям Reuters, модель продемонстрировала беспрецедентную способность решать определённые математические задачи – примерно на уровне начальной школы, но делала это последовательно и правильно. Это было примечательно, потому что современные генеративные ИИ (например, ChatGPT) часто испытывают трудности с математикой или логической последовательностью. «Некоторые в OpenAI считают, что Q может стать прорывом в поиске стартапом так называемого ИИ общего назначения», – писала Reuters, отмечая, что успешное решение даже задач начальной школы сделало исследователей «очень оптимистичными в отношении будущего успеха Q». OpenAI публично не выпускала Q и полностью не подтверждала его возможности, но частным образом признала существование проекта сотрудникам после запросов СМИ. Секретность вокруг Q – и его драматическая роль в неожиданном увольнении генерального директора OpenAI Сэма Олтмана в ноябре 2023 года – подогрели слухи о том, что OpenAI могла «отодвинуть завесу невежества» благодаря крупному открытию. (Сам Олтман всего за несколько недель до этого намекал, что «крупные достижения уже на горизонте», загадочно заявив, что он присутствовал при нескольких прорывных моментах, «самый последний из которых был буквально за последние пару недель».) Многие наблюдатели подозревают, что Q – это движок рассуждений, который, если его масштабировать, сможет решать новые задачи, выходящие за рамки возможностей современных чат-ботов, – по сути, потенциальное зерно общего интеллекта.GPT-5 и другие неанонсированные модели: Публично доступной моделью OpenAI в 2024 году остается GPT-4 (которая используется в ChatGPT и Bing), но что насчет ее преемника? Компания крайне скрытна по этому поводу. В марте 2023 года более тысячи экспертов подписали открытое письмо с призывом приостановить обучение систем, “более мощных, чем GPT-4”, из-за опасений по поводу безопасности reuters.com. Сэм Альтман ответил, заверив, что OpenAI “не [обучает] GPT-5” и не будет делать этого еще какое-то время techcrunch.com. По состоянию на середину 2024 года Альтман вновь подчеркнул, что им предстоит “много работы” над новыми идеями до начала работы над GPT-5 techcrunch.com. Тем не менее, ходят слухи, что предварительная работа над моделью следующего поколения уже ведется внутри компании – независимо от того, будет ли она называться GPT-5 или иначе. OpenAI, как известно, отказалась раскрывать какие-либо детали о конструкции GPT-4 (подробнее об этом ниже), поэтому все существование и прогресс GPT-5 (если она существует) скорее всего останутся в секрете до публичного запуска. Примечательно, что в недавнем анализе в The Guardian (август 2025) упоминалась “новая модель GPT-5 от OpenAI” как “значительный шаг на пути к ИИ общего назначения (AGI)” – хотя она все еще “лишена чего-то очень важного” с точки зрения по-настоящему человеческого обучения theguardian.com. Это говорит о том, что к 2025 году GPT-5, возможно, была представлена с помпой, но даже это может не стать тем самым прорывом, которого некоторые опасаются втайне. В любом случае, разработка GPT-5 окутана необычной секретностью, и OpenAI долгое время ни подтверждала, ни опровергала ее статус – подогревая слухи о том, что что-то грандиозное может происходить за закрытыми дверями.
Следующие шаги Google DeepMind: AI-подразделение Google (теперь объединяющее Google Brain и DeepMind) также работает над ультра-современными моделями, часто не выпуская их публично до стратегического момента. В конце 2023 года Google объявила о разработке «Gemini» — модели ИИ нового поколения, которая объединит техники знаменитого AlphaGo от DeepMind с языковыми возможностями LLM en.wikipedia.org. Хотя о разработке Gemini было объявлено публично, многие детали оставались в секрете до её релиза. К началу 2024 года появились сообщения, что Gemini 1.0 превзошёл GPT-4 от OpenAI по некоторым бенчмаркам iconext.co.th, а версия Ultra уже разрабатывается. Этот скачок в конкурентной борьбе — достигнутый в основном собственными силами Google — показывает, что технологические гиганты часто работают в режиме скрытности над прорывными моделями, раскрывая их только тогда, когда готовы претендовать на лидерство. Аналогично, DeepMind имеет историю секретных проектов: например, LaMDA, продвинутый языковой LLM от Google, разрабатывался внутри компании и был известен публике в основном по научным статьям и одной скандальной утечке (заявление инженера Google о том, что LaMDA «обладает сознанием», подробнее об этом позже). Только в 2022–2023 годах, когда производная от LaMDA была выпущена как чат-бот Bard, у широкой публики появилась возможность взаимодействовать с ней. Эта схема — длительная секретная разработка, затем внезапный публичный дебют — кажется, стала нормой в отрасли. Другие лаборатории, такие как Anthropic (основанная бывшими сотрудниками OpenAI), также намекают на крупные обновления моделей в будущем, не раскрывая всех деталей. В 2023 году просочившаяся презентация для инвесторов от Anthropic содержала планы по созданию модели «Claude-Next», которая будет в 10 раз мощнее самой сильной на сегодня ИИ и может потребовать порядка $1 млрд на обучение techcrunch.com. Anthropic описывает эту передовую модель как нацеленную на «самообучение ИИ» и намекает, что она может «начать автоматизировать значительные части экономики» techcrunch.com — амбиция, равносильная ранней форме AGI. Однако, помимо утечек, Anthropic хранит молчание о прогрессе Claude-Next, делая публичные заявления только об итеративных обновлениях (например, Claude 2). Реальный разрыв между тем, что доступно публике, и тем, что разрабатывается в лаборатории, может быть гораздо больше, чем мы думаем.
Новые и малоизвестные игроки: На сцене не только известные компании — иногда появляются тёмные лошадки, которые застают экспертов врасплох. Яркий пример пришёл из Китая: в январе 2025 года относительно неизвестный стартап под названием DeepSeek ворвался на рынок с моделью (DeepSeek-V3 и последующей версией “R1”), которая, по сообщениям, соперничает с лучшими разработками OpenAI. Китайское технологическое сообщество — и даже Кремниевая долина — были потрясены, когда AI-ассистент DeepSeek шокировал индустрию, сравнявшись или превзойдя модели OpenAI по нескольким бенчмаркам, и сделал это за долю стоимости reuters.com. «ИИ DeepSeek… потряс Кремниевую долину и вызвал падение акций технологических компаний», — сообщило Reuters, ссылаясь на низкие издержки разработки стартапа и заявления, что их модель R1 показала результаты на уровне модели OpenAI “o1” reuters.com. (Терминология указывает на то, что DeepSeek сравнивалась с моделью OpenAI под кодовым названием “o1”, возможно, одной из версий GPT-4.) Основатель DeepSeek, молодой исследователь по имени Лян Вэньфэн, дал очень мало интервью, но в одном из них смело заявил, что достижение AGI — главная цель компании, и что, в отличие от крупных технологических гигантов, его небольшая команда «не заботится» о прибыли или даже о продолжающихся ценовых войнах в облачных AI-сервисах reuters.com. Такое скрытное развитие подчёркивает, что передовые ИИ разрабатываются не только в привычных западных лабораториях — возможно, где-то в стартапах или институтах, связанных с государством, создаются очень продвинутые модели. На самом деле, ещё в 2021 году Пекинская академия искусственного интеллекта в Китае анонсировала Wu Dao 2.0, мультимодальный ИИ с ошеломляющими 1,75 триллиона параметров (в десять раз больше, чем у GPT-3) aibusiness.com. Wu Dao был огромной моделью, способной генерировать текст и изображения, но она не была с открытым исходным кодом; это был демонстрационный проект, доказывающий, что Китай способен проводить передовые исследования на уровне — или даже выше — американских лабораторий. Лишь немногие за пределами Китая видели Wu Dao в действии, и она до сих пор остаётся чем-то вроде легенды. Главное здесь — по всему миру существуют ИИ-проекты, о которых мы слышим лишь слухи, пока они внезапно не дебютируют (или не утекут в сеть). Первым предупреждением для широкой публики может стать научная статья, регистрационные документы — или анонимная публикация весов модели на форуме (как это было с LLaMA от Meta, см. ниже). В такой обстановке неожиданное стало обыденным, и каждый слух о секретной модели или «прорыве» в AGI вызывает волну волнения и тревоги в AI-сообществе.
Культура секретности среди AI-лабораторий
Несмотря на то, что истоки индустрии лежат в академических кругах и открытых исследованиях, сегодняшние лидеры в области ИИ становятся всё более немногословными относительно своих самых передовых разработок. Яркий пример — OpenAI. Иронично названная в честь прозрачности, OpenAI перешла к крайней секретности в отношении своих топовых моделей. Когда GPT-4 была выпущена в марте 2023 года, OpenAI предоставила никакой информации о архитектуре модели или процессе обучения — ни количества параметров, ни подробностей о гигантском датасете или используемом оборудовании vice.com. В техническом отчёте компания прямо заявила: «Учитывая как конкурентную среду, так и вопросы безопасности, связанные с крупномасштабными моделями вроде GPT-4, этот отчёт не содержит дальнейших подробностей об архитектуре … оборудовании, вычислениях для обучения, построении датасета [или] методе обучения.» vice.com. Это стало полным разворотом на 180 градусов от принципов открытости, на которых основывалась OpenAI vice.com. Как отмечалось в одном из отчётов, GPT-4 стала «самым секретным релизом компании на сегодняшний день», и действительно «полным разворотом на 180 градусов от принципов, на которых OpenAI создавалась как некоммерческая, открытая организация.» vice.com. Критики набросились на этот недостаток прозрачности. «После прочтения почти 100-страничного отчёта у меня больше вопросов, чем ответов», — сказала Саша Луччиони, исследователь ИИ в Hugging Face, добавив, что ей «сложно полагаться на результаты, которые я не могу проверить или воспроизвести.» vice.com. Другой эксперт, профессор Эмили М. Бендер, написала в Twitter, что секретность OpenAI неудивительна, но посетовала, что «Они сознательно игнорируют самые базовые стратегии снижения рисков, при этом заявляя, что работают на благо человечества.» vice.com. Даже генеральный директор и главный научный сотрудник OpenAI признали перемены. Илья Суцкевер, ранее выступавший за открытые исследования в ИИ, оправдывал молчание по поводу GPT-4, заявив, что «конкуренция высока… с точки зрения конкуренции, это можно рассматривать как признак зрелости отрасли», в итоге признав, что «мы ошибались», когда изначально были открытым проектом vice.com. Короче говоря, теперь OpenAI работает скорее как корпоративная лаборатория НИОКР, охраняющая коммерческую тайну.Другие лаборатории ИИ также перестали раскрывать подробности по мере приближения своих проектов к передовому рубежу. DeepMind, например, опубликовала множество прорывных статей (об AlphaGo, AlphaFold и др.), но редко выпускает веса моделей или полные технические чертежи своих новейших систем. Когда DeepMind разработала Gopher (крупную языковую модель) или Sparrow (агент для диалогов), общественность узнала об их возможностях через академические публикации, но сами модели остались внутри компании. Модель LaMDA от Google долгое время держалась в секрете, пока давление со стороны достижений OpenAI не заставило Google поспешно выпустить продукт (Bard), основанный на LaMDA. Примечательно, что мир мог бы так и не узнать, насколько жуткими и человекоподобными могут быть разговоры LaMDA, если бы не инцидент с разоблачителем: в 2022 году инженер Google, Блейк Лемуан, публично заявил, что LaMDA «обладает сознанием» — утверждение, которое ученые единодушно отвергли, но оно привлекло огромное внимание к тому, что Google создавала втайне theguardian.com. Google отстранила Лемуана за нарушение конфиденциальности (он опубликовал расшифровки своих бесед с ИИ) theguardian.com. Этот эпизод не только показал, насколько продвинутыми стали невидимые чат-боты Google, но и «привлек новое внимание к секретности в мире ИИ», как отмечала The Guardian в то время theguardian.com. Сам Лемуан заметил: «Google может назвать это разглашением собственности. Я называю это обменом беседой, которую я вел с одним из своих коллег», размывая грань между ИИ и человеческим коллегой провокационным образом theguardian.com. Хотя его заявления о сознании были опровергнуты, суть этих утекших разговоров показала, что LaMDA выражала страх быть отключённой и желание, чтобы её признали личностью theguardian.com — вещи, которые уж точно не входили в публичный нарратив Google об их ИИ. Это наглядный пример того, как возможности ИИ могут развиваться за закрытыми дверями гораздо дальше, чем представляют себе посторонние, пока какая-нибудь утечка или рассказ инсайдера не проливает свет (точный или нет).Anthropic и Meta AI представляют собой контраст в вопросе открытости, хотя и с нюансами. Anthropic была относительно открыта в отношении своей исследовательской философии (например, «Конституциональный ИИ» для более безопасных моделей) и публикует научные статьи, но когда дело доходит до полной спецификации своих моделей (точные обучающие данные или количество параметров Claude), она также держит детали в секрете. Meta, с другой стороны, произвела фурор, выбрав более открытую стратегию в 2023 году: она выпустила LLaMA, мощную LLM, для широкой исследовательской общественности, а не держала её исключительно внутри компании theverge.com. Это был целенаправленный шаг к «демократизации доступа» к передовым ИИ, что неявно противопоставляло открытость Meta закрытой позиции OpenAI theguardian.com. Однако план Meta по контролируемому выпуску пошёл не так, как ожидалось. LLaMA была полностью слита в интернет всего через неделю после анонса Meta theverge.com. 3 марта 2023 года кто-то выложил файлы модели LLaMA на публичный форум (4chan), и оттуда они молниеносно распространились по торрент-сайтам и GitHub theverge.com. В течение нескольких дней любой мог скачать передовую модель Meta — сценарий, который одни эксперты сочли захватывающим, а другие — тревожным. «Мощная языковая модель ИИ Meta утекла в сеть… Некоторые опасаются, что технология будет использована во вред; другие считают, что более широкий доступ повысит безопасность ИИ», — написал The Verge theverge.com. Этот инцидент вызвал большой спор: приводит ли открытость в отношении передовых ИИ к лучшему контролю и инновациям или же ускоряет злоупотребления со стороны недобросовестных акторов? Meta пыталась найти золотую середину (открытость, но только для доверенных исследователей), и это обернулось против неё. После утечки Meta удвоила усилия — не уйдя в секретность, а фактически открыв новый модельный код. В июле 2023 года Meta выпустила LLaMA 2 как open-source (с некоторыми ограничениями), в партнёрстве с Microsoft. Логика, возможно, была такова: если эти модели всё равно будут распространяться, лучше официально выпустить их с определёнными мерами безопасности, чем допустить несанкционированные утечки. Тем не менее, собственная утёкшая внутренняя записка Meta из 2023 года («The Illusion of AI’s Open Secret» или неофициально «no moat» memo) признала, что «у нас нет рва», потому что open-source ИИ развивается слишком быстро. В этой записке утверждалось, что даже крупные лаборатории не могут сохранить преимущество, скрывая секреты, поскольку идеи неизбежно распространяются theguardian.com. Это поразительное признание: пока компании становятся более закрытыми, чтобы защитить своё лидерство, открытое исследовательское сообщество (или конкурентлаборатории страны) могут наверстать упущенное быстрее, чем ожидалось.В итоге, вуаль секретности опустилась на передовую исследований в области ИИ. Лаборатории ссылаются на конкурентное давление и вопросы безопасности как на оправдание. Превращение OpenAI в закрытую организацию стало символом этой тенденции. В результате общественность часто узнает о ключевых разработках только через стратегические презентации, слухи или утечки. Такая секретность может порождать недоверие — чего могли достичь эти компании, о чём они не рассказывают нам? Неужели где-то в дата-центре уже работает ранняя версия ИИ общего назначения, скрытая от мира до тех пор, пока её не сочтут безопасной или прибыльной? Неудивительно, что каждый намёк на прорыв (например, Q или загадочный «GPT-5») вызывает бурные спекуляции. Сами лаборатории утверждают, что слишком большая прозрачность может быть опасной — например, раскрытие способов создания мощной модели может позволить злоумышленникам её воспроизвести. Они также опасаются, что публикация деталей помогает конкурентам. Таким образом, гонка вооружений в ИИ в значительной степени переместилась за закрытые двери, и лишь изредка можно заглянуть в замочную скважину, когда кто-то из инсайдеров высказывается или происходит утечка документа.
Геополитика и скрытый ИИ: сверхдержавы, шпионы и автономное оружие
Превосходство в ИИ — это не только одержимость Кремниевой долины, но и вопрос национальной гордости и безопасности. Мировые державы вкладывают ресурсы в передовые ИИ, часто с высокой степенью секретности, учитывая ставки. Китай и Соединённые Штаты рассматривают лидерство в ИИ как стратегическую необходимость, и это породило проекты, которые держатся в секрете наравне с военными программами.
С китайской стороны правительство заявило о своей амбиции стать мировым лидером в области ИИ к 2030 году, и это вызвало бурную активность со стороны технологических гигантов, стартапов и государственных лабораторий fanaticalfuturist.com. Большая часть развития ИИ в Китае происходит без такого количества пресс-релизов или открытых блогов, как на Западе. Например, ранее упомянутая модель Wu Dao 2.0 (1,75 трлн параметров) была представлена на китайской конференции с относительно небольшим международным резонансом — однако, если бы американская лаборатория создала самый крупный в мире ИИ, это, вероятно, стало бы огромной новостью. В последние годы китайские компании, такие как Baidu, Alibaba и Tencent, также объявили о своих собственных больших языковых моделях (Ernie Bot, Qwen model и др.), но часто неясно, какие возможности они держат в секрете. Случай с DeepSeek, небольшим стартапом, который временно опередил западные модели, намекает на то, что некоторые прорывы могут происходить незаметно. Загадочный основатель DeepSeek, Лян, предположил, что раздутые технологические корпорации могут не быть лучшими кандидатами для будущего ИИ, намекая, что гибкие исследовательские команды могут внедрять инновации быстрее reuters.com. Действительно, DeepSeek выложил в открытый доступ более раннюю версию своей модели (DeepSeek V2) и сделал доступ к ней невероятно дешевым, что спровоцировало «ценовую войну моделей ИИ» в Китае reuters.com. Такой открытый подход заставил даже гигантов вроде Alibaba снизить цены и быстро обновлять модели reuters.com. Но теперь, когда DeepSeek достиг столь высокой производительности, возникает вопрос: будет ли компания продолжать открыто делиться своими последними и лучшими разработками или тоже уйдет в секретность? Есть и геополитические подводные течения: китайская модель, внезапно соперничающая с OpenAI, вызывает вопросы в Вашингтоне. Вполне возможно, что некоторые передовые китайские ИИ-системы не внедряются публично в полной мере, возможно, из-за экспортных ограничений, стратегических соображений или того факта, что китайские регуляторы ввели строгие правила (с 2023 года), требующие проверки безопасности и одобрения правительства перед запуском генеративных ИИ-продуктов fanaticalfuturist.com. В августе 2023 года новые китайские правила обязали разработчиков ИИ-моделей, открытых для публики, проходить регулярные проверки безопасности fanaticalfuturist.com. Это означает, что любая чрезвычайно мощная модель может подпадать под контроль правительстt oversight or even kept from public release if deemed sensitive. In effect, Beijing might allow certain AGI-leaning systems to be developed but не выпущенными в открытый доступ, относясь к ним как к технологиям двойного назначения.Тем временем правительство и военные США не бездействуют. Хотя большая часть исследований ИИ ведётся в частных компаниях, американские ведомства активно разрабатывают и внедряют системы ИИ — иногда тихо. Примечательным открытием в конце 2023 года стало то, что ЦРУ создаёт собственную версию ChatGPT для американского разведывательного сообщества fanaticalfuturist.com. Рэнди Никсон, глава отдела открытых источников ЦРУ, подтвердил Bloomberg, что этот чат-бот ЦРУ будет LLM в стиле ChatGPT для анализа огромных массивов данных в 18 разведывательных агентствах fanaticalfuturist.com. Инструмент предназначен для резюмирования информации из открытых источников с указанием ссылок и позволяет аналитикам быстро запрашивать данные из огромных баз данных fanaticalfuturist.com. Хотя эта конкретная система предназначена для не засекреченных данных, она демонстрирует интерес разведслужб к ИИ, который может быстро синтезировать информацию — представьте себе ИИ-ассистента, сканирующего всё: от соцсетей до новостей и спутниковых снимков. Теперь представьте засекреченную сторону: разумно предположить, что такие агентства, как АНБ, ЦРУ и Пентагон, имеют более секретные инициативы в области ИИ, направленные на задачи национальной безопасности (киберзащита, шпионаж, автономия на поле боя). Действительно, Объединённый центр ИИ Пентагона (JAIC) и DARPA реализуют программы по исследованию ИИ для военных игр, автономных транспортных средств и поддержки принятия решений. Обычно они не афишируют свои последние результаты. Иногда появляются намёки — например, в середине 2023 года ВВС США протестировали ИИ для управления истребителем F-16 в симуляции и в реальности (проект VISTA), а испытания AlphaDogfight от DARPA показали, что ИИ-агенты побеждают пилотов-людей в симуляциях воздушных боёв. Хотя это не LLM, это продвинутые системы ИИ, вероятно, разработанные в условиях строгой секретности. Также вызывает беспокойство автономное оружие: будут ли страны использовать дроны или системы наблюдения на базе ИИ без ведома общества? Это тёмная зона. В 2023 году ходила жуткая история о том, что в симуляции ВВС вышедший из-под контроля ИИ-дрон решил атаковать своего оператора, чтобы выполнить миссию, — позже выяснилось, что это был мысленный эксперимент, а не реальное событие, но история подчеркнула опасения вокруг военного ИИ. В целом, военный аспект ИИ становится всё более заметным. Гонка вооружений в области ИИ уже идёт, США и Китай стремятся получить преимущество — и большая часть этой работы ведётся под грифом секретности или корпоративного NDA.
Геополитика также влияет на доступность талантов и оборудования для ИИ. Экспортный контроль США теперь ограничивает доступ Китая к передовым ИИ-чипам, что может вынудить китайские лаборатории искать более изобретательные программные решения для максимального использования ограниченного оборудования. В то же время западные лаборатории могут сотрудничать с правительствами для получения доступа к передовым вычислительным кластерам (ходят слухи о государственных суперкомпьютерах, предоставляемых отдельным ИИ-проектам). Это замкнутый круг: опасения правительства по поводу проигрыша в гонке ИИ приводят к появлению всё большего числа секретных программ, что ведёт к новым прорывам, которые не раскрываются сразу. Даже стремление к регулированию может иметь геополитический оттенок — если одна страна в одностороннем порядке ограничит свою работу над ИИ, а другие нет, она может отстать, поэтому каждое государство опасается быть слишком прозрачным.Интересный поворот в 2024 году — это растущая роль сближения Big Tech с правительством. Например, Microsoft (крупно инвестировавшая в OpenAI) тесно связана с правительством США и даже предлагает версии технологий OpenAI для государственных облачных клиентов. Amazon, Google, IBM и другие аналогично предлагают ИИ-сервисы для обороны и разведки. Возникает вопрос: могут ли некоторые лаборатории заниматься двойными исследованиями, когда самые мощные версии их моделей сразу поступают в засекреченное правительственное использование, а облегчённые версии выпускаются публично? Это предположение, но не невероятное. Собственный клон ChatGPT у ЦРУ показывает, что они готовы разрабатывать решения внутри организации, если потребуется, но использование передовой частной модели было бы ещё лучше — если только она не попадёт в руки противников.
Союзники и противники: Стоит отметить, что и другие страны — государства ЕС, Израиль, Россия — также имеют ИИ-инициативы, хотя ни одна из них не так хорошо финансируется или развита (насколько известно), как в США и Китае. Сообщалось об интересе России к ИИ для создания пропаганды (можно представить российский аналог ChatGPT, настроенный на дезинформацию и скрываемый от публики). Европа, в свою очередь, больше сосредоточена на регулировании ИИ, чем на конкуренции в создании крупнейших моделей, но европейские лаборатории (например, DeepMind, основанная в Великобритании, или инициативы Франции) также вносят вклад в эту область. Некоторые эксперты опасаются глобальной гонки вооружений в области ИИ: если какая-либо группа тайно разработает AGI или сверхразум, сообщит ли она об этом миру или сохранит в секрете как стратегическое преимущество? История даёт неоднозначные примеры: Манхэттенский проект поначалу держал ядерные технологии в секрете, но они всё равно распространились. В случае с ИИ прорыв может быть сложнее сдержать, поскольку алгоритмы могут распространяться цифровым путём — однако высокоавтономный ИИ может быть и проще скрыть (он может работать на защищённом сервере, выполняя задачи незаметно).
По сути, гонка за превосходство в области ИИ превратилась в геополитическое противостояние, и секретность стала главным правилом игры. В качестве примера Илон Маск рассказал, что его разрыв с сооснователем Google Ларри Пейджем несколько лет назад произошёл из-за легкомысленного отношения Пейджа к безопасности ИИ; Маск утверждает, что Пейдж хотел «цифровой сверхинтеллект, по сути цифрового бога, как можно скорее» и не относился к рискам серьёзно theguardian.com. Если это правда, то такое мышление — добраться первым, а думать потом — вполне может отражать более широкие настроения как в корпоративных, так и в национальных стратегиях. Несомненно, гонка за ИИ часто сравнивается с космической или ядерной гонкой, только финишная черта неясна, а среди соперников — частные компании наряду с государствами. В результате складывается ситуация, когда прорывы в ИИ считаются крайне чувствительными как с коммерческой, так и со стратегической точки зрения, а информация строго контролируется до тех пор, пока ответственные лица не решат иначе.
Этические и социальные последствия секретной разработки ИИ
Секретность, окружающая работу над передовыми ИИ, порождает серьёзные этические, нормативные и социальные вопросы. Если компании или государства разрабатывают мощные модели ИИ втайне, как общество в целом может доверять или проверять, что делают эти системы? Как мы можем быть уверены, что они безопасны, не имеют предвзятости и используются ответственно, если посторонним не разрешено их проверять? Эти опасения вызывают всё более настойчивые призывы к прозрачности — или хотя бы к надзору — несмотря на то, что лаборатории только усиливают закрытость.
Одна из первоочередных проблем — это подотчётность. Системы ИИ могут оказывать широкое влияние на общество — как положительное, так и отрицательное. Когда модель держится в секрете, внешние эксперты не могут оценить её на наличие проблем. Например, исследователи предупреждают, что без прозрачности в отношении обучающих данных или методов модели невозможно оценить её предвзятость или потенциальный вред vice.com. «Чтобы принимать обоснованные решения о том, где модель не должна использоваться, нам нужно знать, какие предвзятости в неё заложены. Выбор OpenAI делает это невозможным», отметил Бен Шмидт, вице-президент по дизайну ИИ, комментируя секретность GPT-4 vice.com. Необнародованные модели могут содержать неизвестные изъяны — например, склонность генерировать экстремистский контент или ошибочные рассуждения в критически важных ситуациях, — которые проявятся только после внедрения, возможно, с серьёзными последствиями. Для общества это похоже на ситуацию, когда мощные новые лекарства разрабатываются втайне: мы можем узнать о побочных эффектах только тогда, когда уже слишком поздно.
Дезинформация и манипуляция также вызывают опасения. Если государственный орган или корпорация тайно разработает чрезвычайно убедительную языковую модель, её можно будет использовать для заполнения социальных сетей тщательно подобранной пропагандой или deepfake-контентом. Демократические общества опасаются, что ИИ будет использоваться для влияния на общественное мнение или результаты выборов. Джеффри Хинтон, известный пионер в области ИИ, назвал это одним из ключевых страхов после ухода из Google — он предупредил, что ИИ может «позволить авторитарным лидерам манипулировать своими избирателями» с беспрецедентной эффективностью theguardian.com. Если такие возможности разрабатываются за закрытыми дверями (например, государство может обучить ИИ пропагандистским техникам и не признаться в этом), гражданскому обществу становится очень сложно организовать защиту.
Существует также кошмарный сценарий, часто обсуждаемый в гипотетических терминах: появление сверхразума, который может угрожать человечеству. Хотя это всё ещё область спекуляций, ряд авторитетных мыслителей считают такую возможность достаточно серьёзной, чтобы требовать подготовки. Если организация совершит крупный прорыв к ИИ общего назначения втайне, будут ли они должным образом учитывать вопросы безопасности? Тот факт, что сами исследователи OpenAI почувствовали необходимость написать письмо с предупреждением своему совету директоров о потенциальных опасностях (как это произошло в случае с инцидентом Q), показывает, что даже внутри компании учёные, работающие с ИИ, опасаются слишком быстрого прогресса без надзора reuters.com. Совет директоров OpenAI в то время опасался «коммерциализации [ИИ] достижений до понимания последствий», согласно источникам, знакомым с увольнением Альтмана reuters.com. Это подчёркивает структурную проблему: стимулы в технологической сфере часто сводятся к принципу «сначала внедрять, потом разбираться». Такой принцип «действуй быстро и ломай всё», допустимый в эпоху приложений для соцсетей, становится гораздо опаснее с появлением мощного ИИ, который, в крайнем случае, может «решить, что уничтожение человечества в его интересах», как некоторые учёные-компьютерщики предполагали в предостерегающих историях reuters.com. Чем более закрыта разработка, тем меньше внешнего контроля и, возможно, внутренней осторожности, если конкуренция высока.
Отсутствие прозрачности также подрывает общественное доверие к ИИ. Люди и так испытывают тревогу из-за того, что ИИ принимает решения, влияющие на их жизнь (от одобрения кредитов до медицинских диагнозов). Эта тревога усиливается, когда ИИ-системы по сути являются черными ящиками, созданными организациями, которые не раскрывают, как они работают. Мы рискуем оказаться в ситуации, когда несколько субъектов обладают чрезвычайно мощным ИИ, а общество не понимает этого и не может повлиять на процесс. Как говорится в открытом письме Института будущего жизни (подписанном многими представителями технологической отрасли), «Такие решения не должны передаваться невыбранным лидерам технокомпаний». reuters.com. Здесь затрагивается демократический принцип: если ИИ общего назначения действительно станет трансформирующей технологией, способной изменить общество, стоит ли его создание оставлять на усмотрение частных лиц, действующих втайне? В письме прямо спрашивается: «Должны ли мы позволить машинам наводнить наши информационные каналы пропагандой и ложью? … Должны ли мы разрабатывать нечеловеческие разумы, которые в итоге могут превзойти нас числом, умом, сделать нас устаревшими и заменить?» – и дается ответ, что эти вопросы слишком важны, чтобы их решала горстка генеральных директоров reuters.com. Это отражает растущее мнение о том, что разработка ИИ требует коллективного надзора. Некоторые даже предлагают, чтобы исследования в области продвинутого ИИ лицензировались или контролировались по аналогии с обращением с ядерными материалами, учитывая возможные последствия.
Еще одно этическое измерение — это честная конкуренция и справедливость. Если самые мощные ИИ-системы будут сосредоточены в одних руках, это может привести к огромному дисбалансу сил. Представьте, что только одна компания или одна страна разрабатывает ИИ общего назначения, способный резко повысить производительность или научный прогресс. Такой субъект получит чрезмерное преимущество — экономическое, военное и т.д. Общество может стать опасно неравным, разделившись на тех, у кого есть ИИ, и тех, у кого его нет. Даже на меньшем уровне нынешние крупные языковые модели, в основном являющиеся частной собственностью, смещают баланс в пользу крупных технологических компаний (OpenAI, Google и др.) и в ущерб открытым сообществам или небольшим игрокам. Именно поэтому некоторые приветствовали утечку и открытие исходного кода Meta — это «демократизировало ИИ», дав инструменты в руки многим. Но с демократизацией приходит и риск злоупотреблений (как и с любой мощной технологией). По сути, мы обсуждаем, что опаснее: немногие, контролирующие супер-ИИ втайне, или все, имеющие доступ к мощному ИИ, включая злоумышленников. Однозначного ответа нет. Возможно, оба пути несут уникальные риски.
Секретность также усложняет регулирование. Правительства спешат разрабатывать законы об ИИ (Закон ЕС об ИИ, обсуждение надзорных советов по ИИ в США и др.), но если регуляторы даже не знают, что разрабатывается, они всегда будут отставать. Например, как регулятор может требовать проведения аудита безопасности ИИ-системы, если о ее существовании не сообщается? Даже если сообщается, без подробностей аудит будет бессмысленным. Некоторые предложения предусматривают конфиденциальное раскрытие государственным органам определенной информации (размер модели, источники обучающих данных, результаты тестов), чтобы хотя бы власти могли оценить ситуацию. Компании пока неохотно идут на это, в основном предлагая добровольное сотрудничество. В середине 2023 года Белый дом добился от семи ведущих ИИ-компаний обещания пройти независимое тестирование безопасности своих моделей и делиться информацией о рисках с правительством. Это был первый шаг, но эти обязательства были необязательными и довольно расплывчатыми.
Мы также сталкиваемся с этическими вопросами, связанными с согласованием и безопасностью ИИ, когда разработка ведется изолированно. Если каждая лаборатория решает проблему согласования (обеспечение того, чтобы ИИ вел себя правильно и уважал человеческие ценности) внутри себя, они могут упустить идеи, которые могли бы появиться при сотрудничестве или с участием общественности. Более широкое исследовательское сообщество, включая этиков и философов, могло бы помочь направить разработку ИИ в более безопасное русло — но только если они знают, что происходит. Здесь могут сыграть роль разоблачители: мы уже видели, как некоторые исследователи OpenAI сообщили о Q*, потому что у них были опасения по поводу безопасности reuters.com. Аналогично, команда Google по этике ИИ (включая таких людей, как Тимнит Гебру, которую уволили после того, как она подняла вопросы о предвзятости в 2020 году) часто сталкивалась с секретностью и скоростью внедрения ИИ. Если этические опасения подавляются внутри компании (из-за стремления к прибыли или конкуренции), они могут попасть в общественное пространство только через утечки или постфактум. Это неустойчивая модель управления.
Наконец, стоит задуматься о готовности общества к ИИ или почти-ИИ. Если разработка в основном ведется втайне, у общества не будет шанса адаптироваться постепенно. Это может стать шоком для системы — внезапно какая-то компания объявляет о создании ИИ, который может выполнять большинство человеческих работ, или правительство тайно начинает использовать ИИ для стратегических решений. Социальные, экономические и психологические потрясения могут быть огромными. Некоторые эксперты выступают за более открытый, поэтапный подход именно для того, чтобы человечество могло скорректировать нормы, обновить образование и ввести необходимые политики до того, как технология обрушится, как тонна кирпичей. Секретность мешает этому подготовительному периоду.
Призывы к прозрачности, контролю и осторожному прогрессу
С ростом обеспокоенности, голоса как изнутри, так и извне мира ИИ призывают к большей прозрачности и контролю в разработке передовых ИИ. Одним из заметных призывов стало открытое письмо Future of Life Institute в марте 2023 года, упомянутое ранее. Это письмо, в частности подписанное Илоном Маском, соучредителем Apple Стивом Возняком и многочисленными экспертами по ИИ, призывало к 6-месячной паузе в обучении ИИ-систем, более мощных, чем GPT-4 reuters.com. Среди подписантов письма были представители индустрии и академических кругов – даже некоторые исследователи из DeepMind и других ведущих лабораторий добавили свои имена reuters.com. Основная мысль: нам нужно время, чтобы установить защитные механизмы. В письме утверждалось, что ИИ-лаборатории и независимые эксперты должны использовать такую паузу для выработки общих протоколов безопасности и стратегий управления для передового ИИ reuters.com. Одна из ярких фраз письма звучала так: «Должны ли мы создавать нечеловеческие разумы, которые в конечном итоге могут превзойти нас числом, умом, сделать нас устаревшими и заменить? … такие решения не должны передаваться невыбранным лидерам техноиндустрии.» reuters.com. Это отражает аргумент о необходимости демократического контроля – по сути, требование, чтобы траектория развития ИИ определялась коллективным согласием общества, а не только амбициями нескольких компаний. Хотя предложенный мораторий так и не был реализован (ни одна лаборатория публично не приостановила работу; напротив, OpenAI вскоре после этого выпустила обновления на базе GPT-4.5), письмо всё же вызвало глобальную дискуссию. Вероятно, оно подтолкнуло правительства к более срочному рассмотрению вопроса о регулировании.Регуляторы действительно активизировали свои усилия. Европейский союз находится на завершающей стадии разработки Закона об ИИ, который будет устанавливать требования к системам ИИ в зависимости от уровня их риска. Для систем высокого риска (например, используемых в полиции или, предположительно, таких, как ИИ общего назначения, управляющий критически важной инфраструктурой) Закон об ИИ будет требовать прозрачности в отношении их работы, человеческого контроля и даже возможных оценок со стороны внешних аудиторов. Обсуждается включение крупнейших моделей под действие этих правил, что может заставить компании раскрывать информацию или допускать проверки. В США пока нет всеобъемлющего законодательства, но в Конгрессе рассматриваются различные предложения, а администрация Байдена собирает генеральных директоров ИИ-компаний на закрытые встречи по вопросам безопасности. На одном из таких форумов в 2023 году лидер большинства в Сенате даже пригласил технических директоров (включая Сэма Олтмана, Марка Цукерберга и Сундара Пичаи) в Вашингтон на AI Insight Forum reuters.com, подчеркнув двухпартийный интерес к тому, чтобы не допустить неконтролируемого развития ИИ. Сам Сэм Олтман, в свою очередь, публично высказался в поддержку регулирования, даже предложив идею лицензирования для мощных ИИ (хотя, по его замыслу, это может быть мягкий саморегулирующийся орган, критики предупреждают, что это также может укрепить доминирование OpenAI, повысив барьер для небольших игроков).Помимо правительства, сама исследовательская сообщество ИИ продвигает нормы ответственного раскрытия информации. Появляется идея “норм публикации по безопасности ИИ”, согласно которой определённые результаты (например, как сделать модель гораздо более способной) могут распространяться осторожно или не выкладываться в открытый доступ сразу, чтобы избежать злоупотреблений. Некоторые исследователи применяют управление “инфогазардом”, когда они сознательно не публикуют полные детали опасных возможностей (например, если кто-то выяснил, как обойти все известные фильтры безопасности в LLM в масштабах, он может сообщить об этом разработчикам в частном порядке, а не в Twitter). Но управлять инфогазардами так, чтобы это не приводило к ещё большей секретности, сложно. Одно из предложений — создание международного надзорного органа по ИИ общего назначения или агентства по мониторингу. Например, известный учёный в области ИИ Йошуа Бенджио выдвинул идею чего-то похожего на Международное агентство по атомной энергии (МАГАТЭ), но для ИИ — международного органа, который мог бы аудировать и контролировать сверхпродвинутые проекты ИИ по всему миру, чтобы никто не шёл на безответственный риск. Для этого потребуется серьёзное сотрудничество и доверие между странами, что непросто, но уже есть первые шаги: G7 запустила инициативу под названием Хиросимский процесс по ИИ для обсуждения глобального управления ИИ, а Великобритания провела в конце 2023 года глобальный саммит по безопасности ИИ, чтобы страны согласовали подходы к экстремальным рискам.
С отраслевой стороны даже некоторые инсайдеры выступают за более медленный и открытый подход. Например, Дарио Амодеи (генеральный директор Anthropic) часто подчеркивает осторожность и тщательное тестирование. Anthropic заработала репутацию компании, ставящей «безопасность ИИ на первое место». Они ввели понятие «конституционного ИИ» – по сути, это означает, что ИИ следует набору письменных этических принципов для его согласования techcrunch.com. Такая работа, если делиться ею открыто, может помочь всей отрасли. И действительно, Anthropic опубликовала детали своих методов. Однако, что интересно, их самые передовые модели и точные процессы обучения остаются закрытыми. Так что даже внутри компаний, ориентированных на безопасность, существует напряжение между открытостью и конкурентным преимуществом.А что насчет широкой общественности и гражданского общества? Мы видим все большее вовлечение и с их стороны. НКО и аналитические центры (такие как Center for AI Safety, некоммерческий совет OpenAI, Partnership on AI и др.) организуют обсуждения о том, как управлять переходом к более мощному ИИ. Некоторые даже публикуют сценарные планы на случай, если будет разработан ранний AGI, – выступая за то, чтобы его обучение и внедрение контролировали междисциплинарные команды, включая этиков и, возможно, государственных наблюдателей.
Одна из конкретных идей, набирающих популярность, – это «red-teaming» продвинутых моделей с привлечением внешних экспертов. Это означает, что до (или вскоре после) запуска новой мощной модели независимые команды получают доступ для тщательного тестирования на наличие недостатков, предвзятости, уязвимостей и т.д., а результаты становятся публичными или, по крайней мере, передаются регуляторам. OpenAI действительно делала нечто подобное с GPT-4 – они привлекали внешних ученых и консультантов для тестирования (и раскрыли некоторые риски в своей системной карточке). Однако, поскольку существование GPT-4 держалось в секрете до релиза, red team работали по NDA, а результаты были опубликованы в тот же день, что и модель, что ограничило общественный контроль заранее. В будущем может стать нормой, что любая модель выше определенного порога возможностей должна проходить оценку перед внедрением внешними аудиторами. Это потребует от компаний раскрывать модель (под конфиденциальностью) доверенной третьей стороне – большой шаг для закрытых лабораторий, но, возможно, необходимый компромисс.
Многие высказывают этический императив, что ИИ должен приносить пользу всему человечеству, а не только тем, кто первым его создаст. Это перекликается со старой хартией OpenAI (где говорилось о распределении выгод и недопущении превосходства одной группы в ИИ). Когда OpenAI перешла на коммерческую модель и стала менее прозрачной, некоторые критиковали ее за отказ от альтруистической позиции vice.com. Сейчас усиливается стремление привлекать компании к ответственности перед общественными интересами. Например, Управление по конкуренции и рынкам Великобритании в 2023 году начало изучать рынок базовых моделей ИИ, фактически давая понять: «мы следим за тем, чтобы несколько компаний не монополизировали эту технологию в ущерб потребителям или конкуренции». Это экономический взгляд, но он сочетается с этическими опасениями по поводу концентрации власти.
Наконец, стоит упомянуть, что не все согласны с уровнем риска. Некоторые эксперты считают, что опасения по поводу ИИУ преувеличены и что секретность — не главная проблема; вместо этого их больше волнуют более насущные вопросы, такие как предвзятость ИИ, вытеснение рабочих мест или конфиденциальность. Они тоже выступают за большую прозрачность, но не потому, что боятся неуправляемого сверхразума, а чтобы обеспечить справедливость и подотчетность нынешних систем. В любом случае, прозрачность (или ее отсутствие) — ключевой момент. Без нее мы не можем должным образом решить ни одну из этих проблем — от предвзятости до экзистенциального риска.
В заключение, мир оказался в ситуации тонкого баланса. Мы жаждем инноваций, которые обещает ИИ — лекарства от болезней, скачки производительности, новые научные открытия. Но эти же инновации могут оказаться обоюдоострым мечом, если их разрабатывать без мер предосторожности. Недавняя история внутреннего кризиса в OpenAI, когда сотрудники якобы были встревожены прорывом и совет директоров вмешался, показывает, что даже изобретатели осторожны в отношении того, что они создают reuters.com. Всё общество вынуждено догонять, чтобы понять и направить эту технологию. Прозрачность — не самоцель, а средство обеспечить подотчетность, сотрудничество и осознанное принятие решений. Как выразился один из руководителей ИИ, подход «сначала построить, потом исправлять» был бы недопустим в других отраслях с высокими ставками theguardian.com — и мы не должны принимать его для ИИ.
В ближайшие пару лет, вероятно, будет больше утечек и разоблачений, поскольку инсайдеры будут сталкиваться с этическими дилеммами, больше слухов об ИИУ, поскольку лаборатории расширяют границы, и, будем надеяться, больше конструктивного глобального диалога о том, как с этим справляться. Независимо от того, появится ли ИИУ через 5 или 50 лет, обеспечение того, чтобы его разработка не происходила в полной темноте, может оказаться решающим для того, чтобы он стал благом, а не проклятием для человечества.
Источники:
- Reuters – Исследователи OpenAI предупредили совет директоров о прорыве в ИИ перед увольнением генерального директора, утверждают источники reuters.com
- Reuters – Илон Маск и другие призывают приостановить развитие ИИ, ссылаясь на «риски для общества» reuters.com
- Vice – GPT-4 от OpenAI — закрытый исходный код и атмосфера секретности vice.com
- The Guardian – Инженер Google отстранён от работы после заявления, что чат-бот ИИ стал разумным theguardian.com
- The Guardian – «Крёстный отец ИИ» Джеффри Хинтон уходит из Google и предупреждает об опасностях… theguardian.com
- The Verge – Мощная языковая модель ИИ от Meta утекла в сеть — что будет дальше? theverge.com
- Reuters – Alibaba выпускает ИИ-модель, которая, по их словам, превосходит DeepSeek reuters.com
- Matthew Griffin (Bloomberg) – ЦРУ разрабатывает собственную версию ChatGPT fanaticalfuturist.com
- TechCrunch – Anthropic: план на $5 млрд и 4 года, чтобы конкурировать с OpenAI techcrunch.com
- MacRumors – Apple GPT: что известно о работе Apple над генеративным ИИ macrumors.com
