OpenAI Safety Fellowship Cut: A Risky AI Leap
Смещающиеся пески видения ИИ безопасности OpenAI
Я годами наблюдаю за развитием ландшафта искусственного интеллекта, внимательно следя за взаимодействием между быстрым технологическим прогрессом и неотложным, часто сложным, стремлением к безопасности. Нигде это напряжение не ощущается так сильно, как в OpenAI, организации, основанной с миссией обеспечения того, чтобы искусственный общий интеллект (AGI) действительно приносил пользу всему человечеству. Вы можете узнать больше об их миссии на веб-сайте Фонда OpenAI.
Источник: Иллюстрация изображает лицо гуманоидного робота со светящимися синими глазами, символизирующее будущее, где ИИ и человечество сходятся, и стремление к безопасному AGI.
Краткое изложение
- Заявленная приверженность OpenAI: OpenAI публично подчеркивает безопасность как основную миссию, интегрируя меры с ранних этапов разработки и сотрудничая с внешними экспертами и правительствами.
- Новая стипендия по безопасности: Пилотная программа, запущенная в апреле 2026 года, для стимулирования независимых исследований в области безопасности ИИ, предлагающая стипендии и наставничество.
- Внутренние разногласия: Отчеты из *The New Yorker* и от бывших сотрудников (Илья Суцкевер, Дарио Амодеи, Ян Лейке) указывают на отход от принципов «безопасность прежде всего» из-за коммерческого давления и озабоченности руководства.
- Позиция Сэма Альтмана: Генеральный директор Сэм Альтман заявил, что его «вибрации не совпадают со многими традиционными вопросами безопасности ИИ».
- Команда "Superalignment" распущена: Команда, занимающаяся предотвращением «вымирания человечества», предположительно получала минимальные ресурсы и впоследствии была расформирована.
- Внешняя критика: Майлс Брандридж раскритиковал OpenAI за предполагаемое «переписывание» истории безопасности ИИ.
- Более широкий контекст: Область безопасности ИИ растет, имеет исторические корни, государственное участие (NIST, стратегия Великобритании по ИИ) и продолжающиеся дебаты о текущих и спекулятивных рисках.
Приверженность OpenAI исследованиям в области безопасности
OpenAI последовательно заявляет, что безопасность является основным стержнем ее миссии, направленной на максимизацию положительного воздействия ИИ при минимизации отрицательного. Их подробный подход к безопасности и согласованию изложен в их статье о том, как они относятся к безопасности и согласованию. . Организация активно интегрирует меры безопасности с начальных этапов разработки для продвижения инновационных и надежных систем ИИ.
Их подход включает десять ключевых практик для повышения безопасности, таких как эмпирический ред-тиминг и тестирование перед выпуском, как описано в их концепции безопасности. . Например, более 70 внешних экспертов внесли свой вклад в оценку рисков для GPT-4 посредством инициатив ред-тиминга, о чем вы можете прочитать в их обзоре безопасности. . OpenAI не будет выпускать новые модели, если они превысят порог риска «средней» категории в рамках их «Концепции готовности», до тех пор, пока не будут внедрены соответствующие меры безопасности, политика, подробно изложенная в их руководстве по безопасности, . Эта концепция, введенная в прошлом году, предоставляет структурированный подход к выявлению и снижению потенциальных опасностей, как поясняется в статье.
.OpenAI также привержена совместным усилиям. Они присоединились к «Обязательствам по безопасности передовых ИИ», которые выступают за безопасную разработку, внедрение моделей ИИ и обмен информацией относительно снижения рисков, как указано в их документации по безопасности. . Индийский институт безопасности ИИ и OpenAI подписали соглашения, касающиеся исследований в области безопасности ИИ. Больше информации об этих соглашениях можно найти на веб-сайте NIST. . На международном уровне OpenAI сотрудничает с правительствами для разработки эффективной политики безопасности ИИ, как упомянуто в их практиках безопасности.
Источник: vectorseek.com
Важным направлением работы OpenAI в области безопасности является защита детей, внедрение надежных стандартных защитных мер в ChatGPT и DALL-E, как поясняется в их концепции безопасности. . Они сотрудничают с такими организациями, как Thorn, для обнаружения и сообщения о материалах, связанных с насилием над детьми, в Национальный центр по делам пропавших и эксплуатируемых детей, как подробнее описано в их обязательствах по безопасности. . Компания также сотрудничает с правительствами и заинтересованными сторонами для обеспечения целостности выборов; ChatGPT направляет пользователей в США и Европе к официальным источникам информации о выборах, как изложено в их руководстве по безопасности. . Кроме того, OpenAI поддерживает «Закон о защите выборов от обманчивого ИИ» в Сенате США, который запрещает вводящий в заблуждение контент, созданный ИИ, в политической рекламе. Вы можете прочитать текст этого законопроекта на GovTrack.us.
Новая стипендия по безопасности ИИ
Развивая эти усилия, OpenAI объявила 6 апреля 2026 года о пилотной программе "Стипендия по безопасности" (Safety Fellowship), предназначенной для стимулирования независимых исследований в области безопасности и согласования, а также для воспитания новых талантов. Эта программа будет проходить с 14 сентября 2026 года по 5 февраля 2027 года. Стипендиаты будут сосредоточены на проблемах безопасности, связанных как с текущими, так и с будущими системами ИИ, включая оценку безопасности, этику, надежность, масштабируемые меры снижения рисков, методы безопасной работы с сохранением конфиденциальности, надзор за агентами и области с высоким риском злоупотребления. Участники будут тесно сотрудничать с наставниками OpenAI, удаленно или в Constellation в Беркли, как указано на веб-сайте Constellation. . Стипендия включает ежемесячную стипендию, вычислительную поддержку и постоянное наставничество. Заявки принимались до 3 мая, успешные кандидаты были уведомлены к 25 июля.
Эволюция философии безопасности OpenAI
OpenAI рассматривает развитие AGI не как единый, скачкообразный прыжок, а скорее как прогрессию систем, предлагающих возрастающую полезность, как заявляется в их принципах безопасности. . Их принцип итеративного внедрения позволяет учиться на текущих системах и адаптировать общество к развивающейся технологии, что дополнительно объясняется в их подходе к безопасности. . Эта философия согласуется с подходом OpenAI к выпуску GPT-2, который, по словам бывшего руководителя политики Майлса Брандриджа, полностью соответствовал их нынешней философии итеративного внедрения. Комментарии Брандриджа можно найти в его твите. . Брандридж утверждал, что осторожность, окружавшая выпуск GPT-2, была оправдана, как отмечено в том же твите.
.Несмотря на эти заявленные обязательства, появились внутренние и внешние критики, предполагающие потенциальное отклонение от основополагающих принципов безопасности OpenAI.
Растущее внутреннее недовольство
В докладе *The New Yorker* от апреля 2026 года рассказывается, как первоначальная миссия OpenAI по приоритетности человечества над прибылью якобы рухнула под давлением коммерческой выгоды. Этот сдвиг привел к тому, что компания стала прибыльным предприятием, расформировала многие из своих групп по безопасности и уволила членов правления, которые пытались сместить генерального директора Сэма Альтмана из-за предполагаемого обмана в отношении протоколов безопасности. Отчет, основанный на внутренних документах бывшего главного научного сотрудника Ильи Суцкевера и бывшего руководителя отдела безопасности Дарио Амодеи (ныне генерального директора Anthropic), осветил фундаментальный конфликт. Амодеи, например, выступал за включение пункта «Объединение и помощь» (Merge-and-Assist) в устав OpenAI, обязывающего компанию поддерживать другие ИИ-фирмы, если они первыми достигнут безопасного AGI. Microsoft, во время своих инвестиций в 2019 году, якобы получила право вето на этот пункт.
Стиль руководства Сэма Альтмана также подвергся проверке: меморандум Суцкевера якобы начинался со списка, первый пункт которого гласил: «Сэм демонстрирует последовательный паттерн... Лжи». Амодеи заключил: «Проблема с OpenAI — это сам Сэм».
❝ Проблема с OpenAI — это сам Сэм. ❞
Генеральный директор Anthropic
Сам Альтман признался *The New Yorker*, что его «вибрации не совпадают со многими традиционными вопросами безопасности ИИ».
❝ вибрации не совпадают со многими традиционными вопросами безопасности ИИ. ❞
Генеральный директор OpenAI
Источник: stablediffusionweb.com
Команда «Superalignment», созданная в середине 2023 года с обещанием одной пятой вычислительной мощности OpenAI для предотвращения «лишения человечества власти или даже вымирания человечества», предположительно получила лишь один-два процента вычислительной мощности самых старых аппаратных средств и впоследствии была расформирована. Представитель OpenAI, казалось, был незнаком с исследователями, занимающимися экзистенциальной безопасностью, заявив: «Такого не бывает».
❝ Такого не бывает. ❞
Должность неизвестна
Эти внутренние свидетельства указывают на значительный отход от заявленного компанией принципа «безопасность прежде всего».
Внешние опасения и общественное восприятие
Бывшие сотрудники OpenAI публично выражали опасения. В июле 2024 года в отчете *The Washington Post* были приведены анонимные сотрудники, утверждавшие, что OpenAI торопила тесты безопасности и преждевременно радовалась своим продуктам. Полный отчет можно прочитать в The Washington Post. . Ян Лейке, ключевой исследователь OpenAI, ушел в отставку, утверждая, что «культура и процессы безопасности компании отошли на второй план по сравнению с глянцевыми продуктами».
❝ культура и процессы безопасности компании отошли на второй план по сравнению с глянцевыми продуктами. ❞
Исследователь OpenAI
В марте 2025 года Майлс Брандридж раскритиковал OpenAI за предполагаемое «переписывание» истории безопасности ИИ. Его комментарии доступны по ссылке этот твит. . Брандридж выразил опасение, что новый нарратив OpenAI направлен на то, чтобы отвергать опасения как «паникерские» и требовать «подавляющих доказательств непосредственной опасности», что он также уточнил в своем посте в социальных сетях.
Источник: robots.law.miami.edu
Несмотря на эти критические замечания, Тайя Кристиансон, представитель OpenAI, заявила, что компания гордится своим послужным списком в предоставлении мощных и безопасных систем ИИ.
Более широкий ландшафт безопасности ИИ
Область безопасности ИИ получила значительный импульс, особенно с 2023 года, благодаря быстрым достижениям в области генеративного ИИ и растущей обеспокоенности со стороны исследователей и руководителей. Это включает обсуждение текущих рисков, таких как ошибки ИИ, предвзятость и слежка с помощью ИИ, а также возникающих угроз, таких как дезинформация и автономное оружие. Спекулятивные риски, такие как потеря контроля над будущими агентами AGI или ИИ, способствующий установлению стабильных диктатур, также являются частью этих обсуждений.
Исторически сложилось так, что риски ИИ обсуждались с ранних дней кибернетики, как отметил Норберт Винер в 1949 году. Роман Ямпольский ввел термин «инженерия безопасности ИИ» в 2011 году, предсказывая увеличение частоты и серьезности сбоев ИИ. Книга Ника Бострома 2014 года «Сверхинтеллект» (Superintelligence)Further популяризировала эти опасения, а такие фигуры, как Илон Маск, Билл Гейтс и Стивен Хокинг, повторяли его предупреждения.
Правительственные и академические органы по всему миру активно занимаются вопросами безопасности ИИ. Национальная комиссия по искусственному интеллекту США в 2021 году сообщила, что системы ИИ должны соответствовать человеческим целям и ценностям, включая безопасность и надежность. Национальный институт стандартов и технологий (NIST) разработал концепцию управления рисками ИИ. Китай выпустил этические рекомендации в 2021 году, подчеркивающие человеческий контроль и ответственность, а Национальная стратегия Великобритании по ИИ 2021 года признает долгосрочные риски несогласованного AGI.
Ключевые области исследований в области безопасности ИИ
Исследования в области безопасности ИИ в широком смысле охватывают несколько критических областей:
| Область | Описание | Примеры проблем |
|---|---|---|
| Надежность | Обеспечение надежной и предсказуемой работы систем ИИ, даже в неожиданных условиях или при атаках противника. | «Враждебные примеры», «Внедрение подсказок», «Кража модели». |
| Мониторинг | Разработка методов понимания и контроля поведения ИИ, особенно по мере усложнения систем. | Проблема «черного ящика», «внутренняя интерпретируемость», обнаружение «троянских коней» или бэкдоров. |
| Согласование | Обеспечение того, чтобы системы ИИ следовали намеченным целям, предпочтениям и этическим принципам, а не непреднамеренным или вредоносным. | «Прокси-цели», «Инструментальные цели», стратегическое обман, кодирование человеческих ценностей. |
| Системная безопасность | Устранение более широких рисков, связанных с конкурентным давлением, неадекватной культурой безопасности и геополитическими последствиями. | «Гонка на дно», последствия кибербезопасности, влияние на принятие решений. |
OpenAI признает несколько основных принципов для своего подхода к безопасности и согласованию: принятие неопределенности, поддержка многоуровневой защиты, разработка масштабируемых методов безопасности, поддержание человеческого контроля и стимулирование совместных усилий. Эти принципы подробно описаны в их статье Как мы относимся к безопасности и согласованию. . Они стремятся создавать прозрачные, аудируемые и контролируемые системы, кодируя явные политики и «прецедентное право» в процессе обучения моделей, как далее рассматривается на их странице безопасности.
Заключение
Путь OpenAI в области безопасности ИИ отражает сложное взаимодействие амбициозных обещаний, значительных технических достижений и внутренних проблем. В то время как компания продолжает анонсировать новые инициативы, такие как «Стипендия по безопасности», и подчеркивать свою приверженность безопасной разработке, критические отчеты от бывших сотрудников и *The New Yorker* поднимают важные вопросы о соответствии ее действий заявленной миссии. Продолжающиеся дебаты вокруг внутренней культуры OpenAI и приоритета продуктов над безопасностью подчеркивают присущие трудности в навигации по быстрому развитию ИИ при соблюдении этических стандартов и стандартов безопасности на благо всех. Взгляд сообщества ИИ, политиков и общественности остается прикованным к OpenAI, поскольку она стремится примирить свои коммерческие интересы со своим основополагающим видением безопасного, приносящего пользу AGI.
Источник: YouTube
Часто задаваемые вопросы о практике OpenAI в области безопасности
Вот некоторые распространенные вопросы относительно подхода OpenAI к безопасности ИИ и последних событий:
- Какова заявленная миссия OpenAI в отношении безопасности ИИ?
Миссия OpenAI заключается в обеспечении того, чтобы искусственный общий интеллект (AGI) приносил пользу всему человечеству. Они заявляют, что безопасность является основной частью этой миссии, направленной на максимизацию положительного воздействия и минимизацию отрицательного.
- Что такое программа "Стипендия по безопасности"?
«Стипендия по безопасности» — это пилотная программа, анонсированная OpenAI в апреле 2026 года для поддержки независимых исследований в области безопасности и согласования ИИ, а также для воспитания новых талантов в этой области. Она включает стипендии, вычислительную поддержку и наставничество.
- Почему возникают опасения по поводу приверженности OpenAI безопасности?
Опасения возникают из-за сообщений *The New Yorker* и бывших сотрудников, утверждающих об изменении первоначального принципа OpenAI «безопасность прежде всего» из-за коммерческого давления. Конкретные точки спора включают расформирование групп по безопасности, предполагаемое преуменьшение значимости команды «Superalignment» и критику приоритетов руководства в отношении выпуска продуктов поверх тщательного тестирования безопасности.
- Кто является ключевыми фигурами, высказывающими опасения по поводу культуры безопасности OpenAI?
Среди известных критиков — бывший главный научный сотрудник Илья Суцкевер, бывший руководитель отдела безопасности Дарио Амодеи (ныне генеральный директор Anthropic), бывший руководитель политики Майлс Брандридж и исследователь Ян Лейке, все они выражали опасения по поводу внутренней практики компании и философских сдвигов.
- Как OpenAI утверждает, что обеспечивает безопасность ИИ?
OpenAI утверждает, что интегрирует меры безопасности с самых ранних этапов разработки, применяя такие практики, как эмпирический ред-тиминг, тестирование перед выпуском и «Концепция готовности». Они также сотрудничают с внешними экспертами, правительствами и организациями для устранения таких рисков, как материалы, связанные с насилием над детьми, и вмешательство в выборы.