4487
1
22 мая 09:36
Время чтения 2 минуты

OpenAI расформировала команду по защите населения от ИИ

OpenAI расформировала свою команду Superalignment, созданную для предотвращения угроз от мощных систем ИИ, менее чем через год после её основания

OpenAI расформировала команду по защите населения от ИИ

Команда OpenAI, созданная в 2023 году для предотвращения угроз со стороны мощных систем ИИ, была расформирована менее чем через год. В фокусе компании теперь «глянцевые продукты», что поднимает вопросы о приоритетах и будущих направлениях развития.

Что произошло?

Летом 2023 года OpenAI создала команду Superalignment (буквально — «супервыравнивание»), целью которой было управление будущими системами ИИ, которые могли бы представлять угрозу для человечества. Однако меньше чем через год эта команда была расформирована.

На сайте компании OpenAI заявила:

Нам нужны научные и технические прорывы, чтобы управлять и контролировать системы ИИ, которые намного умнее нас. Наша цель — решить основные технические проблемы, связанные с управлением сверхразумом, к 2027 году.

Компания также сообщила Bloomberg, что «глубже интегрирует эту группу в свои исследования для достижения целей безопасности». Но серия твитов одного из лидеров команды, Яна Лейке, недавно покинувшего компанию, раскрыла внутренние противоречия между командой безопасности и остальной частью компании.

Внутренние конфликты

В заявлении, опубликованном в социальной сети X, Лейке сообщил, что команда Superalignment боролась за ресурсы для проведения исследований.

Создание машин умнее людей — это по своей природе опасное занятие

— написал Лейке.

OpenAI несет огромную ответственность от имени всего человечества. Но за последние годы культура и процессы безопасности уступили место глянцевым продуктам.

Ранее Лейке объявил о своем уходе из OpenAI, за несколько часов до этого главный научный сотрудник компании Илья Суцкевер также покинул компанию. Суцкевер не только был одним из лидеров команды Superalignment, но и помог основать компанию.

В декабре 2023 года Суцкевер участвовал в решении уволить генерального директора Сэма Альтмана из-за опасений, что Альтман не был «постоянно откровенен» с советом директоров. Увольнение Альтмана вызвало внутренний бунт в компании, и через пять дней он вернулся на пост генерального директора OpenAI.

Заявления и планы

При объявлении о создании команды Superalignment, OpenAI заявила, что выделит 20% своей вычислительной мощности на решение проблемы управления мощными системами ИИ в течение следующих четырех лет.

OpenAI сообщила Bloomberg, что будущие усилия по безопасности будет возглавлять Джон Шульман, еще один соучредитель компании. А Якоб Пахоцкий, директор по разработке GPT-4, заменит Суцкевера на посту главного ученого.

Что это значит для индустрии?

Расформирование команды Superalignment в OpenAI подчеркивает сложность задач, стоящих перед лидерами в области искусственного интеллекта. ИИ становится все более мощным и оказывает все большее влияние, а компании и исследователи сталкиваются с необходимостью балансировать между инновациями и безопасностью.

Другие компании, такие как Google и Microsoft, также активно занимаются вопросами безопасности ИИ, выделяя значительные ресурсы на исследования и разработку защитных мер. Например, в Google DeepMind есть свои собственные специализированные команды, занимающиеся безопасностью ИИ.

Регулирование и контроль

В будущем можно ожидать усиление регулирования и контроля со стороны правительств и международных организаций, чтобы минимизировать потенциальные угрозы от мощных систем ИИ. Также важным будет участие независимых исследовательских групп и общественных организаций в мониторинге и оценке рисков.


Решение OpenAI расформировать команду по защите от ИИ отражает текущие вызовы, с которыми сталкивается индустрия искусственного интеллекта. Баланс между инновациями и безопасностью становится все более сложным, и компании должны искать пути для решения этих задач. Важно продолжать исследования и разработки в области безопасности ИИ, чтобы обеспечить устойчивое и безопасное будущее.

Ещё по теме
Обсуждение темы
Отправить
  • Вадим Лавров
    Вадим Лавров

    Я считаю, что искусственный интеллект представляет значительную опасность для общества, если его развитие не будет тщательно контролироваться. Одной из основных угроз является возможность утраты контроля над суперинтеллектом, который может принять решения, не учитывающие человеческие интересы или даже противоречащие им. Кроме того, ИИ может быть использован для создания мощных инструментов слежки и манипуляции, что угрожает нашей свободе и приватности. Наконец, автоматизация, управляемая ИИ, может привести к массовой безработице и социальному неравенству, если не будут предприняты меры по справедливому распределению благ и поддержке людей, потерявших работу. Мы должны подойти к разработке ИИ с осторожностью и ответственностью, чтобы предотвратить потенциальные катастрофические последствия. Нужно запрещать это как наркотики!!!

    22.05.2024, 13:33