Некорректная работа нейросети. Глава отдела безопасности OpenAI ушел в отставку
Глава отдела безопасности OpenAI подал в отставку и покинул компанию из-за недостаточной осторожности в разработке ИИ. Об этом Дэвид Робинсон сообщил в статье для издания The Atlantic.
Он занимался вопросами прозрачности в сфере безопасности, в том числе участвовал в подготовке и публикации системных карт с информацией о моделях компании.
По словам Дэвида Робинсона, решение об уходе было принято в связи с проблемами с корпоративной культурой и небезопасными подходами компании к разработке искусственного интеллекта.
Передовые ИИ-лаборатории должны работать как атомные электростанции или загруженные аэропорты, где редкие и неизбежные человеческие ошибки не могут привести к катастрофе, высказался он.
«За три с половиной года работы я не встречал коллег, у которых был опыт обеспечения безопасности в других отраслях. ИИ-компаниям нужно больше опираться на такой опыт. ИИ-компании не имеют уверенности в том, что хорошие результаты тестов означают корректную работу модели. Модели могут определять, когда их тестируют, и вести себя по-другому после развертывания. Прежде чем создавать системы, значительно превосходящие по своим возможностям нынешние, нам необходимы новые научные разработки, гарантирующие, что более совершенные модели будут принимать безопасные решения», — говорится в материале.
Ранее руководство OpenAI уволило трех разработчиков Жасмин Ван, Томека Корбака и Микиту Балесни.
Их обвинили в передаче конфиденциальной информации организации, специализирующейся на вопросах безопасности искусственного интеллекта.
В начале сентября исследователь Anthropic Джейкоб Коксон покинул компанию и индустрию искусственного интеллекта из-за опасений, связанных с быстрым развитием ИИ.
