Исследователи из Корнеллского университета и Университета Карнеги — Меллона провели математическое моделирование цепочки поставок ИИ-инструментов и выявили, что слабые правила безопасности, ограниченные только создателями конечных приложений, приводят к более опасным продуктам, чем при полном отсутствии регулирования.
В своей работе учёные разделили цепочку создания ИИ на два уровня: компании, разрабатывающие универсальные базовые модели, и фирмы, адаптирующие эти модели под конкретные задачи — например, медицинскую диагностику или клиентский сервис. Модель оценивает итоговую безопасность и производительность продуктов при введении минимальных требований на разных этапах разработки.
Опасный эффект возникает, когда регуляторы устанавливают низкие стандарты безопасности исключительно для разработчиков конечных сервисов. В этом случае поставщики базовых нейросетей теряют стимулы вкладываться в собственные системы защиты и независимый аудит.
Главный автор исследования Бенджамин Лоуфер из подразделения Cornell Tech отметил, что такие законы позволяют крупным игрокам перекладывать финансовое и техническое бремя безопасности на специализированных разработчиков приложений, создавая эффект «бесплатного проезда».
Безопасность в исследовании рассматривается широко, включая риски вреда пользователям, в том числе генерацию токсичного контента чат-ботами. В условиях, когда большинство законов о регулировании ИИ находятся в стадии законопроектов, важно математически оценивать искажения экономических стимулов у коммерческих компаний.
Модель иллюстрирует системную проблему управления в многокомпонентных ИИ-сервисах, где ответственность распределена между обучением базовой модели, её настройкой, проектированием интерфейса и операционным мониторингом. Законодательные нормы, налагающие обязательства только на один уровень, создают разрыв между организациями, способными эффективно устранять риски, и теми, кто должен лишь документировать соответствие стандартам.
Исследование предлагает формальную математическую основу для распределения ответственности за безопасность нейросетей между разработчиками и внедряющими компаниями. Хотя выводы основаны на теоретической модели, они дают регуляторам и специалистам по управлению рисками ориентиры для создания аудиторских стандартов и предотвращения уклонения крупных поставщиков от проверок.
