Anthropic представляет новую инициативу финансирования для решения проблем, с которыми сталкиваются текущие методы сравнительного анализа ИИ, когда существующие тесты ограничивают возможности оценки производительности и влияния моделей ИИ.
Существующие тесты часто не могут точно представить, как средний человек использует системы искусственного интеллекта. Они не могут уловить нюансы и сложности реального использования, что приводит к ограничению возможностей предоставления существенной информации о производительности модели ИИ.
Кроме того, многие из этих тестов были разработаны до появления современного генеративного искусственного интеллекта, что поднимает вопросы об их актуальности и применимости.
Инициатива финансирования Anthropic
Целью программы является выявление и финансирование сторонних организаций, способных создавать тесты, позволяющие эффективно измерять расширенные возможности моделей искусственного интеллекта.
«Наши инвестиции в эти оценки направлены на повышение уровня безопасности ИИ во всей области, предоставляя ценные инструменты, которые принесут пользу всей экосистеме», — написала Anthropic в своем официальном блоге .
Необходимость в новых тестах, способных более точно и эффективно оценивать модели ИИ, является острой: «Разработка высококачественных, важных для безопасности оценок остается сложной задачей, а спрос превышает предложение». добавлено в блог.
Направления для новых эталонов
Новые тесты Anthropic будут сосредоточены на оценке расширенных возможностей моделей ИИ, особенно в отношении безопасности ИИ и социальных последствий.
Эти тесты будут оценивать способность модели выполнять задачи, имеющие серьезные последствия, такие как кибератаки, усовершенствование оружия, а также манипулирование или обман людей посредством дипфейков или дезинформации.
Кроме того, Anthropic стремится разработать «систему раннего предупреждения» для выявления и оценки рисков ИИ, связанных с национальной безопасностью и обороной. Хотя подробности об этой системе не раскрываются в сообщении в блоге, Anthropic подчеркивает свою приверженность устранению этих рисков.
Программа финансирования также будет поддерживать исследования в области тестов для «сквозных» задач, изучая потенциал ИИ в различных областях.
Эти задачи включают содействие научным исследованиям, общение на многих языках, снижение предрассудков и фильтрацию токсичности.
Anthropic намерена разработать новые платформы, которые дадут экспертам в данной области возможность проводить собственные оценки и проводить обширные испытания с участием тысяч пользователей.
Компания наняла специального координатора для этой инициативы и изучает возможности приобретения или расширения проектов с потенциалом масштабируемости.
Генеральный директор Дарио Амодей подчеркнул более широкое влияние ИИ и необходимость тщательного решения возможных проблем неравенства.
В интервью журналу Time Magazine Амодей подчеркнул важность поиска решений, выходящих за рамки универсального базового дохода, чтобы гарантировать, что достижения в области технологий искусственного интеллекта принесут пользу широкой общественности.