A Anthropic está introduzindo uma nova iniciativa de financiamento para resolver os problemas enfrentados pelas atuais práticas de benchmarking de IA, onde o benchmark existente limita a capacidade de avaliar o desempenho e a influência dos modelos de IA.
Os benchmarks existentes muitas vezes não conseguem representar com precisão como uma pessoa comum usa os sistemas de IA. Eles não conseguem capturar as nuances e complexidades do uso no mundo real, levando a uma capacidade limitada de oferecer insights significativos sobre o desempenho do modelo de IA.
Além disso, muitos destes benchmarks foram desenvolvidos antes do advento da IA generativa moderna, levantando questões sobre a sua relevância e aplicabilidade.
Iniciativa de Financiamento da Antrópica
O programa visa identificar e financiar organizações terceirizadas capazes de criar benchmarks que possam medir efetivamente capacidades avançadas em modelos de IA.
“Nosso investimento nessas avaliações visa elevar todo o campo da segurança de IA, fornecendo ferramentas valiosas que beneficiam todo o ecossistema”, publicou a Anthropic em seu blog oficial .
A necessidade de novos parâmetros de referência capazes de avaliar eficazmente os modelos de IA com maior precisão é urgente: “O desenvolvimento de avaliações de alta qualidade e relevantes para a segurança continua a ser um desafio e a procura está a ultrapassar a oferta.” adicionado no blog.
Áreas de foco para novos benchmarks
Os novos benchmarks da Antrópico se concentrarão na avaliação das capacidades avançadas dos modelos de IA, particularmente em relação à segurança da IA e às implicações sociais.
Esses benchmarks avaliarão a capacidade de um modelo de realizar tarefas que tenham implicações significativas, como ataques cibernéticos, aprimoramento de armas e manipulação ou engano de indivíduos por meio de deepfakes ou desinformação.
Além disso, a Anthropic pretende desenvolver um “sistema de alerta precoce” para identificar e avaliar os riscos de IA relacionados com a segurança e defesa nacional. Embora os detalhes sobre este sistema não sejam divulgados na postagem do blog, a Anthropic enfatiza seu compromisso em enfrentar esses riscos.
O programa de financiamento apoiará também a investigação de parâmetros de referência para tarefas «de ponta a ponta», explorando o potencial da IA em vários domínios.
Estas tarefas incluem facilitar a investigação científica, falar em várias línguas, reduzir preconceitos e filtrar a toxicidade.
A Anthropic pretende desenvolver novas plataformas que capacitem especialistas no assunto a gerar suas próprias avaliações e realizar testes extensivos envolvendo milhares de usuários.
A empresa contratou um coordenador dedicado para esta iniciativa e está explorando oportunidades para adquirir ou expandir projetos com potencial de escalabilidade.
O CEO Dario Amodei enfatizou o impacto mais amplo da IA e a necessidade de soluções completas para resolver possíveis problemas de desigualdade.
Numa entrevista à Time Magazine, Amodei destacou a importância de encontrar soluções além do Rendimento Básico Universal para garantir que os avanços na tecnologia de IA beneficiem o público em geral.