Anthropic introduit une nouvelle initiative de financement pour résoudre les problèmes auxquels sont confrontées les pratiques actuelles d'analyse comparative de l'IA, où le benchmark existant limite la capacité d'évaluer les performances et l'influence des modèles d'IA.
Les références existantes ne parviennent souvent pas à représenter avec précision la manière dont une personne moyenne utilise les systèmes d’IA. Ils ne parviennent pas à saisir les nuances et les complexités de l’utilisation dans le monde réel, ce qui limite la capacité à offrir des informations significatives sur les performances des modèles d’IA.
De plus, bon nombre de ces critères ont été développés avant l’avènement de l’IA générative moderne, ce qui soulève des questions quant à leur pertinence et leur applicabilité.
Initiative de financement d'Anthropic
Le programme vise à identifier et à financer des organisations tierces capables de créer des références capables de mesurer efficacement les capacités avancées des modèles d’IA.
"Notre investissement dans ces évaluations vise à élever l'ensemble du domaine de la sécurité de l'IA, en fournissant des outils précieux qui profitent à l'ensemble de l'écosystème", a publié Anthropic sur son blog officiel .
Il est urgent de disposer de nouveaux critères capables d’évaluer efficacement et avec plus de précision les modèles d’IA. « Développer des évaluations de haute qualité et pertinentes pour la sécurité reste un défi, et la demande dépasse l’offre. » ajouté dans le blog.
Domaines d’intervention pour de nouveaux benchmarks
Les nouveaux benchmarks d'Anthropic se concentreront sur l'évaluation des capacités avancées des modèles d'IA, notamment en ce qui concerne la sécurité de l'IA et les implications sociétales.
Ces références évalueront la capacité d'un modèle à effectuer des tâches ayant des implications importantes, telles que les cyberattaques, l'amélioration des armes et la manipulation ou la tromperie d'individus par le biais de deepfakes ou de désinformations.
En outre, Anthropic vise à développer un « système d’alerte précoce » pour identifier et évaluer les risques liés à l’IA liés à la sécurité et à la défense nationales. Bien que les détails de ce système ne soient pas divulgués dans le billet de blog, Anthropic souligne son engagement à faire face à ces risques.
Le programme de financement soutiendra également la recherche de références pour les tâches « de bout en bout », explorant le potentiel de l'IA dans divers domaines.
Ces tâches consistent notamment à faciliter la recherche scientifique, à parler dans de nombreuses langues, à réduire les préjugés et à filtrer la toxicité.
Anthropic a l'intention de développer de nouvelles plates-formes permettant aux experts en la matière de générer leurs propres évaluations et de mener des essais approfondis impliquant des milliers d'utilisateurs.
La société a embauché un coordinateur dédié à cette initiative et explore les opportunités d'acquérir ou d'étendre des projets ayant un potentiel d'évolutivité.
Le PDG Dario Amodei a souligné l'impact plus large de l'IA et la nécessité de solutions approfondies pour lutter contre d'éventuels problèmes d'inégalité.
Dans une interview accordée au Time Magazine, Amodei a souligné l'importance de trouver des solutions au-delà du revenu de base universel pour garantir que les progrès de la technologie de l'IA profitent au grand public.