Anthropic introduceert een nieuw financieringsinitiatief om de problemen aan te pakken waarmee de huidige AI-benchmarkpraktijken worden geconfronteerd, waarbij de bestaande benchmark het vermogen beperkt om de prestaties en invloed van AI-modellen te beoordelen.
Bestaande benchmarks zijn vaak niet in staat nauwkeurig weer te geven hoe de gemiddelde persoon AI-systemen gebruikt. Ze slagen er niet in de nuances en complexiteiten van het gebruik in de echte wereld vast te leggen, wat leidt tot een beperkt vermogen om significante inzichten te bieden in de prestaties van AI-modellen.
Bovendien zijn veel van deze benchmarks ontwikkeld vóór de komst van moderne generatieve AI, wat vragen oproept over hun relevantie en toepasbaarheid.
Het financieringsinitiatief van Anthropic
Het programma heeft tot doel externe organisaties te identificeren en te financieren die in staat zijn benchmarks te creëren die geavanceerde mogelijkheden in AI-modellen effectief kunnen meten.
“Onze investering in deze evaluaties is bedoeld om het hele veld van AI-veiligheid naar een hoger niveau te tillen en waardevolle hulpmiddelen te bieden die het hele ecosysteem ten goede komen”, publiceerde Anthropic op zijn officiële blog .
De noodzaak voor nieuwe benchmarks die AI-modellen effectief en nauwkeuriger kunnen evalueren is urgent: “Het ontwikkelen van hoogwaardige, veiligheidsrelevante evaluaties blijft een uitdaging, en de vraag overtreft het aanbod.” toegevoegd in de blog.
Aandachtsgebieden voor nieuwe benchmarks
De nieuwe benchmarks van Anthropic zullen zich richten op het evalueren van de geavanceerde mogelijkheden van AI-modellen, met name in relatie tot AI-beveiliging en maatschappelijke implicaties.
Deze benchmarks beoordelen het vermogen van een model om taken uit te voeren die aanzienlijke implicaties hebben, zoals cyberaanvallen, wapenverbetering en manipulatie of misleiding van individuen door middel van deepfakes of desinformatie.
Bovendien wil Anthropic een ‘vroegtijdig waarschuwingssysteem’ ontwikkelen om AI-risico’s met betrekking tot de nationale veiligheid en defensie te identificeren en te beoordelen. Hoewel details over dit systeem niet in de blogpost worden bekendgemaakt, benadrukt Anthropic zijn inzet om deze risico's aan te pakken.
Het financieringsprogramma zal ook onderzoek ondersteunen naar benchmarks voor ‘end-to-end’-taken, waarbij het potentieel van AI op verschillende domeinen wordt onderzocht.
Tot deze taken behoren onder meer het faciliteren van wetenschappelijk onderzoek, het spreken in talloze talen, het verminderen van vooroordelen en het uitfilteren van toxiciteit.
Anthropic is van plan nieuwe platforms te ontwikkelen die vakexperts in staat stellen hun eigen beoordelingen te genereren en uitgebreide tests uit te voeren waarbij duizenden gebruikers betrokken zijn.
Het bedrijf heeft voor dit initiatief een speciale coördinator in dienst genomen en onderzoekt mogelijkheden om projecten met schaalbaarheidspotentieel te verwerven of uit te breiden.
CEO Dario Amodei heeft de bredere impact van AI benadrukt en de noodzaak van grondige oplossingen om mogelijke ongelijkheidsproblemen aan te pakken.
In een interview met Time Magazine benadrukte Amodei het belang van het vinden van oplossingen die verder gaan dan het universele basisinkomen om ervoor te zorgen dat de vooruitgang in AI-technologie het grote publiek ten goede komt.