Anthropic은 기존 벤치마크가 AI 모델의 성능과 영향을 평가하는 능력을 제한하는 현재 AI 벤치마킹 관행이 직면한 문제를 해결하기 위해 새로운 자금 지원 계획을 도입하고 있습니다.
기존 벤치마크는 일반인이 AI 시스템을 사용하는 방식을 정확하게 나타내지 못하는 경우가 많습니다. 실제 사용의 뉘앙스와 복잡성을 포착하지 못하여 AI 모델 성능에 대한 중요한 통찰력을 제공하는 능력이 제한됩니다.
또한 이러한 벤치마크 중 상당수는 최신 생성 AI가 출현하기 전에 개발되었기 때문에 관련성과 적용 가능성에 대한 의문이 제기되었습니다.
Anthropic의 자금 조달 계획
이 프로그램은 AI 모델의 고급 기능을 효과적으로 측정할 수 있는 벤치마크를 생성할 수 있는 제3자 조직을 식별하고 자금을 지원하는 것을 목표로 합니다.
Anthropic은 공식 블로그를 통해 "이러한 평가에 대한 우리의 투자는 전체 생태계에 도움이 되는 귀중한 도구를 제공하여 전체 AI 안전 분야를 향상시키기 위한 것입니다"라고 밝혔습니다.
AI 모델을 보다 정확하게 효과적으로 평가할 수 있는 새로운 벤치마크의 필요성이 시급하다. “고품질의 안전 관련 평가를 개발하는 것은 여전히 어려운 일이며 수요가 공급을 앞지르고 있습니다.” 블로그에 추가했습니다.
새로운 벤치마크의 중점 영역
Anthropic의 새로운 벤치마크는 특히 AI 보안 및 사회적 영향과 관련하여 AI 모델의 고급 기능을 평가하는 데 중점을 둘 것입니다.
이러한 벤치마크는 사이버 공격, 무기 강화, 딥페이크나 잘못된 정보를 통한 개인 조작이나 기만과 같은 중요한 영향을 미치는 작업을 수행하는 모델의 능력을 평가합니다.
또한 Anthropic은 국가 안보 및 국방과 관련된 AI 위험을 식별하고 평가하기 위한 "조기 경보 시스템"을 개발하는 것을 목표로 합니다. 이 시스템에 대한 세부 사항은 블로그 게시물에 공개되지 않지만 Anthropic은 이러한 위험을 해결하겠다는 의지를 강조합니다.
또한 자금 지원 프로그램은 다양한 영역에서 AI의 잠재력을 탐구하는 "엔드 투 엔드" 작업에 대한 벤치마크 연구를 지원합니다.
이러한 작업에는 과학 연구 촉진, 다양한 언어로 말하기, 편견 감소, 독성 필터링 등이 포함됩니다.
Anthropic은 해당 분야 전문가가 자체 평가를 생성하고 수천 명의 사용자가 참여하는 광범위한 시험을 수행할 수 있는 새로운 플랫폼을 개발할 계획입니다.
회사는 이 이니셔티브를 위해 전담 코디네이터를 고용했으며 확장 가능성이 있는 프로젝트를 확보하거나 확장할 수 있는 기회를 모색하고 있습니다.
CEO Dario Amodei는 AI의 광범위한 영향과 불평등 문제를 해결하기 위한 철저한 솔루션의 필요성을 강조했습니다.
Time Magazine과의 인터뷰에서 Amodei는 AI 기술의 발전이 더 많은 대중에게 혜택을 줄 수 있도록 보편적 기본 소득 이상의 솔루션을 찾는 것이 중요하다고 강조했습니다.