웹사이트 게시자들은 최근 AI 스타트업인 Anthropic에 대해 공격적인 데이터 스크래핑 관행을 비난하며 심각한 혐의를 제기했습니다.
이 자동화된 프로세스에는 콘텐츠 소유자의 명시적인 허가 없이 웹사이트에서 데이터를 추출하는 작업이 포함되며, 이는 잠재적으로 웹사이트의 서비스 약관을 위반할 수 있으며, 이는 게시자와 AI 회사 모두에게 지속적인 영향을 미칠 수 있습니다.
데이터 스크래핑은 반드시 불법은 아니지만 콘텐츠 제작자의 권리를 침해할 경우 논란의 여지가 있습니다. 데이터 스크래핑을 통해 AI 회사는 잠재적으로 민감하거나 독점적인 콘텐츠로 모델을 교육할 수 있으므로 게시자는 점점 더 주의를 기울이고 있습니다.
Freelancer.com의 반응과 행동
프리랜서와 고용주를 위한 유명한 플랫폼인 Freelancer.com은 Anthropic에 대한 이러한 비난에서 특히 목소리를 높여왔습니다.
Matt Barrie CEO는 이 스타트업의 데이터 수집 활동이 엄청났다고 설명하면서 4시간 이내에 웹사이트에서 Anthropic에 연결된 크롤러로부터 350만 건의 방문을 발견했다고 주장했습니다. Barrie는 이 책이 "아마도 두 번째 책의 약 5배"라고 말했습니다.
이러한 파괴적인 활동으로 인해 Freelancer.com은 Anthropic의 크롤러를 완전히 차단했습니다. Barrie는 회사가 인터넷 프로토콜을 무시하고 데이터 스크래핑을 "심각한" 행위로 묘사했다고 비난했습니다.
웹사이트 측에서 이러한 활동은 사이트 성능을 약화시킬 뿐만 아니라 자동화된 크롤러의 트래픽 증가로 인해 시스템에 과부하가 걸리고 속도가 느려지므로 수익에도 큰 영향을 미칩니다.
iFixit: 이는 예의바른 인터넷 행동이 아닙니다
수리 커뮤니티 및 리소스 웹사이트인 iFixit도 Anthropic이 robots.txt 파일에 지정된 사이트의 "크롤링 금지" 규정을 무시했다고 주장했습니다.
iFixit의 CEO인 Kyle Wiens는 Anthropic의 크롤러가 하루 만에 서버에 백만 번 액세스했다고 보고했는데, 이는 스크래핑 활동의 규모와 파괴력에 비해 엄청난 수준입니다.
Robots.txt는 크롤러가 액세스할 수 있는 웹 페이지를 지정하고 이를 무시하면 주요 준수 문제가 발생할 수 있으며 설정된 프로토콜을 따르는 것에 대한 업계의 광범위한 우려를 불러일으킬 수 있음을 지정하는 파일입니다.
robots.txt를 준수하는 것은 자발적이고 주로 웹 크롤러를 관리하는 데 의존하지만 이러한 규칙을 무시하면 Anthropic을 포함한 일부 AI 회사의 데이터 스크랩 관행에서 문제가 되는 추세가 시작될 수 있습니다.