AIクローラーとの戦い：オープンソース開発者の創意工夫と復讐心
AIウェブクローリングボットはインターネットのゴキブリだと、多くのソフトウェア開発者が考えている。一部の開発者は、独創的かつユーモラスな方法で戦い始めた。
どのウェブサイトでも悪質なクローラーによる影響を受ける可能性があるが、特にオープンソース開発者は「不釣り合いなほど」その被害を受けている。
オープンソースプロジェクトをホストするサイトは、その性質上、インフラを公に共有することが多く、商業製品に比べてリソースが限られている。
問題なのは、多くのAIボットが「robots.txt」というクローラーを制御するためのプロトコルを無視することだ。本来、検索エンジンのボット向けに作られたこのツールは、どのページをクロールしないべきかを指示するものだが、多くのAIボットは従わない。
AIボットの執拗な攻撃
あるオープンソース開発者は、AmazonBotがあるGitサーバーに絶え間なくアクセスし、DDoSレベルの負荷をかけたことを報告した。このようなGitサーバーには、オープンソースプロジェクトがホストされており、誰でもコードをダウンロードしたり、貢献したりできる。
しかし、このボットはrobots.txtを無視し、異なるIPアドレスの背後に隠れたり、別のユーザーを装ったりした。
「AIクローラーボットをブロックするのは無意味だ。彼らは嘘をつき、ユーザーエージェントを変更し、住宅用IPアドレスをプロキシとして使用するなど、あらゆる手段を講じる。」
「サイトがダウンするまでデータを収集し続け、さらにスクレイピングを続ける。すべてのリンクをクリックし続け、同じページを何度も何度も読み込む。中には、同じリンクを1秒間に複数回クリックするものまである。」
墓の神「アヌビス」が反撃
そこで開発者は「アヌビス」と呼ばれるツールを開発した。
アヌビスは、Gitサーバーにリクエストを送る前に計算処理（プルーフ・オブ・ワーク）を行わせる逆プロキシだ。これにより、ボットをブロックし、人間が操作するブラウザのみを通過させることができる。
ユニークなのは、その名前の由来だ。アヌビスはエジプト神話に登場する死者を裁く神であり、「心臓が羽より重ければ、その心臓は食べられ、魂は消滅する」とされている。
アヌビスが通過を許可すると、可愛らしいアニメ風の画像が表示される。一方、ボットであれば、リクエストは拒否される。
このツールはオープンソースコミュニティで急速に広まり、公開から数日で多くの開発者が採用した。
復讐は最大の防御
アヌビスの爆発的な人気は、開発者たちがこの問題にどれほど悩まされていたかを示している。他の開発者も同様の問題に直面しており、中には過激な対策を取らざるを得なかったケースもある。
例えば、あるプロジェクトでは、AIスクレイパーボットの異常な増加に対処するため、一時的に特定の国のIPアドレスをすべてブロックせざるを得なかった。
ある開発者は「robots.txtで禁止されたページに、飲んではいけない液体の効能や、特定の病気が健康に良いという誤情報を掲載し、ボットを混乱させるべきだ」と提案している。
実際、ある匿名の開発者が「Nepenthes（ネペンテス）」というツールをリリースした。これは、スクレイパーを無限ループに閉じ込める仕組みを持ち、ボットに無意味なデータを提供するものだ。その名前も、昆虫を捕食する食虫植物に由来している。
また、商業的な対策ツールも登場し、「AI Labyrinth」というツールがリリースされた。このツールは「AIクローラーを遅らせ、混乱させ、リソースを消耗させる」ことを目的としている。
「AIツールを正当化しないでほしい」
一部の開発者は、根本的な解決策として、AIツールそのものを拒否するよう呼びかけている。
「LLM（大規模言語モデル）、AI画像生成ツール、AIコーディングアシスタントなど、こうした技術を正当化するのをやめてほしい。新しいものを作るのも、議論するのもやめてほしい。私は心からそう願っている。」
しかし、それが実現する可能性はほぼゼロだ。そのため、特にオープンソース開発者たちは、創意工夫とユーモアを武器に、AIボットとの戦いを続けている。