AIクローラー簡易診断

AI検索系クローラーを想定し、robots.txt、HTTPブロック、noindex、canonical、本文取得量を簡易診断します。