User-agent: Google-Extended
Disallow: /

User-agent: *
User-agent: AdsBot-Google
Disallow: /img/

User-agent: *
User-agent: AdsBot-Google
Disallow: /comments/

# =========================================================
# robots.txt 設定案 2025/11/02
# 目的: AI学習、SEOツール、競合調査、アーカイブ系ボットの拒否
# AdSense関連クローラーは収益化のため「コメントアウト（許可）」
# =========================================================

# --- AdSense/Google Ads関連クローラー (収益化のため許可) ---
# User-agent: Mediapartners-Google    # AdSenseの主要クローラー
# Disallow: /                        # -> コメントアウトで許可
# User-agent: AdsBot-Google          # Google広告の品質チェック用クローラー
# Disallow: /                        # -> コメントアウトで許可
# User-agent: AdsBot-Google-Mobile
# Disallow: /                        # -> コメントアウトで許可

# --- AI学習系クローラーのブロック ---
User-agent: Google-Extended
Disallow: /          # Googleの生成AI学習用クローラー
User-agent: GPTBot
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: AI2Bot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /

# --- アーカイブ・データ収集系クローラーのブロック ---
User-agent: Megalodon
Disallow: /
User-agent: archive.org_bot
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: ICC-Crawler
Disallow: /

# --- SNS・広告関連ボットのブロック ---
#User-agent: facebookexternalhit
#Disallow: /          # SNSシェア時のプレビューをブロック
#User-agent: meta-externalagent
#Disallow: /          # SNSシェア時のプレビューをブロック (Meta)
#User-agent: grapeshot
#Disallow: /          # 広告関連ボットのブロック (構文修正済み)

# --- SEO・競合分析ツールのブロック ---
User-agent: AhrefsBot
Disallow: /          # 重複を解消済み
User-agent: SemrushBot
Disallow: /
User-agent: Steeler
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: serpstatbot
Disallow: /
User-agent: SEOkicks
Disallow: /
User-agent: barkrowler
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: MegaIndex
Disallow: /

# --- その他の調査・配信系ボット ---
User-agent: YandexBot
Disallow: /
User-agent: PetalBot
Disallow: /
User-agent: NetcraftSurveyAgent
Disallow: /
User-agent: BuiltWith
Disallow: /
User-agent: proximic
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: Cincraw
Disallow: /
User-agent: WanScannerBot
Disallow: /
User-agent: AliyunSecBot
Disallow: /
User-agent: Researchscan
Disallow: /
User-agent: oBot
Disallow: /

# --- デフォルトのルール (上記で指定されていない全てのボットに適用) ---
# GooglebotやBingbotなどの主要検索エンジンクローラーにクロールを許可する
User-agent: *
Allow: /