robots.txt (dla AI)
robots.txt to plik w root domeny (np. /robots.txt), który mówi crawlerom (zarówno wyszukiwarek jak i modeli AI), do których części strony mają dostęp. W erze GEO kluczowe jest explicit allowowanie crawlerów AI — GPTBot, ClaudeBot, PerplexityBot, Google-Extended.
Crawler AI których powinieneś allowować
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: CCBot
Allow: /
User-agent: Applebot-Extended
Allow: /
Pułapka: domyślny block
Niektóre platformy hostingowe i CMS domyślnie blokują wszystkie boty, których nie znają. To oznacza, że nawet jeśli robots.txt nie blokuje GPTBot, twój hosting może to robić na poziomie firewall (np. Cloudflare AI Audit). Sprawdź w logach.
Czy disallow boty AI?
Zależy od strategii:
- B2B SaaS, agencje, kancelarie → ALLOWAĆ. Chcesz być cytowany.
- E-commerce premium z unique content → ALLOWAĆ. AI Overview = darmowy ruch.
- Wydawnictwa medialne z paywallem → rozważ disallow do treści premium, allow do free.
- Strony bez SEO/GEO ambicji → domyślnie allow.
Powiązane terminy
Chcesz zastosować to w praktyce dla swojej marki?
Sprawdź swoją markę w AI→