LLM Crawlers (boty AI)
Automaty rozwijane przez OpenAI, Anthropic, Google, Perplexity i innych, które odwiedzają strony internetowe żeby pobrać świeży kontent do odpowiedzi AI. Najważniejsze User-Agenty: GPTBot, ClaudeBot, PerplexityBot, Google-Extended, OAI-SearchBot, Applebot-Extended, CCBot.
Główne boty AI w 2026
| Bot | Operator | Zastosowanie |
|---|---|---|
| GPTBot | OpenAI | Training data dla GPT-4/5 |
| OAI-SearchBot | OpenAI | ChatGPT search live |
| ChatGPT-User | OpenAI | ChatGPT browse mode (per-user) |
| ClaudeBot | Anthropic | Training + ad-hoc fetch |
| Claude-Web | Anthropic | Claude browse mode |
| PerplexityBot | Perplexity | Główny crawler |
| Perplexity-User | Perplexity | Per-zapytanie fetch |
| Google-Extended | Gemini training (separate from Googlebot) | |
| Applebot-Extended | Apple | Apple Intelligence |
| CCBot | Common Crawl | Feeds many open models |
| MistralAI-User | Mistral | Le Chat browse |
| Bytespider | ByteDance | TikTok AI |
| Meta-ExternalAgent | Meta | Meta AI training |
Jak zaprosić AI boty do swojej strony
W /robots.txt:
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: OAI-SearchBot
Allow: /
Disallow robi się tylko jeśli świadomie nie chcemy żeby AI cytował naszą stronę (rzadko ma sens dla biznesu który chce widoczności).
Jak sprawdzić czy AI boty wchodzą na twoją stronę
- Logi serwera — grep po User-Agent. Najprostsze ale wymaga dostępu do logów.
- CloudFlare Analytics — pokazuje bot traffic per User-Agent w Dashboard → Analytics → Bots.
- Agent Analytics od pozycja.online — wkleisz tracking pixel, my logujemy hits AI botów per strona. Dashboard pokazuje "AI bots na Twojej stronie ostatnie 30 dni". Dostępne od pakietu TRACK.
Częsta pomyłka: blokowanie wszystkich botów
User-agent: * / Disallow: / blokuje też AI crawlerów. To oznacza że twoja strona nigdy nie pojawi się w odpowiedziach ChatGPT/Gemini/Perplexity dla zapytań branżowych. Dla większości biznesów to strzelanie sobie w stopę.
Powiązane
Chcesz zastosować to w praktyce dla swojej marki?
Sprawdź swoją markę w AI→