SEO i GEO

Dane strukturalne, llms.txt i boty AI: techniczne SEO pod AI

8 min czytania Aktualizacja: Read in English
Dane strukturalne, llms.txt i boty AI: techniczne SEO pod AI

Techniczne SEO pod AI opiera się na trzech warstwach: robots.txt decyduje, które boty AI mogą czytać Twoją stronę, dane strukturalne schema.org opisują firmę, produkty i artykuły w formie zrozumiałej dla maszyn, a llms.txt to opcjonalny spis treści dla modeli językowych. Realne, udokumentowane znaczenie mają dwie pierwsze. llms.txt to propozycja z 2024 roku, a nie standard — Google wprost pisze, że jego wyszukiwarka z tego pliku nie korzysta.

Trzy warstwy: co robi każdy element?

Element Do czego służy Status Kto z niego korzysta
robots.txt Reguły dostępu: który robot może skanować które adresy Standard RFC 9309 (Robots Exclusion Protocol) Google, OpenAI, Anthropic, Perplexity — z wyjątkami dla pobrań na żądanie użytkownika
Dane strukturalne schema.org Opis encji: firmy, produktu, artykułu, autora Wspólny słownik wyszukiwarek, wdrażany najczęściej jako JSON-LD Google (wyniki rozszerzone, rozumienie treści), Bing i Copilot
llms.txt Spis najważniejszych treści w Markdown dla modeli językowych Propozycja z 2024 roku, nie standard Wyszukiwarka Google nie korzysta; dokumentacje botów OpenAI, Anthropic i Perplexity nie traktują go jako sygnału

robots.txt dla botów AI: kto jest kim?

Najważniejsza rzecz do zrozumienia: duże firmy AI rozdzieliły roboty według celu. Jeden zbiera dane do trenowania modeli, inny buduje indeks wyszukiwania, z którego asystent cytuje źródła, a jeszcze inny pobiera stronę na żądanie użytkownika, gdy ten wklei link lub zada pytanie. Na podstawie oficjalnej dokumentacji OpenAI, Anthropic, Perplexity i Google:

Bot / token Firma Cel Skutek blokady w robots.txt
Googlebot Google Wyszukiwarka, w tym AI Overviews i AI Mode Znikasz z Google, także z odpowiedzi AI
Google-Extended Google Token (bez osobnego robota): trenowanie Gemini i grounding poza wyszukiwarką Brak wpływu na obecność i ranking w Google Search
GPTBot OpenAI Trenowanie modeli Treść nie powinna trafiać do trenowania
OAI-SearchBot OpenAI Wyszukiwanie w ChatGPT Brak w odpowiedziach wyszukiwania ChatGPT (poza linkami nawigacyjnymi)
ChatGPT-User OpenAI Pobrania na prośbę użytkownika Reguły robots.txt mogą nie obowiązywać
ClaudeBot Anthropic Trenowanie modeli Wyłączenie przyszłych treści z danych treningowych
Claude-SearchBot Anthropic Indeks wyszukiwania Claude Mniejsza widoczność w wynikach wyszukiwania Claude
Claude-User Anthropic Pobrania na prośbę użytkownika Claude nie pobierze strony, gdy użytkownik o nią zapyta
PerplexityBot Perplexity Wyniki wyszukiwania Perplexity (nie trenowanie) Brak w wynikach Perplexity
Perplexity-User Perplexity Pobrania na prośbę użytkownika Według Perplexity zwykle ignoruje robots.txt

Wniosek praktyczny: blokada trenowania (GPTBot, ClaudeBot, Google-Extended) to decyzja o prawach do treści, a nie o SEO, bo widoczność w wyszukiwarkach AI zależy od innych robotów. Firma usługowa, która chce, żeby ChatGPT, Claude czy Perplexity ją polecały, powinna przede wszystkim wpuścić OAI-SearchBot, Claude-SearchBot i PerplexityBot. Jak budować widoczność w tych odpowiedziach, opisujemy w artykule o GEO (Generative Engine Optimization).

Przykład: widoczność w wyszukiwarkach AI bez zgody na trenowanie

Linia w robots.txt Co robi
User-agent: GPTBot Otwiera grupę reguł dla bota treningowego OpenAI
Disallow: / Zabrania mu skanowania całej witryny
User-agent: ClaudeBot Grupa dla bota treningowego Anthropic
Disallow: / Jak wyżej
User-agent: Google-Extended Token Google dla trenowania Gemini i groundingu poza wyszukiwarką
Disallow: / Jak wyżej — Google Search działa bez zmian
User-agent: * Wszystkie pozostałe roboty, w tym Googlebot, OAI-SearchBot, Claude-SearchBot, PerplexityBot
Disallow: /koszyk/ Przykładowa sekcja wyłączona dla wszystkich
Sitemap: https://twojadomena.pl/sitemap.xml Adres mapy witryny

Pułapki, które widzimy najczęściej

  • Zasada jednej grupy. Według specyfikacji Google dla danego robota obowiązuje tylko jedna, najbardziej szczegółowa grupa — reguły z User-agent: * nie są do niej doklejane. Jeśli dodasz grupę User-agent: OAI-SearchBot z samym Allow: /, bot przestanie respektować Twoje Disallow: /koszyk/. Ważne wykluczenia powtarzaj w każdej grupie.
  • Cache. Google zwykle trzyma robots.txt w pamięci do 24 godzin, a OpenAI podaje, że zmiany dla wyszukiwania działają po około 24 godzinach. Nie oceniaj efektu po godzinie.
  • Rozmiar i błędy serwera. Google czyta tylko pierwsze 500 KiB pliku. Błąd 4xx przy robots.txt (poza 429) traktuje jak brak ograniczeń, a przy 5xx na pierwsze 12 godzin wstrzymuje skanowanie witryny.
  • CDN i zapory. Cloudflare ogłosił w lipcu 2025 zmianę ustawień domyślnych na blokowanie crawlerów AI. Jeśli strona stoi za CDN lub zaporą WAF, sprawdź w logach, czy OAI-SearchBot czy PerplexityBot nie dostają błędu 403 — sam robots.txt tego nie pokaże.
  • robots.txt to prośba, nie zamek. Uczciwe boty go respektują, ale technicznie niczego nie blokuje. Anthropic dodaje, że blokowanie po adresach IP może działać zawodnie; prawdziwą blokadę zapewniają reguły WAF.

Nowym elementem jest Content Signals Policy Cloudflare (wrzesień 2025): linia w robots.txt typu Content-Signal: search=yes, ai-train=no rozdziela zgodę na indeks wyszukiwania (search), na wykorzystanie treści w odpowiedziach AI na żywo (ai-input) i na trenowanie (ai-train). Sam Cloudflare zaznacza, że to wyrażenie preferencji, a nie zabezpieczenie techniczne.

Dane strukturalne schema.org: które mają sens w 2026?

Dane strukturalne to ustandaryzowany opis treści strony — np. że dany ciąg znaków to adres firmy, cena produktu albo autor artykułu. Google rekomenduje format JSON-LD, bo najłatwiej go wdrożyć i utrzymać, choć Microdata i RDFa też są poprawne.

W kontekście AI są dwie ważne deklaracje. Google w przewodniku po funkcjach generatywnej AI pisze, że dane strukturalne nie są wymagane do AI Overviews i nie ma specjalnego schema dla AI — warto je stosować dla wyników rozszerzonych. Po stronie Microsoftu Fabrice Canel z Bing potwierdził na konferencji SMX Munich w marcu 2025, że znaczniki schema pomagają modelom językowym Microsoftu rozumieć treść (relacja Search Engine Roundtable). Wniosek: schema to nie przepustka do odpowiedzi AI, tylko sposób, by maszyny bez zgadywania odczytały fakty o firmie.

Typ Gdzie Kluczowe właściwości Uwagi
Organization Strona główna lub „O nas” name, url, logo, sameAs, contactPoint Łączy stronę z profilami firmy w innych serwisach
LocalBusiness (lub typ szczegółowy) Kontakt, strona lokalizacji name i address (wymagane), geo, openingHoursSpecification, telephone Nie oznaczaj opinii o własnej firmie — według Google aggregateRating jest dla serwisów oceniających inne firmy
Product + Offer Karty produktów name, image, offers z ceną, walutą i dostępnością Dane muszą zgadzać się z ceną widoczną na stronie i w Merchant Center
Article / BlogPosting Wpisy blogowe headline, author, datePublished, dateModified, image Autor jako Person z linkami do profili
BreadcrumbList Wszystkie podstrony itemListElement Odzwierciedla strukturę serwisu
FAQPage — — Od 7 maja 2026 Google nie wyświetla wyników rozszerzonych FAQ (rejestr zmian Google)

Dwie zasady z praktyki. Po pierwsze, buduj jeden spójny graf: Organization z identyfikatorem @id, do którego odwołują się WebSite, artykuły (publisher) i strony lokalizacji — zamiast kilku niezależnych, sprzecznych bloków dodanych przez różne wtyczki. Po drugie, wszystko, co jest w znacznikach, musi być widoczne na stronie. Ocena 5,0 w JSON-LD, której nie ma w treści, to prosta droga do ręcznego działania od Google, a nie do cytowania w AI.

Walidacja: Test wyników z elementami rozszerzonymi (to, co widzi Google), walidator schema.org (poprawność składni całego słownika) i narzędzie Sprawdzanie adresu URL w Search Console. Na stronach, które budujemy w ramach usługi strony internetowe i sklepy internetowe, JSON-LD generujemy z tych samych danych co treść strony — wtedy cena czy godziny otwarcia nie rozjeżdżają się przy pierwszej aktualizacji.

llms.txt: czym jest naprawdę?

llms.txt to plik Markdown umieszczany pod adresem /llms.txt, który ma pomóc modelom językowym i agentom AI szybko znaleźć najważniejsze treści serwisu. Zaproponował go Jeremy Howard 3 września 2024 roku na stronie llmstxt.org; sama strona nazywa go propozycją standaryzacji, otwartą na uwagi społeczności. Nie jest to standard IETF ani W3C.

Format według propozycji:

  1. nagłówek H1 z nazwą projektu lub firmy — jedyny wymagany element;
  2. cytat (blockquote) z krótkim podsumowaniem;
  3. opcjonalne akapity lub listy z dodatkowymi informacjami, bez nagłówków;
  4. sekcje H2 z listami linków w formacie Markdown, opcjonalnie z opisem po dwukropku;
  5. sekcja „Optional” z linkami drugorzędnymi, które agent może pominąć.

Propozycja zaleca też udostępnianie czystych wersji Markdown podstron pod tym samym adresem z końcówką .md.

Co llms.txt daje, a czego nie

Popularne twierdzenie Stan faktyczny
„llms.txt to robots.txt dla AI” Nie. Niczego nie blokuje ani nie zezwala — to spis treści. Dostęp kontroluje robots.txt.
„Google potrzebuje llms.txt do AI Overviews” Nie. 15 czerwca 2026 Google doprecyzował, że plik nie jest potrzebny w Google Search i nie wpływa na widoczność ani pozycje — ani pozytywnie, ani negatywnie.
„To oficjalny standard” Nie. To propozycja z 2024 roku rozwijana na llmstxt.org.
„Bez llms.txt ChatGPT mnie nie znajdzie” Obecność w wyszukiwaniu ChatGPT zależy według OpenAI od dostępu OAI-SearchBot, a nie od llms.txt.

Kiedy więc go dodać? Ma sens przy dokumentacji oprogramowania i API, bazach wiedzy i serwisach, z których programiści kopiują treści do narzędzi AI. Przy stronie firmowej to zadanie na kwadrans i niski priorytet: nie zaszkodzi, ale nie zastąpi indeksowalnej treści, poprawnego robots.txt i danych strukturalnych. Google zaznacza wprost, że możesz go utrzymywać z myślą o innych usługach.

Checklista wdrożenia krok po kroku

  1. Sprawdź /robots.txt: zwraca 200, ma mniej niż 500 KiB, wskazuje mapę witryny i nie blokuje CSS ani JS.
  2. Zdecyduj o trenowaniu (GPTBot, ClaudeBot, Google-Extended) osobno od wyszukiwania (OAI-SearchBot, Claude-SearchBot, PerplexityBot).
  3. Powtórz ważne Disallow w każdej grupie konkretnego bota.
  4. Przejrzyj CDN i WAF: ustawienia blokowania botów AI, reguły zapory, a w logach serwera kody odpowiedzi dla botów AI.
  5. Weryfikuj boty po adresach IP — OpenAI i Anthropic publikują listy zakresów; podszywanie się pod nazwę bota jest banalne.
  6. Wdróż JSON-LD: Organization i WebSite na stronie głównej, LocalBusiness na stronie kontaktu, Product w sklepie, Article z autorem na blogu, BreadcrumbList wszędzie.
  7. Zwaliduj znaczniki i porównaj je z treścią widoczną na stronie.
  8. Opcjonalnie dodaj llms.txt z listą stron usług, zasadami współpracy, FAQ i kontaktem.
  9. Monitoruj: wizyty botów AI w logach, raport funkcji generatywnej AI w Search Console i ruch z chatgpt.com czy perplexity.ai w GA4.

Jeśli chcesz wiedzieć, jak te elementy przekładają się na obecność w odpowiedziach Google, przeczytaj nasz tekst o AI Overviews i Trybie AI.

Nie masz pewności, co Twój robots.txt, CDN i znaczniki schema mówią botom AI? W ramach usługi SEO i GEO sprawdzimy konfigurację, logi i dane strukturalne, a poprawki wdrożymy — napisz do nas.

Najczęstsze pytania

Czy llms.txt jest oficjalnym standardem?

Nie. To propozycja Jeremy'ego Howarda opublikowana 3 września 2024 roku na llmstxt.org, a nie standard IETF ani W3C. Google w 2026 roku doprecyzował, że plik nie jest potrzebny w Google Search i nie wpływa na widoczność ani pozycje.

Czy zablokowanie GPTBot usunie moją stronę z ChatGPT?

Nie. GPTBot zbiera dane do trenowania modeli, a za obecność w wyszukiwaniu ChatGPT odpowiada osobny bot OAI-SearchBot. Możesz zablokować GPTBot i nadal pojawiać się w odpowiedziach wyszukiwania ChatGPT, o ile OAI-SearchBot ma dostęp.

Czy blokada Google-Extended usunie mnie z AI Overviews?

Nie. Google-Extended dotyczy trenowania modeli Gemini i groundingu poza wyszukiwarką, a według Google nie wpływa na obecność ani ranking w Google Search. Do wyłączenia witryny z AI Overviews i AI Mode służy ustawienie „Search generative AI” w Search Console.

Jakie dane strukturalne wdrożyć na stronie firmowej?

Na start Organization i WebSite na stronie głównej, LocalBusiness na stronie kontaktu (jeśli obsługujesz klientów lokalnie), Article z autorem na blogu i BreadcrumbList na podstronach. Sklep dochodzi do tego Product z ofertą. Wszystkie dane w znacznikach muszą być widoczne na stronie.

Czy roboty AI zawsze respektują robots.txt?

Boty treningowe i wyszukiwania dużych firm deklarują przestrzeganie robots.txt, ale pobrania na żądanie użytkownika to wyjątek: OpenAI pisze, że dla ChatGPT-User reguły mogą nie obowiązywać, a Perplexity — że Perplexity-User zwykle je ignoruje. robots.txt nie jest zabezpieczeniem technicznym; do twardej blokady służą reguły WAF.

Źródła

  1. Google Search Central — Optimizing your website for generative AI features on Google Search (2026)
  2. Google Search Central — Latest documentation updates (llms.txt clarification 15.06.2026, FAQ rich results 08.05.2026)
  3. Google Crawling Infrastructure — Google's common crawlers (Google-Extended)
  4. Google Crawling Infrastructure — How Google interprets the robots.txt specification
  5. IETF — RFC 9309: Robots Exclusion Protocol
  6. Google Search Central — Introduction to structured data markup
  7. Google Search Central — Local business (LocalBusiness) structured data
  8. OpenAI — Overview of OpenAI crawlers
  9. Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler?
  10. Perplexity — Perplexity crawlers
  11. llmstxt.org — The /llms.txt file (Jeremy Howard, 03.09.2024)
  12. Cloudflare — Giving users choice with Cloudflare's new Content Signals Policy (24.09.2025)
  13. Cloudflare — Content Independence Day: no AI crawl without compensation (01.07.2025)
  14. Search Engine Roundtable — Microsoft confirms schema helps its LLMs (Copilot) understand your content (20.03.2025)

Potrzebujesz pomocy z tym tematem?

Pozycjonujemy strony w Google i optymalizujemy je pod wyszukiwarki AI. Bez obietnic „TOP 1 w tydzień” — z danymi z Search Console, które możesz sprawdzić.