Jak naprawić błędy w pliku robots.txt

Jak naprawić błędy w pliku robots.txt

Plik robots.txt to jeden z najmniejszych, ale najbardziej kluczowych elementów Twojej strony internetowej. Choć jego treść często liczy zaledwie kilka linijek, potrafi zdecydować o tym, czy Twoja witryna w ogóle pojawi się w Google.

W tym przewodniku pokażę Ci:

  • czym jest robots.txt i po co w ogóle istnieje,
  • jakie błędy są najczęstsze,
  • jak je znaleźć i naprawić,
  • jak sprawdzić, czy działa poprawnie,
  • oraz podam praktyczne tipy i ciekawostki, które mogą Cię zaskoczyć.

Co to jest plik robots.txt?

Plik robots.txt to prosty plik tekstowy umieszczony w katalogu głównym Twojej strony (np. https://twojadomena.pl/robots.txt). Jego zadaniem jest informowanie robotów wyszukiwarek, które części strony mają indeksować, a które powinny zostać pominięte.

To nie jest narzędzie do ochrony danych (tu lepsze są hasła czy pliki .htaccess), ale delikatna prośba do robotów: „Tego nie ruszaj, tam możesz wejść”.

Najczęstsze błędy w robots.txt

  1. Zablokowanie całej strony 
    User-agent: *
Disallow: /

    To oznacza: NIE indeksuj niczego. Niechcący zablokujesz całą witrynę dla Google.

  2. Brak pliku robots.txt

    Brak tego pliku nie jest tragedią – Google po prostu traktuje to jako: „możesz wchodzić wszędzie”. Ale czasem to świadczy o braku kontroli nad stroną.

  3. Błędna składnia 
    User-agent: *
Disalow: /admin/

    Zauważ literówkę: Disalow zamiast Disallow. Google zignoruje tę regułę.

  4. Blokowanie zasobów potrzebnych Google

    Jeśli zablokujesz pliki CSS, JS, fonty, Google nie zobaczy strony tak, jak użytkownik. To może wpłynąć na ocenę jakości witryny.

Jak znaleźć błędy w robots.txt?

Oto praktyczne sposoby:

  • Google Search Console
    Wejdź w sekcję „Inspekcja adresu URL” lub „Plik robots.txt” – zobaczysz, co Google uważa za zablokowane.
  • Narzędzia online
  • Ręczna analiza
    Po prostu wejdź na twojadomena.pl/robots.txt i przeczytaj treść. Jeśli widzisz dziwne Disallow: / albo wpisy, które nie mają sensu, warto to poprawić.

Jak naprawić błędy?

  • Odblokuj kluczowe sekcje

    Upewnij się, że nie blokujesz:

    Disallow: /

    albo np. zasobów potrzebnych do renderowania strony:

    Disallow: /assets/css/
Disallow: /scripts/
  • Sprawdź składnię

    Każda linia powinna być zgodna z dokumentacją:

    • User-agent → określa, do którego robota mówisz (* = wszyscy).
    • Disallow → blokuj ścieżkę.
    • Allow → wyjątkowo pozwól.

    Przykład poprawnego wpisu:

    User-agent: *
Disallow: /admin/
Allow: /admin/public-info/
  • Zoptymalizuj plik pod kątem SEO

    Nie blokuj zasobów, które wpływają na ocenę strony przez Google. Możesz natomiast zablokować:

    • strony logowania,
    • strony panelu admina,
    • wyniki wyszukiwania wewnętrznego.

     

Ciekawostki i tipy

  • Plik robots.txt jest publiczny. Każdy może go podejrzeć, wpisując adres w przeglądarce. Nie chowaj tam sekretów.
  • Możesz używać komentarzy. Dodaj # na początku linii, aby opisać reguły: 
    # Blokujemy panel admina
Disallow: /admin/
  • Mapa strony (sitemap) w robots.txt. Warto dodać link do mapy: 
    Sitemap: https://twojadomena.pl/sitemap.xml
  • Nie wszystkie roboty są grzeczne. Niektóre boty ignorują robots.txt. Jeśli chcesz ochrony, użyj zabezpieczeń na poziomie serwera.

Infografika: Jak działa robots.txt?

 

Źródła i dokumentacja

Podsumowanie

Plik robots.txt może wydawać się drobiazgiem, ale źle ustawiony potrafi zablokować całą Twoją stronę w Google. Warto regularnie go sprawdzać, testować i optymalizować – to prosta czynność, która może uratować Twój ruch organiczny.