fbpx
StudioLokomotywa.pl • Napędzamy Twój Biznes!

Opublikował użytkownik: Olga

Robots.txt i sekcja META – dlaczego są tak ważne w SEO

Optymalizacja techniczna strony internetowej pod SEO to zagadnienie rozległe, które wymaga wiedzy oraz doświadczenia. Składa się na nią mnóstwo działań na trzech płaszczyznach: contentowej, developerskiej i UX. Podczas dostosowania Twojej strony internetowej pod wymogi wyszukiwarki Google jedynym z najważniejszych działań jest zadbanie o dostępność robotów do strony oraz przekazanie im kluczowych informacji o niej. Do tego właśnie służą plik robots.txt oraz sekcja meta. Więcej szczegółów poniżej

Czym jest plik robots.txt i jak go przygotować?

Divider

Do czego służy plik robots .txt? Plik robots.txt znajduje się w katalogu głównym na serwerze FTP (głównym folderze domeny, czyli katalogu root). Przekazuje robotom wyszukiwarek, a także narzędzi pozycjonujących informacje o tym, co mogą indeksować z danej domeny oraz do których zasobów (adresów URL) nie mogą mieć dostępu. Jeżeli chcesz sprawnie zarządzać ruchem robotów indeksujących w Twojej stronie www, musisz zadbać o odpowiednią optymalizację pliku robots. Jak go zrobić? Wystarczy, że uruchomisz zwykły notatnik, wprowadzisz podstawowe dyrektywy oraz dodasz plik robots do głównego katalogu witryny. Ważne jest, aby zgłosić istnienie pliku robots.txt w panelu Google Search Cosnole.

Adres URL prowadzącego do naszego robots.txt – https://www.studiolokomotywa.pl/robots.txt – tak może wyglądać standardowy plik robots.txt dla robota google, stworzony z myślą o stronie opartej na skrypcie WordPress.

Dlaczego plik robots.txt jest tak ważny?

Divider

Przede wszystkim należy zwrócić uwagę na to, że plik robots txt jest pierwszym, do którego zagląda robot Google. Warto więc już na samym wstępie przekazać robotom wyszukiwarek informacje o tym, które zasoby obejmujące stronę internetową są warte eksploracji, a które są mniej istotne. Czyli np. które adresy URL roboty indeksujące powinny odwiedzić.

Robots.txt pozwala na optymalne zarządzanie zasobami indeksującymi. Chodzi tutaj o to, żeby nie marnować zasobów robotów Google na podstrony, które nie mają żadnego znaczenia z biznesowego punktu widzenia. W przypadku, gdy dana domena ma tysiące podstron – adresów url – całkowite jej indeksowanie może zająć mnóstwo czasu. To przekłada się na wydłużenie czasu, zanim ważne podstrony pojawią się w Google, a także na ich pozycje w Google. Dlatego też eliminując dostęp do mało ważnych zasobów Twojej strony, roboty google przeznaczają ten czas na wertowanie i indeksowanie tych, na których Ci zależy. To optymalizacja crawl budget, czyli budżetu indeksowania witryny.

Przydatne dyrektywy w pliku robots.txt

Divider

Poniżej przedstawiamy wytyczne dla robotów, które mogą przydać się podczas zarządzania stroną internetową.

a) Wszystkie roboty indeksujące oraz analizujące Twoją stronę mają dostęp do wszelkich zasobów:

  • User-agent: *
  • Disallow:

b) Jak zablokować dostęp (disallow) do katalogu z wyłączeniem jednego pliku (za pomocą dyrektywy allow), czyli ten dany adres URL powinien zostać „przeczytany”:

  • User-agent: *
  • Disallow: /wp-admin/
  • Allow: /wp-admin/admin-ajax.php

c) Jak zablokować dostęp robotom w wyszukiwarce Google do plików graficznych? Użyj:

  • User-agent: Googlebot
  • Disallow: /*.jpg$

Divider

d) Zablokowanie dostępu do całego katalogu robotom wyszukiwarki Google:

  • User-agent: Googlebot
  • Disallow: /moje/

e) Dyrektywa blokująca dostęp do tylko adresu katalogu, ale nie do jego zasobów:

  • User-agent: Googlebot
  • Disallow: /moje/$

f) Zablokowanie dostępów do określonego adresu URL – robotami indeksującymi Google tu możesz sterować:

  • User-agent: Googlebot
  • Disallow: /twoj-plik.html

g) Zablokowanie dostępu do całej strony narzędziom crawlującym (np. Ahrefs):

  • User-agent: AhrefsBot
  • Disallow: /

Większość popularnych CMS do stron oraz sklepów internetowych ma podstawowy plik robots.txt przygotowany poprawnie, choć nie idealnie i nie jest rzecz jasna dopasowany do indywidualnych potrzeb. Na tym polu kuleje Joomla!. Standardowy plik robots.txt w Joomla! blokuje dostęp do wielu zasobów (a nie tak dawno, o zgrozo, blokował pliki graficzne!), co nie pozwala robotom Google na odpowiednią indeksację strony. Zatem należy stworzyć plik robots, który jest dedykowany Joomla!

Przykład standardowego pliku robots.txt w Joomla!:


User-agent: *

Disallow: /administrator/

Disallow: /bin/

Disallow: /cache/

Disallow: /cli/

Disallow: /components/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /layouts/

Disallow: /libraries/

Disallow: /logs/

Disallow: /modules/

Disallow: /plugins/

Disallow: /tmp/

Prawidłowy zapis tegoż (UWAGA! długi tekst):


User-agent: *

Disallow: /administrator/

Allow: /administrator/*.jpg

Allow: /administrator/*.JPG

Allow: /administrator/*.js

Allow: /administrator/*.JS

Allow: /administrator/*.css

Allow: /administrator/*.CSS

Allow: /administrator/*.gif

Allow: /administrator/*.GIF

Allow: /administrator/*.png

Allow: /administrator/*.PNG

Disallow: /bin/

Allow: /bin/*.jpg

Allow: /bin/*.JPG

Allow: /bin/*.js

Allow: /bin/*.JS

Allow: /bin/*.css

Allow: /bin/*.CSS

Allow: /bin/*.gif

Allow: /bin/*.GIF

Allow: /bin/*.png

Allow: /bin/*.PNG

Disallow: /cli/

Allow: /cli/*.jpg

Allow: /cli/*.JPG

Allow: /cli/*.js

Allow: /cli/*.JS

Allow: /cli/*.css

Allow: /cli/*.CSS

Allow: /cli/*.gif

Allow: /cli/*.GIF

Allow: /cli/*.png

Allow: /cli/*.PNG

Disallow: /components/

Allow: /components/*.jpg

Allow: /components/*.JPG

Allow: /components/*.js

Allow: /components/*.JS

Allow: /components/*.css

Allow: /components/*.CSS

Allow: /components/*.gif

Allow: /components/*.GIF

Allow: /components/*.png

Allow: /components/*.PNG

Disallow: /includes/

Allow: /includes/*.jpg

Allow: /includes/*.JPG

Allow: /includes/*.js

Allow: /includes/*.JS

Allow: /includes/*.css

Allow: /includes/*.CSS

Allow: /includes/*.gif

Allow: /includes/*.GIF

Allow: /includes/*.png

Allow: /includes/*.PNG

Disallow: /installation/

Allow: /installation/*.jpg

Allow: /installation/*.JPG

Allow: /installation/*.js

Allow: /installation/*.JS

Allow: /installation/*.css

Allow: /installation/*.CSS

Allow: /installation/*.gif

Allow: /installation/*.GIF

Allow: /installation/*.png

Allow: /installation/*.PNG

Disallow: /language/

Allow: /language/*.jpg

Allow: /language/*.JPG

Allow: /language/*.js

Allow: /language/*.JS

Allow: /language/*.css

Allow: /language/*.CSS

Allow: /language/*.gif

Allow: /language/*.GIF

Allow: /language/*.png

Allow: /language/*.PNG

Disallow: /layouts/

Allow: /layouts/*.jpg

Allow: /layouts/*.JPG

Allow: /layouts/*.js

Allow: /layouts/*.JS

Allow: /layouts/*.css

Allow: /layouts/*.CSS

Allow: /layouts/*.gif

Allow: /layouts/*.GIF

Allow: /layouts/*.png

Allow: /layouts/*.PNG

Disallow: /libraries/

Allow: /libraries/*.jpg

Allow: /libraries/*.JPG

Allow: /libraries/*.js

Allow: /libraries/*.JS

Allow: /libraries/*.css

Allow: /libraries/*.CSS

Allow: /libraries/*.gif

Allow: /libraries/*.GIF

Allow: /libraries/*.png

Allow: /libraries/*.PNG

Disallow: /logs/

Allow: /logs/*.jpg

Allow: /logs/*.JPG

Allow: /logs/*.js

Allow: /logs/*.JS

Allow: /logs/*.css

Allow: /logs/*.CSS

Allow: /logs/*.gif

Allow: /logs/*.GIF

Allow: /logs/*.png

Allow: /logs/*.PNG

Disallow: /modules/

Allow: /modules/*.jpg

Allow: /modules/*.JPG

Allow: /modules/*.js

Allow: /modules/*.JS

Allow: /modules/*.css

Allow: /modules/*.CSS

Allow: /modules/*.gif

Allow: /modules/*.GIF

Allow: /modules/*.png

Allow: /modules/*.PNG

Disallow: /plugins/

Allow: /plugins/*.jpg

Allow: /plugins/*.JPG

Allow: /plugins/*.js

Allow: /plugins/*.JS

Allow: /plugins/*.css

Allow: /plugins/*.CSS

Allow: /plugins/*.gif

Allow: /plugins/*.GIF

Allow: /plugins/*.png

Allow: /plugins/*.PNG

Disallow: /tmp/

Allow: /tmp/*.jpg

Allow: /tmp/*.JPG

Allow: /tmp/*.js

Allow: /tmp/*.JS

Allow: /tmp/*.css

Allow: /tmp/*.CSS

Allow: /tmp/*.gif

Allow: /tmp/*.GIF

Allow: /tmp/*.png

Allow: /tmp/*.PNG

Allow: /images/

Allow: /media/

Allow: /templates/

Allow: /cache/

Allow: /images/preview/

Allow: /cache/preview/

Allow: /cache/preview/*.jpg

Allow: /cache/preview/*.JPG

Allow: /cache/preview/*.js

Allow: /cache/preview/*.JS

Allow: /cache/preview/*.css

Allow: /cache/preview/*.CSS

Allow: /cache/preview/*.gif

Allow: /cache/preview/*.GIF

Allow: /cache/preview/*.png

Allow: /cache/preview/*.PNG

W pliku robots.txt warto również umieścić link do adresu URL sitemap.xml, aby ułatwić dostęp do zasobów robotom wyszukiwarek w internecie. Link do sitemap w formacie xml będzie miał postać np:

„Sitemap: https://domena.pl/sitemap_index.xml” – w przypadku strony opartej o skrypt WordPress.
Pamiętaj, że zablokowanie dostępów do całej Twojej strony może nie być skuteczne, dlatego zawsze używaj również tagu z dyrektywą noindex.

Sekcja meta – najważniejsze informacje

Divider

Sekcja meta znajduje się w źródłowym kodzie html strony internetowej – w nagłówku – przeważnie na jego początku. Dane tam zawarte nie wyświetlają się na stronie internetowej na froncie. Są to wyłącznie wskazówki dla robotów indeksujących, które niosą za sobą kluczowe informacje o danej stronie www. Niektóre znaczniki meta, tzw. meta tagi, jak meta title oraz meta description wyświetlają się w wynikach wyszukiwania przy adresie URL Twojej domeny.

Meta title – kluczowy czynnik rankingowy

Tytuł strony internetowej to nadal jeden z ważniejszych czynników rankingowych. Zawarte w nim słowa kluczowe pomagają zinterpretować robotom Google, o czym jest dana strona www. Meta znaczniki w tym meta title pozwalają dzięki temu na umieszczenie strony na odpowiedniej pozycji w wynikach wyszukiwania. Meta title powinien być nie dłuższy niż ok. 600 px. Warto umieścić w nim jedno, dwa słowa kluczowe oraz nazwę brandu.

Przykład prawidłowego meta tagu title: < title >Pozycjonowanie stron internetowych · Agencja SEO Poznań – Studio Lokomotywa< /title > (bez spacji między nawiasami).

Meta description – opis zwiększający CTR

Divider

Opis strony internetowej wyświetlany jest pod adresem URL w wynikach wyszukiwania. Do każdej podstrony masz do dyspozycji aktualnie ilość znaków pomiędzy 155-160. Pod SEO można zawrzeć tam więcej informacji, pod UX nawet nieco mniej znaków, ponieważ na urządzeniach mobilnych wyświetlane jest mniej contentu.

Meta tag description (meta opis) to idealne miejsce, aby rozszerzyć meta title o małą część dodatkowych słów kluczowych, czyli opisać kluczowe obszary działania i zachęcić do wejścia na stronę. Umiarkowane wykorzystanie znaków specjalnych w meta opisie na pewno jeszcze bardziej pomoże w tym zakresie.

Prawidłowy opis strony: < meta name=”description” content=”Pozycjonowanie · Pełna Optymalizacja · Jasne Zasady · 10 Lat Doświadczenia · Skontaktuj się z nami! · Tel: ☎ 537 446 550 ➤ ul. Mickiewicza 33, Poznań.”/ > (bez spacji między nawiasami).

Meta keywords – archaiczny sposób na wyższe pozycje

Divider

Jeszcze kilka lat temu ten tag był jednym z ważniejszych elementów optymalizacji SEO i bardzo wspomagał pozycjonowanie strony internetowej. Poprzez umieszczenie w nim dziesiątek słów kluczowych można było osiągać dobre pozycje. Z uwagi na liczne nadużywania tegoż ze strony pozycjonerów Google przestała brać ten tag pod uwagę. Niektórzy go zostawili dla testów, niektórzy liczą, że może kiedyś znów zadziała, inni usunęli ze stron. Pozostawienie jednego słowa kluczowego nie zaszkodzi, a jest to jakiś sposób na zagęszczenie frazy kluczowej w kodzie. Nie zalecamy jednak zwracać na niego szczególnej uwagi, gdyż czas ten trzeba przeznaczać na optymalizację innych elementów.

Meta tag robots – dyrektywy dla Google

Divider

Przy pomocy różnego rodzaju meta tagów ,,robots” możesz zarządzać procesem indeksacji. Google rozumie poniższe tagi oraz wartości:

< meta name=”robots” content=”WARTOŚĆ” / > (bez spacji między nawiasami)

W miejsce WARTOŚĆ można wstawić jedną z poniższych dyrektyw:

  • 1. all – pozwalamy na indeksację wszystkich zasobów,
  • 2. index, follow – jak wyżej; częściej używany niż punkt 1,
  • 3. follow – zostaną zaindeksowane linki w celu późniejszego odwiedzenia przez roboty,
  • 4. index, nofollow – strona zostanie zaindeksowana, ale linki wewnętrzne już nie,
  • 5. noindex, follow – zaindeksowane zostaną tylko linki, ale nie podstrony. Często wykorzystywany tag przy kolejnych stronach paginacji oraz politykach prywatności/cookies,
  • 6. noindex – strona nie zostanie zindeksowana,
  • 7. noindex, nofollow – roboty nie będą indeksować żadnych zasobów.

Divider

Innymi elementami meta, o których warto wspomnieć, są:

a) Meta viewport do optymalizacji stron mobilnych

Przekazuje on informację o wymiarach oraz skalowaniu domeny dla różnych urządzeń. Rekomendowaną wartością jest: < meta name=viewport content=”width=device-width, initial-scale=1″ > (bez odstępu między nawiasami)

b) Meta http-equiv jako sposób kodowania znaków

Tag ten definiuje typ zawartości strony oraz sposób kodowania znaków. Dla html5 występuje w wariancie:< meta charset=”UTF-8″ > (bez odstępu między nawiasami)

Olga Matuszak

W świece SEO i pozycjonowania od 2017r. Można powiedzieć, że content marketing mam we krwi. Gdy nie pozycjonuję w Lokomotywie zaczytuję się w komiksach i oglądam za dużo seriali animowanych :)

1 komentarz do “Plik robots.txt i sekcja META – dlaczego są tak ważne w SEO?

  1. Bardzo dobra baza wiedzy. Robots.txt to dobry sposób na poprawę crawl budgetu – stosuje od dawna 🙂

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany.

Zostaw wiadomość



    Tel: +48 736 769 550
    biuro@studiolokomotywa.pl