Data publikacji: 8 lipca 2019
Optymalizacja techniczna strony internetowej pod SEO to zagadnienie rozległe, które wymaga wiedzy oraz doświadczenia. Składa się na nią mnóstwo działań na trzech płaszczyznach: contentowej, developerskiej i UX. Podczas dostosowania Twojej strony internetowej pod wymogi wyszukiwarki Google jedynym z najważniejszych działań jest zadbanie o dostępność robotów do strony oraz przekazanie im kluczowych informacji o niej. Do tego właśnie służą plik robots.txt oraz sekcja meta. Więcej szczegółów poniżej
Plik robots.txt znajduje się w katalogu głównym na serwerze FTP. Przekazuje robotom wyszukiwarek, a także narzędzi pozycjonujących informacje o tym, co mogą indeksować z danej domeny oraz do których zasobów nie mogą mieć dostępu. Jeżeli chcesz sprawnie zarządzać ruchem robotów indeksujących w Twojej stronie www, musisz zadbać o odpowiednią optymalizację tego pliku. Jak go zrobić? Wystarczy, że uruchomisz zwykły notatnik, wprowadzisz podstawowe dyrektywy oraz dodasz go do głównego katalogu witryny. Ważne jest, aby zgłosić istnienie pliku robots.txt w panelu Google Search Cosnole.
Adres URL prowadzącego do naszego robots.txt – https://www.studiolokomotywa.pl/robots.txt – tak może wyglądać standardowy plik robots.txt dla strony na WordPress.
Przede wszystkim należy zwrócić uwagę na to, że plik robots.txt jest pierwszym, do którego zagląda robot Google. Warto więc już na samym wstępie przekazać pajączkom kluczowe informacje o tym, które zasoby są warte eksploracji, a które są mniej istotne.
Robots.txt pozwala na optymalne zarządzanie zasobami indeksującymi. Chodzi tutaj o to, żeby nie marnować zasobów robotów Google na podstrony, które nie mają żadnego znaczenia z biznesowego punktu widzenia. W przypadku, gdy dana domena ma tysiące podstron, całkowite jej indeksowanie może zająć mnóstwo czasu. To przekłada się na wydłużenie czasu, zanim ważne podstrony pojawią się w Google, a także na ich pozycje w Google. Dlatego też eliminując dostęp do mało ważnych zasobów Twojej strony, roboty przeznaczają ten czas na wertowanie i indeksowanie tych, na których Ci zależy. To optymalizacja crawl budget, czyli budżetu indeksowania witryny.
Poniżej przedstawiamy wytyczne dla robotów, które mogą przydać się podczas zarządzania stroną internetową.
a) Wszystkie roboty indeksujące oraz analizujące Twoją stronę mają dostęp do wszelkich zasobów:
b) Zablokowanie dostępu (disallow) do katalogu z wyłączeniem jednego pliku (allow):
c) Zablokowanie dostępu do plików graficznych:
d) Zablokowanie dostępu do całego katalogu:
e) Dyrektywa blokująca dostęp do tylko adresu katalogu, ale nie do jego zasobów:
f) Zablokowaie dostępów do określonego adresu URL:
g) Zablokowanie dostępu do strony narzędziom crawlującym (np. Ahrefs):
Większość popularnych CMS do stron oraz sklepów internetowych ma podstawowy plik robots.txt przygotowany poprawnie, choć nie idealnie i nie jest rzecz jasna dopasowany do indywidualnych potrzeb. Na tym polu kuleje Joomla!. Standardowy plik robots.txt w Joomla! blokuje dostęp do wielu zasobów (a nie tak dawno, o zgrozo, do zdjęć!), co nie pozwala robotom Google na odpowiednią indeksację strony.
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
User-agent: *
Disallow: /administrator/
Allow: /administrator/*.jpg
Allow: /administrator/*.JPG
Allow: /administrator/*.js
Allow: /administrator/*.JS
Allow: /administrator/*.css
Allow: /administrator/*.CSS
Allow: /administrator/*.gif
Allow: /administrator/*.GIF
Allow: /administrator/*.png
Allow: /administrator/*.PNG
Disallow: /bin/
Allow: /bin/*.jpg
Allow: /bin/*.JPG
Allow: /bin/*.js
Allow: /bin/*.JS
Allow: /bin/*.css
Allow: /bin/*.CSS
Allow: /bin/*.gif
Allow: /bin/*.GIF
Allow: /bin/*.png
Allow: /bin/*.PNG
Disallow: /cli/
Allow: /cli/*.jpg
Allow: /cli/*.JPG
Allow: /cli/*.js
Allow: /cli/*.JS
Allow: /cli/*.css
Allow: /cli/*.CSS
Allow: /cli/*.gif
Allow: /cli/*.GIF
Allow: /cli/*.png
Allow: /cli/*.PNG
Disallow: /components/
Allow: /components/*.jpg
Allow: /components/*.JPG
Allow: /components/*.js
Allow: /components/*.JS
Allow: /components/*.css
Allow: /components/*.CSS
Allow: /components/*.gif
Allow: /components/*.GIF
Allow: /components/*.png
Allow: /components/*.PNG
Disallow: /includes/
Allow: /includes/*.jpg
Allow: /includes/*.JPG
Allow: /includes/*.js
Allow: /includes/*.JS
Allow: /includes/*.css
Allow: /includes/*.CSS
Allow: /includes/*.gif
Allow: /includes/*.GIF
Allow: /includes/*.png
Allow: /includes/*.PNG
Disallow: /installation/
Allow: /installation/*.jpg
Allow: /installation/*.JPG
Allow: /installation/*.js
Allow: /installation/*.JS
Allow: /installation/*.css
Allow: /installation/*.CSS
Allow: /installation/*.gif
Allow: /installation/*.GIF
Allow: /installation/*.png
Allow: /installation/*.PNG
Disallow: /language/
Allow: /language/*.jpg
Allow: /language/*.JPG
Allow: /language/*.js
Allow: /language/*.JS
Allow: /language/*.css
Allow: /language/*.CSS
Allow: /language/*.gif
Allow: /language/*.GIF
Allow: /language/*.png
Allow: /language/*.PNG
Disallow: /layouts/
Allow: /layouts/*.jpg
Allow: /layouts/*.JPG
Allow: /layouts/*.js
Allow: /layouts/*.JS
Allow: /layouts/*.css
Allow: /layouts/*.CSS
Allow: /layouts/*.gif
Allow: /layouts/*.GIF
Allow: /layouts/*.png
Allow: /layouts/*.PNG
Disallow: /libraries/
Allow: /libraries/*.jpg
Allow: /libraries/*.JPG
Allow: /libraries/*.js
Allow: /libraries/*.JS
Allow: /libraries/*.css
Allow: /libraries/*.CSS
Allow: /libraries/*.gif
Allow: /libraries/*.GIF
Allow: /libraries/*.png
Allow: /libraries/*.PNG
Disallow: /logs/
Allow: /logs/*.jpg
Allow: /logs/*.JPG
Allow: /logs/*.js
Allow: /logs/*.JS
Allow: /logs/*.css
Allow: /logs/*.CSS
Allow: /logs/*.gif
Allow: /logs/*.GIF
Allow: /logs/*.png
Allow: /logs/*.PNG
Disallow: /modules/
Allow: /modules/*.jpg
Allow: /modules/*.JPG
Allow: /modules/*.js
Allow: /modules/*.JS
Allow: /modules/*.css
Allow: /modules/*.CSS
Allow: /modules/*.gif
Allow: /modules/*.GIF
Allow: /modules/*.png
Allow: /modules/*.PNG
Disallow: /plugins/
Allow: /plugins/*.jpg
Allow: /plugins/*.JPG
Allow: /plugins/*.js
Allow: /plugins/*.JS
Allow: /plugins/*.css
Allow: /plugins/*.CSS
Allow: /plugins/*.gif
Allow: /plugins/*.GIF
Allow: /plugins/*.png
Allow: /plugins/*.PNG
Disallow: /tmp/
Allow: /tmp/*.jpg
Allow: /tmp/*.JPG
Allow: /tmp/*.js
Allow: /tmp/*.JS
Allow: /tmp/*.css
Allow: /tmp/*.CSS
Allow: /tmp/*.gif
Allow: /tmp/*.GIF
Allow: /tmp/*.png
Allow: /tmp/*.PNG
Allow: /images/
Allow: /media/
Allow: /templates/
Allow: /cache/
Allow: /images/preview/
Allow: /cache/preview/
Allow: /cache/preview/*.jpg
Allow: /cache/preview/*.JPG
Allow: /cache/preview/*.js
Allow: /cache/preview/*.JS
Allow: /cache/preview/*.css
Allow: /cache/preview/*.CSS
Allow: /cache/preview/*.gif
Allow: /cache/preview/*.GIF
Allow: /cache/preview/*.png
Allow: /cache/preview/*.PNG
W pliku robots.txt warto również umieścić link do adresu URL sitemap.xml, aby ułatwić dostęp do zasobów robotom wyszukiwarek.
Pamiętaj, że zablokowanie dostępów do całej Twojej strony może nie być skuteczne, dlatego zawsze używaj również tagu z dyrektywą noindex.
Sekcja meta znajduje się w nagłówku strony internetowej, czyli części , przeważnie na jej początku. Dane tam zawarte nie wyświetlają się na stronie internetowej na froncie. Są to wyłącznie wskazówki dla robotów indeksujących, które niosą za sobą kluczowe informacje o danej stronie www. Niektóre z nich, jak title oraz description wyświetlają się w wynikach wyszukiwania przy adresie URL Twojej domeny.
Tytuł strony internetowej to nadal jeden z ważniejszych czynników rankingowych. Zawarte w nim słowa kluczowe pomagają zinterpretować robotom Google, o czym jest dana strona www. Meta title powinien być nie dłuższy niż 600 px. Warto umieścić w nim jedno, dwa słowa kluczowe oraz nazwę brandu.
Przykład prawidłowego meta tagu title: < title >Pozycjonowanie stron internetowych · Agencja SEO Poznań – Studio Lokomotywa< /title > (bez spacji między nawiasami).
Opis strony internetowej wyświetlany jest pod adresem URL w wynikach wyszukiwania. Do każdej podstrony masz do dyspozycji aktualnie 156 znaków. Pod SEO można zawrzeć tam więcej informacji, pod UX nawet nieco mniej znaków, ponieważ na urządzeniach mobilnych wyświetlane jest mniej contentu.
Meta tag description to idealne miejsce, aby rozszerzyć meta title, czyli opisać kluczowe obszary działania i zachęcić do wejścia na stronę. Umiarkowane wykorzystanie znaków specjalnych na pewno jeszcze bardziej pomoże w tym zakresie.
Prawidłowy opis strony: < meta name=”description” content=”Pozycjonowanie · Pełna Optymalizacja · Jasne Zasady · 7 Lat Doświadczenia · Skontaktuj się z nami! · Tel:
Jeszcze kilka lat temu ten tag był jednym z ważniejszych elementów optymalizacji SEO. Poprzez umieszczenie w nim dziesiątek słów kluczowych można było osiągać dobre pozycje. Z uwagi na liczne nadużywania tegoż ze strony pozycjonerów Google przestała brać ten tag pod uwagę. Niektórzy go zostawili dla testów, niektórzy liczą, że może kiedyś znów zadziała, inni usunęli ze stron. Pozostawienie jednego słowa kluczowego nie zaszkodzi, a jest to jakiś sposób na zagęszczenie frazy kluczowej w kodzie. Nie zalecamy jednak zwracać na niego szczególnej uwagi, gdyż czas ten trzeba przeznaczać na optymalizację innych elementów.
Przy pomocy różnego rodzaju meta tagów ,,robots” możesz zarządzać procesem indeksacji. Google rozumie poniższe tagi oraz wartości:
< meta name=”robots” content=”WARTOŚĆ” / > (bez spacji między nawiasami)
W miejsce WARTOŚĆ można wstawić jedną z poniższych dyrektyw:
Innymi elementami meta, o których warto wspomnieć, są:
a) Meta viewport do optymalizacji stron mobilnych
Przekazuje on informację o wymiarach oraz skalowaniu domeny dla różnych urządzeń. Rekomendowaną wartością jest: < meta name=viewport content=”width=device-width, initial-scale=1″ > (bez odstępu między nawiasami)
b) Meta http-equiv jako sposób kodowania znaków
Tag ten definiuje typ zawartości strony oraz sposób kodowania znaków. Dla html5 występuje w wariancie:< meta charset=”UTF-8″ > (bez odstępu między nawiasami)