Crawl budget [SEO i Googlebot]

Crawl budget [SEO i Googlebot]

Google nie zawsze od razu przeszukuje każdą stronę w witrynie. W rzeczywistości czasami może to zająć tygodnie. I właśnie może to poważnie namieszać w działaniach SEO. Twoja nowo zoptymalizowana strona docelowa może nie zostać zindeksowana. W tym momencie nadszedł czas, aby zoptymalizować Crawl budget. W tym artykule omówimy, czym jest „budżet na indeksowanie” i co możesz zrobić, aby go zoptymalizować.

POBIERZ SWÓJ DARMOWY RAPORT TERAZ ZANIM Go SKASUJEMY

Ten DARMOWY raport ujawnia sekrety które spowodują znaczny wzrost Twoich zarobków i sprzedaży z reklam…

First NameImię

Your emailWpisz swój email

WYŚLIJ

(sekrety prosto ze źródła, tylko konkrety-zero spamu)

Co to jest Crawl budget (budżet indeksowania)?

Crawl budget to liczba stron, które Google zaindeksuje w Twojej witrynie w danym dniu. Ta liczba zmienia się nieco z dnia na dzień, ale ogólnie jest stosunkowo stabilna. Google może indeksować 8 stron w Twojej witrynie każdego dnia, może zaindeksować 1000 stron, może nawet zaindeksować1.000.000 stron każdego dnia. Liczba stron indeksowanych przez Google, Twój „budżet”, jest zazwyczaj określany na podstawie rozmiaru Twojej witryny, „stanu” Twojej witryny (ile błędów napotkanych przez Google) oraz liczby linków do Twojej witryny. Niektóre z tych czynników to rzeczy, na które możesz wpływać, za chwilę do tego dojdziemy.

Jak działa robot indeksujący google?

Robot, taki jak Googlebot, pobiera listę adresów URL do zaindeksowania w witrynie. Przegląda tę listę systematycznie. Od czasu do czasu pobiera plik robots.txt, aby upewnić się, że nadal można indeksować każdy adres URL, a następnie zaczyna znowu indeksować adresy URL jeden po drugim. Gdy pająk przeszuka adres URL i przeanalizuje zawartość, dodaje nowe adresy URL znalezione na tej stronie, które musi ponownie zaindeksować na liście zadań do wykonania.

Kilka zdarzeń może sprawić, że Google poczuje, że adres URL musi zostać zindeksowany. Robot mógł znaleźć nowe linki wskazujące na treść, mogło coś zostać zaktualizowane w mapie witryny XML itp. itd. Nie ma możliwości sporządzenia listy wszystkich powodów, dla których Google indeksuje adres URL.

Kiedy Crawl budget stanowi problem?

Crawl budget nie stanowi problemu, jeśli Google musi indeksować wiele adresów URL w Twojej witrynie i przydzieli na to wiele prób. Ale powiedzmy, że Twoja witryna ma 40.000 stron, a Google indeksuje 100 stron w tej konkretnej witrynie każdego dnia. Niektóre (takie jak strona główna) będą indeksowane częściej niż inne. Jeśli nie podejmiesz odpowiednich działań, może minąć ponad 400 dni, zanim Google zauważy określone zmiany na Twoich stronach. Budżet indeksowania jest teraz problemem. Z drugiej strony, jeśli indeksuje 60.000 dziennie, nie ma żadnego problemu.

Aby szybko ustalić, czy Twoja witryna ma problem z indexowaniem, wykonaj poniższe czynności.

• Określ, ile stron masz w swojej witrynie, dobrym początkiem może być liczba adresów URL w mapach witryn XML.
• Przejdź do Google Search Console.
• Przejdź do „Ustawienia” -> „Statystyki indeksowania” i zanotuj średnią liczbę stron indeksowanych dziennie.
• Podziel liczbę stron przez liczbę średnio indeksowanych dziennie.
• Jeśli uzyskasz liczbę wyższą niż ~10 (czyli masz 10 razy więcej stron niż indeksowana każdego dnia przez Google), prawdopodobnie powinieneś zoptymalizować Crawl budget.

Jakie adresy URL indeksuje Google?

Jedynym sposobem poznania jak google indeksuje jest przeglądanie dzienników serwera Twojej witryny. W przypadku witryn ludzie w branży często korzystają ze Screaming Frog.

W zależności od rodzaju hostingu, nie zawsze będziesz w stanie pobrać swoje pliki dziennika. Jeśli jednak myślisz, że musisz popracować nad optymalizacją budżetu indeksowania, ponieważ Twoja witryna jest duża, powinieneś je zdobyć. Jeśli Twój dostawca hostingu nie pozwala Ci ich zdobyć, czas zmienić serwer.

Naprawianie budżetu indeksowania witryny jest bardzo podobne do naprawiania zepsutej rzeczy. Nie możesz tego naprawić, przyglądając się. Musisz zajrzeć w głąb. Na początku patrzenie na logi będzie przerażające. Szybko przekonasz się, że w dziennikach jest dużo zamętu. Znajdziesz wiele często występujących błędów 404, ale musisz je naprawić. Musisz upewnić się, że Twoja witryna nie jest pełna starych błędów 404.

Zwiększ budżet indeksowania

Przyjrzyjmy się rzeczom, które faktycznie poprawiają liczbę stron, które Google może zaindeksować w Twojej witrynie.

Utrzymanie strony internetowej: zmniejsz liczbę błędów

Pierwszym krokiem do zindeksowania większej liczby stron jest upewnienie się, że zindeksowane strony zwracają jeden z dwóch możliwych kodów: 200 (dla „OK”) lub 301 (dla „przekierowanie”). Wszystkie inne kody zwrotne nie są prawidłowe. Aby to rozgryźć, musisz zajrzeć do dzienników serwera swojej witryny. Google Analytics i większość innych narzędzi tego typu śledzi tylko strony, które obsługują 200. Nie znajdziesz więc tam wielu błędów w swojej witrynie.

Po uzyskaniu dzienników serwera spróbuj znaleźć typowe błędy i je naprawić. Najprostszym sposobem na to jest pobranie wszystkich adresów URL które nie zwróciły 200 lub 301, a następnie uporządkuj według częstotliwości dostępu. Naprawienie błędu może oznaczać, że musisz naprawić kod, lub może być konieczne przekierowanie adresu URL w inne miejsce. Jeśli wiesz, co spowodowało błąd, możesz również spróbować naprawić źródło.

Innym dobrym źródłem do wyszukiwania błędów jest Google Search Console.

Blokuj części swojej witryny

Jeśli masz sekcje swojej witryny, które naprawdę nie muszą znajdować się w Google, zablokuj je za pomocą pliku robots.txt. Oczywiście rób to tylko wtedy, gdy wiesz, co robisz. Jednym z typowych problemów, które widzimy w większych witrynach eCommerce, jest to, że mają one za dużo sposobów filtrowania produktów. Każdy filtr może dodać nowe adresy URL dla Google. W takich przypadkach naprawdę chcesz się upewnić, że pozwalasz pająkowi Google tylko na jeden lub dwa z tych filtrów, a nie wszystkie.

Zmniejszenie liczbę przekierowań

Kiedy przekierujesz adres URL 301, dzieje się coś dziwnego. Google zobaczy ten nowy adres URL i doda go do listy zadań do wykonania. Nie zawsze podąża za nim od razu, dodaje go do swojej listy rzeczy do zrobienia i po prostu idzie dalej. Kiedy łączysz przekierowania, na przykład, gdy przekierowujesz bez www na www, a następnie z http na https, wszędzie masz dwa przekierowania, więc indeksowanie zajmuje więcej czasu.

Uzyskaj więcej linków

Łatwo to powiedzieć, ale trudno zrobić. Zdobywanie większej liczby linków to nie tylko kwestia bycia niesamowitym, to także kwestia upewnienia się, że inni wiedzą, że jesteś niesamowity. To kwestia dobrego PR i dobrego zaangażowania na Social Mediach.

Kiedy masz poważny problem z indeksowaniem, zdecydowanie powinieneś najpierw przyjrzeć się błędom indeksowania, blokowaniu części witryny i naprawianiu łańcuchów przekierowań. Tworzenie linków to bardzo powolna metoda zwiększania budżetu indeksowania. Z drugiej strony: jeśli zamierzasz zbudować dużą witrynę, budowanie linków musi być częścią twojego procesu.

Optymalizacja Crawl budget jest trudna

Optymalizacja Crawl budget nie jest dla osób o słabych nerwach. Jeśli dobrze dbasz o swoją witrynę lub Twoja witryna jest stosunkowo niewielka, prawdopodobnie nie jest to potrzebne. Jeśli Twoja witryna jest średniej wielkości i dobrze utrzymana, jest to dość łatwe do zrobienia w oparciu o powyższe wskazówki.