Crawl budget [SEO i Googlebot] -co to jest, ustawienia krok po kroku+[1 BONUS]

wordpress seo
WordPress seo -co to jest, ustawienia krok po kroku+[1 BONUS]
28 stycznia, 2022
seo facebook
Seo facebook -co to jest, ustawienia krok po kroku+[1 BONUS]
28 stycznia, 2022
crawl budget
crawl budget

Crawl budget [SEO i Googlebot]

Google nie zawsze od razu przeszukuje ka偶d膮 stron臋 w witrynie. W rzeczywisto艣ci czasami mo偶e to zaj膮膰 tygodnie. I w艂a艣nie mo偶e to powa偶nie namiesza膰 w dzia艂aniach SEO. Twoja nowo zoptymalizowana strona docelowa mo偶e nie zosta膰 zindeksowana. W tym momencie nadszed艂 czas, aby zoptymalizowa膰 Crawl budget. W tym artykule om贸wimy, czym jest 鈥瀊ud偶et na indeksowanie鈥 i co mo偶esz zrobi膰, aby go zoptymalizowa膰.

darmowy newsletter marketingowy i SEO SEM Reklamy PPC

POBIERZ SW脫J DARMOWY RAPORT TERAZ ZANIM Go SKASUJEMY

Ten DARMOWY raport ujawnia sekrety kt贸re spowoduj膮 znaczny wzrost Twoich zarobk贸w i sprzeda偶y z reklam…

(sekrety prosto ze 藕r贸d艂a, tylko konkrety-zero spamu)

Co to jest Crawl budget (bud偶et indeksowania)?

Crawl budget to liczba stron, kt贸re Google zaindeksuje w Twojej witrynie w danym dniu. Ta liczba zmienia si臋 nieco z dnia na dzie艅, ale og贸lnie jest stosunkowo stabilna. Google mo偶e indeksowa膰 8 stron w Twojej witrynie ka偶dego dnia, mo偶e zaindeksowa膰 1000 stron, mo偶e nawet zaindeksowa膰1.000.000 stron ka偶dego dnia. Liczba stron indeksowanych przez Google, Tw贸j 鈥瀊ud偶et鈥, jest zazwyczaj okre艣lany na podstawie rozmiaru Twojej witryny, 鈥瀞tanu鈥 Twojej witryny (ile b艂臋d贸w napotkanych przez Google) oraz liczby link贸w do Twojej witryny. Niekt贸re z tych czynnik贸w to rzeczy, na kt贸re mo偶esz wp艂ywa膰, za chwil臋 do tego dojdziemy.

crawl budget

Jak dzia艂a robot indeksuj膮cy google?

Robot, taki jak Googlebot, pobiera list臋 adres贸w URL do zaindeksowania w witrynie. Przegl膮da t臋 list臋 systematycznie. Od czasu do czasu pobiera plik robots.txt, aby upewni膰 si臋, 偶e nadal mo偶na indeksowa膰 ka偶dy adres URL, a nast臋pnie zaczyna znowu indeksowa膰 adresy URL jeden po drugim. Gdy paj膮k przeszuka adres URL i przeanalizuje zawarto艣膰, dodaje nowe adresy URL znalezione na tej stronie, kt贸re musi ponownie zaindeksowa膰 na li艣cie zada艅 do wykonania.

Kilka zdarze艅 mo偶e sprawi膰, 偶e Google poczuje, 偶e adres URL musi zosta膰 zindeksowany. Robot m贸g艂 znale藕膰 nowe linki wskazuj膮ce na tre艣膰, mog艂o co艣 zosta膰 zaktualizowane w mapie witryny XML itp. itd. Nie ma mo偶liwo艣ci sporz膮dzenia listy wszystkich powod贸w, dla kt贸rych Google indeksuje adres URL.

Kiedy Crawl budget stanowi problem?

Crawl budget nie stanowi problemu, je艣li Google musi indeksowa膰 wiele adres贸w URL w Twojej witrynie i przydzieli na to wiele pr贸b. Ale powiedzmy, 偶e Twoja witryna ma 40.000 stron, a Google indeksuje 100 stron w tej konkretnej witrynie ka偶dego dnia. Niekt贸re (takie jak strona g艂贸wna) b臋d膮 indeksowane cz臋艣ciej ni偶 inne. Je艣li nie podejmiesz odpowiednich dzia艂a艅, mo偶e min膮膰 ponad 400 dni, zanim Google zauwa偶y okre艣lone zmiany na Twoich stronach. Bud偶et indeksowania jest teraz problemem. Z drugiej strony, je艣li indeksuje 60.000 dziennie, nie ma 偶adnego problemu.

Aby szybko ustali膰, czy Twoja witryna ma problem z indexowaniem, wykonaj poni偶sze czynno艣ci.

  • Okre艣l, ile stron masz w swojej witrynie, dobrym pocz膮tkiem mo偶e by膰 liczba adres贸w URL w mapach witryn XML.
  • Przejd藕 do Google Search Console.
  • Przejd藕 do 鈥濽stawienia鈥 -> 鈥濻tatystyki indeksowania鈥 i zanotuj 艣redni膮 liczb臋 stron indeksowanych dziennie.
  • Podziel liczb臋 stron przez liczb臋 艣rednio indeksowanych dziennie.
  • Je艣li uzyskasz liczb臋 wy偶sz膮 ni偶 ~10 (czyli masz 10 razy wi臋cej stron ni偶 indeksowana ka偶dego dnia przez Google), prawdopodobnie powiniene艣 zoptymalizowa膰 Crawl budget.

Jakie adresy URL indeksuje Google?


Jedynym sposobem poznania jak google indeksuje jest przegl膮danie dziennik贸w serwera Twojej witryny. W przypadku witryn ludzie w bran偶y cz臋sto korzystaj膮 ze Screaming Frog.

W zale偶no艣ci od rodzaju hostingu, nie zawsze b臋dziesz w stanie pobra膰 swoje pliki dziennika. Je艣li jednak my艣lisz, 偶e musisz popracowa膰 nad optymalizacj膮 bud偶etu indeksowania, poniewa偶 Twoja witryna jest du偶a, powiniene艣 je zdoby膰. Je艣li Tw贸j dostawca hostingu nie pozwala Ci ich zdoby膰, czas zmieni膰 serwer.

Naprawianie bud偶etu indeksowania witryny jest bardzo podobne do naprawiania zepsutej rzeczy. Nie mo偶esz tego naprawi膰, przygl膮daj膮c si臋. Musisz zajrze膰 w g艂膮b. Na pocz膮tku patrzenie na logi b臋dzie przera偶aj膮ce. Szybko przekonasz si臋, 偶e w dziennikach jest du偶o zam臋tu. Znajdziesz wiele cz臋sto wyst臋puj膮cych b艂臋d贸w 404, ale musisz je naprawi膰. Musisz upewni膰 si臋, 偶e Twoja witryna nie jest pe艂na starych b艂臋d贸w 404.

Zwi臋ksz bud偶et indeksowania

Przyjrzyjmy si臋 rzeczom, kt贸re faktycznie poprawiaj膮 liczb臋 stron, kt贸re Google mo偶e zaindeksowa膰 w Twojej witrynie.

Utrzymanie strony internetowej: zmniejsz liczb臋 b艂臋d贸w

Pierwszym krokiem do zindeksowania wi臋kszej liczby stron jest upewnienie si臋, 偶e zindeksowane strony zwracaj膮 jeden z dw贸ch mo偶liwych kod贸w: 200 (dla 鈥濷K鈥) lub 301 (dla 鈥瀙rzekierowanie鈥). Wszystkie inne kody zwrotne nie s膮 prawid艂owe. Aby to rozgry藕膰, musisz zajrze膰 do dziennik贸w serwera swojej witryny. Google Analytics i wi臋kszo艣膰 innych narz臋dzi tego typu 艣ledzi tylko strony, kt贸re obs艂uguj膮 200. Nie znajdziesz wi臋c tam wielu b艂臋d贸w w swojej witrynie.

Po uzyskaniu dziennik贸w serwera spr贸buj znale藕膰 typowe b艂臋dy i je naprawi膰. Najprostszym sposobem na to jest pobranie wszystkich adres贸w URL kt贸re nie zwr贸ci艂y 200 lub 301, a nast臋pnie uporz膮dkuj wed艂ug cz臋stotliwo艣ci dost臋pu. Naprawienie b艂臋du mo偶e oznacza膰, 偶e musisz naprawi膰 kod, lub mo偶e by膰 konieczne przekierowanie adresu URL w inne miejsce. Je艣li wiesz, co spowodowa艂o b艂膮d, mo偶esz r贸wnie偶 spr贸bowa膰 naprawi膰 藕r贸d艂o.

Innym dobrym 藕r贸d艂em do wyszukiwania b艂臋d贸w jest Google Search Console.

Blokuj cz臋艣ci swojej witryny

Je艣li masz sekcje swojej witryny, kt贸re naprawd臋 nie musz膮 znajdowa膰 si臋 w Google, zablokuj je za pomoc膮 pliku robots.txt. Oczywi艣cie r贸b to tylko wtedy, gdy wiesz, co robisz. Jednym z typowych problem贸w, kt贸re widzimy w wi臋kszych witrynach eCommerce, jest to, 偶e maj膮 one za du偶o sposob贸w filtrowania produkt贸w. Ka偶dy filtr mo偶e doda膰 nowe adresy URL dla Google. W takich przypadkach naprawd臋 chcesz si臋 upewni膰, 偶e pozwalasz paj膮kowi Google tylko na jeden lub dwa z tych filtr贸w, a nie wszystkie.

Zmniejszenie liczb臋 przekierowa艅

Kiedy przekierujesz adres URL 301, dzieje si臋 co艣 dziwnego. Google zobaczy ten nowy adres URL i doda go do listy zada艅 do wykonania. Nie zawsze pod膮偶a za nim od razu, dodaje go do swojej listy rzeczy do zrobienia i po prostu idzie dalej. Kiedy 艂膮czysz przekierowania, na przyk艂ad, gdy przekierowujesz bez www na www, a nast臋pnie z http na https, wsz臋dzie masz dwa przekierowania, wi臋c indeksowanie zajmuje wi臋cej czasu.

Uzyskaj wi臋cej link贸w

艁atwo to powiedzie膰, ale trudno zrobi膰. Zdobywanie wi臋kszej liczby link贸w to nie tylko kwestia bycia niesamowitym, to tak偶e kwestia upewnienia si臋, 偶e inni wiedz膮, 偶e jeste艣 niesamowity. To kwestia dobrego PR i dobrego zaanga偶owania na Social Mediach.

Kiedy masz powa偶ny problem z indeksowaniem, zdecydowanie powiniene艣 najpierw przyjrze膰 si臋 b艂臋dom indeksowania, blokowaniu cz臋艣ci witryny i naprawianiu 艂a艅cuch贸w przekierowa艅. Tworzenie link贸w to bardzo powolna metoda zwi臋kszania bud偶etu indeksowania. Z drugiej strony: je艣li zamierzasz zbudowa膰 du偶膮 witryn臋, budowanie link贸w musi by膰 cz臋艣ci膮 twojego procesu.

Optymalizacja Crawl budget jest trudna

Optymalizacja Crawl budget nie jest dla os贸b o s艂abych nerwach. Je艣li dobrze dbasz o swoj膮 witryn臋 lub Twoja witryna jest stosunkowo niewielka, prawdopodobnie nie jest to potrzebne. Je艣li Twoja witryna jest 艣redniej wielko艣ci i dobrze utrzymana, jest to do艣膰 艂atwe do zrobienia w oparciu o powy偶sze wskaz贸wki.

Rafa艂 Szrajnert- uniqueSEO team
Rafa艂 Szrajnert- uniqueSEO team
UniqueSEO to najlepsza agencja marketingowa w Polsce. Tworzymy i kreujemy udane kampanie SEM, pozycjonowanie, SEO i ca艂膮 strategi臋 ecommerce. Nie czekaj, do艂膮cz do nas!

1 Comment

  1. Jakub pisze:

    Bardzo fajnie napisane. Cenne informacje.

Dodaj komentarz

Tw贸j adres e-mail nie zostanie opublikowany.

POBIERZ SW脫J DARMOWY RAPORT TERAZ ZANIM TA STRONA ZNIKNIE

Ten DARMOWY raport ujawnia sekrety聽 kt贸re spowoduj膮 znaczny wzrost Twoich zarobk贸w i sprzeda偶y z reklam... (sekrety prosto ze 藕r贸d艂a)