indeksowanie budżetu wyjaśnione

co to jest budżet?

Indeksuj budżet to liczba stron, które wyszukiwarki będą indeksować na stronie internetowej w określonym czasie.

dlaczego Wyszukiwarki przypisują budżet na strony internetowe?

ponieważ nie mają nieograniczonych zasobów i dzielą swoją uwagę na miliony stron internetowych. Więc potrzebują sposobu, aby priorytetowo potraktować swój wysiłek pełzania. Przypisanie budżetu indeksowania do każdej witryny pomaga im to zrobić.

Jak przypisać budżet na strony internetowe?

to jest oparte na dwóch czynnikach, limit indeksowania i popyt indeksowania:

1. limit indeksowania / obciążenie hosta: ile indeksowania może obsłużyć witryna i jakie są preferencje jej właściciela?
2. Crawl demand / crawl scheduling: które adresy URL są warte (ponownego)indeksowania najbardziej, w oparciu o jego popularność i jak często jest aktualizowany.

indeksowanie budżetu jest powszechnym terminem w SEO. Budżet indeksowania jest czasami określany również jako przestrzeń indeksowania lub czas indeksowania.

czy indeksuj budżet tylko o stronach?

tak naprawdę nie jest, dla ułatwienia mówimy o stronach, ale w rzeczywistości chodzi o każdy dokument, który indeksują Wyszukiwarki. Przykłady innych dokumentów: pliki JavaScript i CSS, warianty stron mobilnych, warianty hreflang i pliki PDF.

jak działa limit indeksowania / obciążenie hosta w praktyce?

limit indeksowania lub obciążenie hosta, jeśli chcesz, jest ważną częścią budżetu indeksowania. Roboty wyszukiwarek są zaprojektowane tak, aby zapobiec przeciążeniu serwera www żądaniami, więc są ostrożni.Jak Wyszukiwarki określają limit indeksowania strony internetowej? Istnieje wiele czynników wpływających na limit crawl. Aby wymienić tylko kilka:

• znaki platformy w złym stanie: jak często żądane adresy URL timeout lub zwracają błędy serwera.
• ilość stron internetowych uruchomionych na hoście: jeśli Twoja witryna działa na wspólnej platformie hostingowej z setkami innych witryn, a masz dość dużą witrynę, limit indeksowania dla Twojej witryny jest bardzo ograniczony, ponieważ limit indeksowania jest ustalany na poziomie hosta. Musisz udostępnić limit indeksowania hosta wszystkim innym działającym na nim witrynom. W tym przypadku byłoby znacznie lepiej na serwerze dedykowanym,który najprawdopodobniej również znacznie skrócić czas ładowania dla odwiedzających.

inną rzeczą do rozważenia jest posiadanie oddzielnych witryn mobilnych i stacjonarnych działających na tym samym hoście. Mają też wspólny limit indeksowania. Więc miej to na uwadze.

jak crawl demand / crawl scheduling działa w praktyce?

Crawl demand, lub crawl scheduling, polega na określaniu wartości ponownego indeksowania adresów URL. Ponownie wiele czynników wpływa na popyt, wśród których:

• popularność: ile wewnętrznych i zewnętrznych linków przychodzących ma adres URL, ale także ilość zapytań, dla których jest w rankingu.
• świeżość: jak często aktualizowany jest URL.
• typ strony: jest typem strony, która może ulec zmianie. Weźmy na przykład stronę kategorii produktu i stronę regulaminu – która z nich, Twoim zdaniem, zmienia się najczęściej i zasługuje na to, aby częściej indeksować?

nie zapomnij: pojemność indeksowania samego systemu

podczas gdy systemy indeksowania wyszukiwarek mają ogromną pojemność indeksowania, na koniec dnia jest ograniczona. Tak więc w scenariuszu, w którym 80% centrów danych Google przechodzi w trybie offline w tym samym czasie, ich pojemność indeksowania znacznie się zmniejsza, a z kolei budżet indeksowania wszystkich witryn.

Ogromne podziękowania dla Dawn Anderson (otwiera się w nowej karcie) za dostarczenie nam szczegółów na temat limitu indeksowania, popytu indeksowania i pojemności indeksowania!

dlaczego warto dbać o budżet?

chcesz, aby Wyszukiwarki znalazły i zrozumiały jak najwięcej Twoich indeksowanych stron i chcesz, aby zrobiły to jak najszybciej. Kiedy dodajesz nowe strony i aktualizujesz już istniejące, chcesz, aby Wyszukiwarki jak najszybciej je odebrały. Im szybciej zindeksują strony, tym szybciej będziesz mógł z nich skorzystać.

jeśli marnujesz budżet indeksowania, Wyszukiwarki nie będą w stanie skutecznie indeksować Twojej witryny. Będą spędzać czas na częściach witryny, które nie mają znaczenia, co może spowodować, że ważne części witryny pozostaną nieodkryte. Jeśli nie wiedzą o stronach, nie będą ich indeksować i indeksować, a ty nie będziesz mógł przyciągać odwiedzających za pośrednictwem wyszukiwarek.

możesz zobaczyć, do czego to prowadzi: marnowanie budżetu indeksowania szkodzi wydajności SEO.

pamiętaj, że budżet indeksowania jest zazwyczaj tylko czymś, o co możesz się martwić, jeśli masz dużą stronę internetową, powiedzmy strony 10,000 I więcej.

jaki jest budżet crawl dla mojej strony?

ze wszystkich wyszukiwarek, Google jest najbardziej przejrzysty o ich budżetu indeksowania dla Twojej witryny.

Indeksuj budżet w Google Search Console

jeśli Twoja witryna została zweryfikowana w Google Search Console, możesz uzyskać wgląd w budżet indeksowania witryny dla Google.

wykonaj następujące kroki:

1. Zaloguj się do Google Search Console i wybierz stronę internetową.
2. idź do Crawl > Crawl Stats. Tam możesz zobaczyć liczbę stron, które Google indeksuje dziennie.

w lecie 2016 roku nasz budżet wyglądał następująco:

widzimy tutaj, że średni budżet indeksowania wynosi 27 stron / dzień. Więc teoretycznie, jeśli ten średni budżet indeksowania pozostaje taki sam, mielibyśmy miesięczny budżet indeksowania 27 stron x 30 dni = 810 stron.

przewiń do przodu o 2 lata i zobacz jaki mamy teraz budżet:

nasz średni średni budżet indeksowania wynosi 253 strony / dzień, więc można powiedzieć, że nasz budżet indeksowania wzrósł 10X w ciągu 2 lat.

przejdź do źródła: dzienniki serwera

bardzo interesujące jest sprawdzenie dzienników serwera, aby zobaczyć, jak często roboty Google uderzają w Twoją stronę. Interesujące jest porównanie tych statystyk z tymi raportowanymi w Google Search Console. Zawsze lepiej jest polegać na wielu źródłach.

jak zoptymalizować swój budżet crawl?

Optymalizacja budżetu indeksowania sprowadza się do upewnienia się, że żaden budżet indeksowania nie jest zmarnowany. Zasadniczo, ustalenie przyczyn zmarnowanego budżetu crawl. Monitorujemy tysiące stron internetowych; gdybyś sprawdził każdą z nich pod kątem problemów z indeksowaniem budżetu, szybko zobaczyłbyś wzór: większość stron internetowych cierpi na te same problemy.

najczęstsze przyczyny zmarnowanego budżetu, z którym się spotykamy:

1. dostępne adresy URL z parametrami: przykładem adresu URL z parametrem jest https://www.example.com/toys/cars?color=black. W takim przypadku parametr jest używany do przechowywania wyboru użytkownika w filtrze produktu.
2. Duplicate content: strony, które są bardzo podobne lub dokładnie takie same, nazywamy ” duplicate content.”Przykładami są: skopiowane strony, wewnętrzne strony wyników wyszukiwania i strony tagów.
3. treści niskiej jakości: strony o bardzo małej zawartości lub strony, które nie dodają żadnej wartości.
4. uszkodzone i przekierowujące linki: uszkodzone linki to linki odsyłające do stron, które już nie istnieją, a przekierowane linki to linki do adresów URL, które przekierowują do innych adresów URL.
5. w tym nieprawidłowe adresy URL w Mapach witryn XML: strony nieindeksowalne i strony inne, takie jak adresy URL 3xx, 4xx i 5xx, nie powinny być uwzględniane w mapie witryny XML.
6. strony z wysokim czasem ładowania / przerwami czasowymi: strony, które zajmują dużo czasu lub w ogóle się nie ładują, mają negatywny wpływ na budżet indeksowania, ponieważ jest to znak dla wyszukiwarek, że Twoja witryna nie może obsłużyć żądania, więc mogą dostosować limit indeksowania.
7. duża liczba stron, które nie są indeksowane: strona zawiera wiele stron, które nie są indeksowane.
8. zła struktura linków wewnętrznych: jeśli twoja wewnętrzna struktura linków nie jest poprawnie skonfigurowana, wyszukiwarki mogą nie zwracać wystarczającej uwagi na niektóre strony.

dostępne adresy URL z parametrami

w większości przypadków adresy URL z parametrami nie powinny być dostępne dla wyszukiwarek, ponieważ mogą generować praktycznie nieskończoną ilość adresów URL.O tego typu problemach pisaliśmy obszernie w naszym artykule o pułapkach gąsienicowych.

adresy URL z parametrami są powszechnie używane podczas wdrażania filtrów produktów w witrynach e-commerce. Dobrze jest z nich korzystać, tylko upewnij się, że nie są one dostępne dla wyszukiwarek.

jak sprawić, by były niedostępne dla wyszukiwarki?

1. Użyj swoich robotów.plik txt, aby instruować wyszukiwarki, aby nie uzyskiwały dostępu do takich adresów URL. Jeśli z jakiegoś powodu nie jest to opcja, Użyj ustawień obsługi parametrów URL w Google Search Console i narzędzi dla webmasterów Bing, aby poinstruować Google i Bing, które strony nie mają się indeksować.
2. Dodaj wartość atrybutu nofollow do linków w filtrowaniu linków. Należy pamiętać, że od marca 2020 r. Google może zignorować nofollow. Dlatego Krok 1 jest jeszcze ważniejszy.

duplikat treści

nie chcesz, aby wyszukiwarka spędzała czas na duplikatach stron z treścią, dlatego ważne jest, aby zapobiec lub przynajmniej zminimalizować duplikat treści w Twojej witrynie.

Jak to zrobić? Przez…

1. Konfigurowanie przekierowań dla wszystkich wariantów domen(HTTP, HTTPS, non-WWW, i WWW).
2. tworzenie wewnętrznych stron wyników wyszukiwania niedostępnych dla wyszukiwarek za pomocą robotów.txt. Oto przykład robotów.txt dla strony WordPress.
3. wyłączanie dedykowanych stron dla obrazów (na przykład: niesławne strony załączników obrazów w WordPress).
4. uważaj na stosowanie taksonomii, takich jak Kategorie i tagi.

sprawdź kilka bardziej technicznych powodów duplikowania treści i jak je naprawić.

treści niskiej jakości

strony o bardzo małej zawartości nie są interesujące dla wyszukiwarek. Ogranicz je do minimum lub unikaj ich całkowicie, jeśli to możliwe. Jednym z przykładów niskiej jakości treści jest sekcja FAQ z linkami do wyświetlania pytań i odpowiedzi, gdzie każde pytanie i odpowiedź są podawane na oddzielnym adresie URL.

zerwane i przekierowujące linki

zerwane linki i długie łańcuchy przekierowań są ślepymi uliczkami dla wyszukiwarek. Podobnie jak w przypadku przeglądarek, Google zdaje się podążać za maksymalnie pięcioma przekierowaniami łańcuchowymi w jednym indeksowaniu (mogą je wznowić później). Nie jest jasne, jak dobrze inne wyszukiwarki radzą sobie z kolejnymi przekierowaniami, ale zdecydowanie zalecamy, aby całkowicie unikać przekierowań łańcuchowych i ograniczyć korzystanie z przekierowań do minimum.

jasne jest, że naprawiając uszkodzone linki i przekierowując linki, możesz szybko odzyskać zmarnowany budżet indeksowania. Oprócz odzyskiwania budżetu indeksowania, znacznie poprawiasz wrażenia użytkownika odwiedzającego. Przekierowania, a w szczególności łańcuchy przekierowań, powodują dłuższy czas ładowania strony, a tym samym szkodzą użytkownikowi.

aby ułatwić znalezienie uszkodzonych i przekierowanie linków, poświęciliśmy temu specjalne problemy w ramach ContentKing.

przejdź do Issues > Links, aby dowiedzieć się, czy marnujesz budżet z powodu wadliwych linków. Zaktualizuj każdy link, aby łączył się z indeksowalną stroną lub usuń link, jeśli nie jest już potrzebny.

nieprawidłowe adresy URL w Mapach witryn XML

wszystkie adresy URL zawarte w Mapach witryn XML powinny być dla stron indeksowalnych. Zwłaszcza w przypadku dużych stron internetowych wyszukiwarki w dużym stopniu polegają na mapach witryn XML, aby znaleźć wszystkie strony. Jeśli mapy witryn XML są zaśmiecone stronami, które na przykład już nie istnieją lub przekierowują, marnujesz budżet indeksowania. Regularnie sprawdzaj mapę witryny XML pod kątem nieindeksowalnych adresów URL, które tam nie pasują. Sprawdź również odwrotnie: poszukaj stron, które są nieprawidłowo wykluczone z mapy witryny XML. Mapa strony XML to świetny sposób, aby pomóc wyszukiwarkom mądrze wydawać budżet na indeksowanie.

Google Searchche Console

narzędzia dla webmasterów Bing

ContentKing

jedną z najlepszych praktyk optymalizacji indeksowania budżetu jest podzielenie map witryn XML na mniejsze mapy witryn. Możesz na przykład utworzyć mapy witryn XML dla każdej sekcji witryny. Jeśli to zrobiłeś, możesz szybko określić, czy w niektórych sekcjach witryny występują jakiekolwiek problemy.

powiedzmy, że Twoja mapa strony XML dla sekcji A zawiera 500 linków, a 480 jest indeksowanych: wtedy robisz całkiem nieźle. Ale jeśli Twoja mapa witryny XML dla sekcji B zawiera 500 linków, a tylko 120 jest indeksowanych, to jest coś do sprawdzenia. Być może umieściłeś wiele Nieindeksowalnych adresów URL w mapie witryny XML dla sekcji B.

strony o wysokim czasie ładowania / timeouts

gdy Strony mają wysoki czas ładowania lub przestają działać, wyszukiwarki mogą odwiedzać mniej stron w ramach przydzielonego budżetu indeksowania dla Twojej witryny. Poza tym minusem, wysokie czasy ładowania strony i limity czasowe znacznie wpływają na wrażenia użytkownika odwiedzającego, co skutkuje niższym współczynnikiem konwersji.

czas ładowania strony powyżej dwóch sekund jest problemem. Idealnie, Twoja strona załaduje się w mniej niż jedną sekundę. Regularnie sprawdzaj czas ładowania strony za pomocą narzędzi takich jak Pingdom (otwiera się w nowej karcie), WebPagetest (otwiera się w nowej karcie) lub GTmetrix (otwiera się w nowej karcie).

Google zgłasza czas ładowania strony zarówno w Google Analytics (pod Behavior > Site Speed) i Google Search Console pod Crawl > Crawl Stats.

Google Search Console i narzędzia dla webmasterów Bing zgłaszają przekroczenie czasu na stronie. W Google Search Console można to znaleźć pod Crawl > Crawl Errors, a w Narzędziach dla webmasterów Bing jest pod Reports & Data > Crawl Information.

Regularnie sprawdzaj, czy Twoje strony ładują się wystarczająco szybko, a jeśli nie, natychmiast podejmuj działania. szybkie ładowanie stron ma kluczowe znaczenie dla Twojego sukcesu online.

duża liczba stron nieindeksowalnych

jeśli Twoja witryna zawiera dużą liczbę stron nieindeksowalnych, które są dostępne dla wyszukiwarek, zasadniczo zajmujesz się wyszukiwarkami przesiewając nieistotne strony.

za strony nie indeksowalne uważamy następujące typy:

• przekierowania (3xx)
• strony, których nie można znaleźć (4xx)
• strony z błędami serwera (5xx)
• strony, które nie są indeksowane (strony zawierające dyrektywę robots noindex lub kanoniczny adres URL)

aby dowiedzieć się, czy masz dużą liczbę stron, które nie są indeksowane, sprawdź całkowitą liczbę stron znalezionych przez roboty w Twojej witrynie i jak się psują. Możesz to łatwo zrobić za pomocą ContentKing:

w tym przykładzie znaleziono 63 137 adresów URL, z czego tylko 20 528 to strony.

i spośród tych stron tylko 4663 są indeksowane dla wyszukiwarek. Tylko 7,4% adresów URL znalezionych przez ContentKing może być indeksowane przez wyszukiwarki. To nie jest dobry stosunek, a ta strona zdecydowanie musi nad tym popracować, oczyszczając wszystkie niepotrzebne odniesienia do nich, w tym:

• Mapa strony XML (patrz poprzednia sekcja)
• linki
• kanoniczne adresy URL
• odniesienia do Hreflang
• odniesienia do paginacji (link rel poprzedni / następny)

zła struktura linków wewnętrznych

jak strony w witrynie łączą się ze sobą, odgrywają dużą rolę w optymalizacji budżetu indeksowania. Nazywamy to wewnętrzną strukturą linków Twojej witryny. Pomijając linki zwrotne, strony, które mają niewiele linków wewnętrznych, otrzymują znacznie mniej uwagi od wyszukiwarek niż strony, do których prowadzi wiele stron.

unikaj bardzo hierarchicznej struktury linków, A strony w środku mają niewiele linków. W wielu przypadkach strony te nie będą często indeksowane. Jest to jeszcze gorsze dla stron na dole hierarchii: ze względu na ograniczoną ilość linków, mogą być bardzo zaniedbane przez wyszukiwarki.

upewnij się, że Twoje najważniejsze strony mają mnóstwo wewnętrznych linków. Strony, które ostatnio zostały przeszukiwane, zazwyczaj lepiej pozycjonują się w wyszukiwarkach. Pamiętaj o tym i dostosuj do tego wewnętrzną strukturę łącza.

na przykład, jeśli masz artykuł na blogu pochodzący z 2011 roku, który napędza duży ruch organiczny, upewnij się, że łączysz go z innymi treściami. Ponieważ przez lata produkowałeś wiele innych artykułów na blogu, ten artykuł z 2011 jest automatycznie przesuwany w wewnętrzną strukturę linków witryny.

jak zwiększyć budżet indeksowania witryny?

podczas rozmowy (otwierającej się w nowej zakładce) między Ericem Enge a byłym szefem Zespołu ds. spamu Google Mattem Cuttsem, poruszono kwestię relacji między władzą a budżetem:

mimo że Google zrezygnował z publicznego aktualizowania wartości PageRank stron, uważamy, że (forma) PageRank jest nadal używany w ich algorytmach. Ponieważ PageRank jest pojęciem niezrozumiałym i mylącym, nazwijmy go autorytetem strony. Na wynos jest to, że Matt Cutts zasadniczo mówi: Istnieje dość silna relacja między autorytetem strony a budżetem indeksowania.

Tak więc, aby zwiększyć budżet indeksowania witryny, musisz zwiększyć autorytet swojej witryny. Duża część tego odbywa się poprzez zarabianie więcej linków z zewnętrznych stron internetowych. Więcej informacji na ten temat można znaleźć w naszym przewodniku budowania linków.

Najczęściej zadawane pytania na temat crawl budget

1. 🧾 czym jest crawl budget?
2. jak zwiększyć budżet?
3. co może ograniczyć Mój budżet?
4. czy powinienem w ogóle używać kanonicznych adresów URL i meta robotów?

1. 🧾 Co to jest crawl budget?

Indeksuj budżet to liczba stron, które wyszukiwarki będą indeksować na stronie internetowej w określonym czasie.

2. 🤔 Jak mogę zwiększyć mój budżet crawl?

Google wskazuje, że istnieje silna zależność między władzą strony a budżetem indeksowania. Im więcej autorytetu ma Strona, tym większy budżet ma. Mówiąc najprościej, aby zwiększyć swój budżet indeksowania, zbuduj autorytet swojej strony.

3. 🤷 Co może ograniczyć Mój budżet crawl?

limit indeksowania, znany również jako indeksowanie obciążenia hosta, opiera się na wielu czynnikach, takich jak stan witryny i możliwości hostingu. Roboty wyszukiwarek są ustawione tak, aby zapobiec przeciążeniu serwera www. Jeśli witryna zwróci błędy serwera lub jeśli żądane adresy URL często się kończą, budżet indeksowania będzie bardziej ograniczony. Podobnie, jeśli Twoja witryna działa na wspólnej platformie hostingowej, limit indeksowania będzie wyższy, ponieważ musisz udostępnić swój budżet indeksowania innym witrynom działającym na hostingu.

4. 🤖 Czy powinienem w ogóle używać canonical URL i meta robotów?

tak i ważne jest, aby zrozumieć różnice między problemami indeksowania i indeksowania.

kanoniczne tagi URL i meta robots wysyłają wyraźny sygnał do wyszukiwarek, jaką stronę mają pokazać w swoim indeksie, ale nie uniemożliwia im to indeksowania innych stron.

możesz użyć robotów.plik txt i relacja łącza nofollow do radzenia sobie z problemami z indeksowaniem.