rozpočet procházení vysvětlen

co je rozpočet procházení?

rozpočet procházení je počet stránek, které vyhledávače budou procházet na webových stránkách v určitém časovém rámci.

proč vyhledávače přiřazují webovým stránkám rozpočet procházení?

protože nemají neomezené zdroje a rozdělují svou pozornost na miliony webových stránek. Takže potřebují způsob, jak upřednostnit své plazivé úsilí. Přiřazení rozpočtu procházení každému webu jim to pomáhá.

jak přiřazují rozpočet procházení webovým stránkám?

to je založeno na dvou faktorech, limit procházení a požadavek procházení:

1. limit procházení / zatížení hostitele: kolik procházení zvládne web a jaké jsou preference jeho vlastníka?
2. procházení poptávky / procházení plánování: které adresy URL stojí za to (znovu)procházet nejvíce, na základě jeho popularity a jak často se aktualizují.

rozpočet procházení je běžný termín v rámci SEO. Rozpočet procházení je někdy také označován jako prostor pro procházení nebo čas procházení.

je procházení rozpočtu jen o stránkách?

ve skutečnosti to není kvůli snadnosti mluvíme o stránkách, ale ve skutečnosti jde o jakýkoli dokument, který vyhledávače procházejí. Některé příklady dalších dokumentů: soubory JavaScript a CSS, varianty mobilních stránek, varianty hreflang a soubory PDF.

jak funguje omezení procházení / zatížení hostitele v praxi?

limit procházení nebo zatížení hostitele, pokud chcete, je důležitou součástí rozpočtu procházení. Prohledávače vyhledávačů jsou navrženy tak, aby zabránily přetížení webového serveru požadavky, takže jsou na to opatrní.Jak vyhledávače určují limit procházení webu? Existuje celá řada faktorů ovlivňujících limit procházení. Abychom jmenovali alespoň některé:

• známky platformy ve špatném stavu: jak často požadované adresy URL timeout nebo vrátit chyby serveru.
• počet webových stránek spuštěných na hostiteli: pokud váš web běží na sdílené hostingové platformě se stovkami dalších webových stránek a máte poměrně velký web, je limit procházení pro váš web velmi omezený, protože limit procházení je stanoven na hostitelské úrovni. Musíte sdílet limit procházení hostitele se všemi ostatními weby, které na něm běží. V tomto případě byste byli mnohem lepší na dedikovaném serveru, což s největší pravděpodobností také výrazně sníží dobu načítání vašich návštěvníků.

další věc, kterou je třeba zvážit, je mít samostatné mobilní a stolní weby běžící na stejném hostiteli. Mají také sdílený limit procházení. Takže mějte na paměti.

jak funguje plánování poptávky po procházení / procházení v praxi?

požadavek na procházení nebo plánování procházení je o určení hodnoty opětovného procházení adres URL. Poptávka po procházení opět ovlivňuje mnoho faktorů, mezi které patří:

• Popularita: kolik příchozích Interních a příchozích externích odkazů má URL, ale také množství dotazů, pro které se řadí.
• čerstvost: jak často se URL aktualizuje.
• typ stránky: je typ stránky, který se pravděpodobně změní. Vezměme si například stránku kategorie produktů a stránku podmínek-která z nich se podle vás nejčastěji mění a zaslouží si častější procházení?

nezapomeňte: kapacita procházení samotného systému

zatímco prohledávací systémy vyhledávačů mají obrovskou kapacitu procházení, na konci dne je omezená. Takže ve scénáři, kdy 80% datových center Google přejde do režimu offline současně, jejich kapacita procházení se masivně snižuje a rozpočet procházení všech webových stránek.

masivní díky Dawn Anderson (otevře se na nové kartě) za poskytnutí podrobností o limitu procházení, poptávce po procházení a kapacitě procházení!

proč byste se měli starat o rozpočet procházení?

chcete, aby vyhledávače našli a porozuměli co nejvíce vašich indexovatelných stránek a chcete, aby to udělali co nejrychleji. Když přidáte nové stránky a aktualizujete stávající, chcete, aby je vyhledávače vyzvedly co nejdříve. Čím dříve stránky indexují, tím dříve z nich můžete těžit.

pokud ztrácíte rozpočet procházení, vyhledávače nebudou moci procházet vaše webové stránky efektivně. Budou trávit čas na částech vašeho webu, na kterých nezáleží, což může mít za následek, že důležité části vašeho webu zůstanou neobjevené. Pokud o stránkách nevědí, nebudou je procházet a indexovat a nebudete k nim moci přivést návštěvníky prostřednictvím vyhledávačů.

můžete vidět, kam to vede: plýtvání rozpočtem procházení poškozuje váš výkon SEO.

Vezměte prosím na vědomí, že procházení rozpočtu je obecně jen něco, čeho se obávat, pokud máte velké webové stránky, řekněme 10,000 stránky a nahoru.

jaký je rozpočet procházení mého webu?

ze všech vyhledávačů je Google nejtransparentnější ohledně jejich rozpočtu na procházení vašeho webu.

rozpočet procházení ve Vyhledávací konzoli Google

pokud máte svůj web ověřen ve Vyhledávací konzoli Google, můžete získat přehled o rozpočtu procházení webu pro Google.

postupujte takto:

1. přihlaste se do vyhledávací konzoly Google a vyberte Web.
2. přejít na Crawl > Crawl Stats. Zde můžete vidět počet stránek, které Google prochází denně.

během léta 2016 vypadal náš rozpočet procházení takto:

vidíme zde, že průměrný rozpočet procházení je 27 stránek / den. Takže teoreticky, pokud tento průměrný rozpočet procházení zůstane stejný, měli byste měsíční rozpočet procházení 27 stránek x 30 dní = 810 stránek.

rychlý posun vpřed o 2 roky a podívejte se, jaký je náš rozpočet pro procházení právě teď:

náš průměrný průměrný rozpočet procházení je 253 stránek / den, takže byste mohli říci, že náš rozpočet procházení vzrostl 10X za 2 roky.

přejděte na zdroj: protokoly serveru

je velmi zajímavé zkontrolovat protokoly serveru a zjistit, jak často prohledávače Google zasahují váš web. Je zajímavé porovnat tyto statistiky s těmi, které jsou hlášeny v Google Search Console. Vždy je lepší spoléhat se na více zdrojů.

jak optimalizujete svůj rozpočet procházení?

optimalizace rozpočtu procházení spočívá v tom, že není zbytečný rozpočet procházení. V podstatě, kterým se stanoví důvody pro plýtvání procházení rozpočtu. Sledujeme tisíce webových stránek; pokud byste měli zkontrolovat každý z nich pro procházení rozpočtových problémů, rychle byste viděli vzorec: většina webových stránek trpí stejným druhem problémů.

běžné důvody pro zbytečný rozpočet procházení, se kterým se setkáváme:

1. přístupné adresy URL s parametry: příklad adresy URL s parametrem je https://www.example.com/toys/cars?color=black. V tomto případě se parametr používá k uložení výběru návštěvníka do filtru produktů.
2. duplicitní obsah: stránky, které jsou velmi podobné nebo přesně stejné, nazýváme “ duplicitní obsah.“Příklady jsou: Zkopírované stránky, interní stránky s výsledky vyhledávání a stránky se značkami.
3. obsah nízké kvality: stránky s velmi malým obsahem nebo stránky, které nepřidávají žádnou hodnotu.
4. nefunkční a přesměrování odkazů: nefunkční odkazy jsou odkazy odkazující na stránky, které již neexistují, a přesměrované odkazy jsou odkazy na adresy URL, které přesměrovávají na jiné adresy URL.
5. včetně nesprávných adres URL v Mapách XML Sitemap: stránky, které nelze indexovat, a stránky, jako jsou adresy 3xx, 4xx a 5xx, by neměly být zahrnuty do souboru sitemap XML.
6. stránky s vysokým časovým / časovým zatížením: načítání stránek, které trvají dlouho nebo se vůbec nenačítají, má negativní dopad na váš rozpočet procházení, protože je to znamení pro vyhledávače, že váš web nemůže zpracovat požadavek,a proto mohou upravit váš limit procházení.
7. vysoký počet stránek, které nelze indexovat: web obsahuje mnoho stránek, které nelze indexovat.
8. špatná vnitřní struktura odkazů: pokud vaše vnitřní struktura odkazů není správně nastavena, vyhledávače nemusí věnovat dostatečnou pozornost některým z vašich stránek.

přístupné adresy URL s parametry

ve většině případů by adresy URL s parametry neměly být přístupné pro vyhledávače, protože mohou generovat prakticky nekonečné množství adres URL.O tomto typu problému jsme rozsáhle psali v našem článku o pásových pastích.

adresy URL s parametry se běžně používají při implementaci filtrů produktů na webech elektronického obchodu. Je v pořádku je používat; jen se ujistěte, že nejsou přístupné vyhledávačům.

jak je můžete zpřístupnit vyhledávači?

1. používejte své roboty.txt soubor instruovat vyhledávače nemají přístup k těmto adresám URL. Pokud to z nějakého důvodu není možné, použijte nastavení zpracování parametrů URL v Google Search Console a nástrojích Bing pro webmastery a instruujte Google a Bing, které stránky se nemají procházet.
2. přidejte hodnotu atributu nofollow k odkazům na odkazech filtru. Vezměte prosím na vědomí, že od března 2020 se Google může rozhodnout nofollow ignorovat. Proto je krok 1 ještě důležitější.

duplicitní obsah

nechcete, aby vyhledávač trávil čas na duplicitních stránkách obsahu, takže je důležité zabránit nebo alespoň minimalizovat duplicitní obsah na vašem webu.

jak to děláte? Podle…

1. Nastavení přesměrování webových stránek pro všechny varianty domény (HTTP, HTTPS, non-WWW, a WWW).
2. zpřístupnění interních stránek s výsledky vyhledávání vyhledávačům pomocí robotů.txt. Zde je příklad robotů.txt pro web WordPress.
3. zakázání vyhrazených stránek pro obrázky (například: neslavné stránky s přílohami obrázků ve WordPressu).
4. buďte opatrní při používání taxonomií, jako jsou kategorie a značky.

podívejte se na některé další technické důvody pro duplicitní obsah a jak je opravit.

obsah nízké kvality

stránky s velmi malým obsahem nejsou pro vyhledávače zajímavé. Udržujte je na minimu, nebo se jim pokud možno úplně vyhněte. Jedním z příkladů nekvalitního obsahu je sekce FAQ s odkazy na otázky a odpovědi, kde se každá otázka a odpověď zobrazují přes samostatnou adresu URL.

nefunkční a přesměrování odkazy

nefunkční odkazy a dlouhé řetězce přesměrování jsou slepé uličky pro vyhledávače. Podobně jako u prohlížečů se zdá, že Google sleduje maximálně pět zřetězených přesměrování v jednom procházení(mohou jej později znovu procházet). Není jasné, jak dobře se ostatní vyhledávače vypořádají s následnými přesměrováními, ale důrazně doporučujeme, abyste se zcela vyhnuli zřetězeným přesměrováním a omezili používání přesměrování na minimum.

je jasné, že opravou nefunkčních odkazů a přesměrováním odkazů můžete rychle obnovit zbytečný rozpočet procházení. Kromě obnovení rozpočtu procházení také výrazně zlepšujete uživatelský dojem návštěvníka. Přesměrování a zejména řetězce přesměrování způsobují delší dobu načítání stránky a tím poškozují uživatelský dojem.

abychom usnadnili hledání nefunkčních a přesměrovacích odkazů, věnovali jsme tomu v rámci ContentKing zvláštní problémy.

přejděte na Issues > Links a zjistěte, zda plýtváte rozpočty procházení kvůli chybným odkazům. Aktualizujte každý odkaz tak, aby odkazoval na indexovatelnou stránku, nebo jej odstraňte, pokud již není potřeba.

nesprávné adresy URL v XML sitemapách

všechny adresy URL obsažené v XML sitemapách by měly být pro indexovatelné stránky. Zejména u velkých webových stránek se vyhledávače při hledání všech vašich stránek silně spoléhají na soubory Sitemap XML. Pokud jsou vaše soubory XML Sitemap přeplněné stránkami, které například již neexistují nebo přesměrovávají, ztrácíte rozpočet procházení. Pravidelně kontrolujte soubor sitemap XML pro neindexovatelné adresy URL, které tam nepatří. Zkontrolujte také opak: vyhledejte stránky, které jsou nesprávně vyloučeny z souboru sitemap XML. XML sitemap je skvělý způsob, jak pomoci vyhledávačům utrácet rozpočet procházení moudře.

Google searche Console

Bing Webmaster Tools

ContentKing

jedním z nejlepších postupů pro procházení rozpočtu optimalizace je rozdělit XML Sitemap do menších Sitemap. Můžete například vytvořit XML Sitemap pro každou část vašeho webu. Pokud jste to udělali, můžete rychle zjistit, zda se v určitých částech vašeho webu vyskytují nějaké problémy.

Řekněme, že soubor XML sitemap pro sekci a obsahuje odkazy 500 a 480 je indexováno: pak se vám daří docela dobře. Pokud však váš soubor sitemap XML pro sekci B obsahuje odkazy 500 a indexuje se pouze 120, je třeba se na to podívat. Možná jste zahrnuli mnoho neindexovatelných adres URL do souboru sitemap XML pro sekci B.

stránky s vysokou dobou načítání / časovými limity

pokud mají stránky vysoké časy načítání nebo mají časový limit, vyhledávače mohou navštívit méně stránek v rámci svého přiděleného rozpočtu procházení pro váš web. Kromě této nevýhody, vysoké časy načítání stránky a časové limity významně poškozují uživatelský dojem vašeho návštěvníka, což má za následek nižší míru konverze.

doba načítání stránky nad dvě sekundy je problém. V ideálním případě se vaše stránka načte za méně než jednu sekundu. Pravidelně kontrolujte časy načítání stránky pomocí nástrojů, jako je Pingdom( otevře se na nové kartě), WebPagetest (otevře se na nové kartě) nebo GTmetrix(otevře se na nové kartě).

Google hlásí čas načítání stránky v obou Google Analytics (pod Behavior > Site Speed) a Google Search Console pod Crawl > Crawl Stats.

Google Search Console a Bing Webmaster Tools hlásí časové limity stránek. V Google Search Console to lze nalézt pod Crawl > Crawl Errors, a v nástrojích Bing Webmaster je pod Reports & Data > Crawl Information.

pravidelně kontrolujte, zda se vaše stránky načítají dostatečně rychle, a pokud tomu tak není, okamžitě podnikněte kroky. rychlé načítání stránek je pro Váš online úspěch zásadní.

vysoký počet neindexovatelných stránek

pokud váš web obsahuje vysoký počet neindexovatelných stránek, které jsou přístupné vyhledávačům, v podstatě udržujete vyhledávače zaneprázdněné proséváním irelevantních stránek.

následující typy považujeme za neindexovatelné stránky:

• přesměruje (3xx)
• stránky, které nelze najít (4xx)
• stránky s chybami serveru (5xx)
• stránky, které nejsou indexovatelné (stránky, které obsahují směrnici robots noindex nebo kanonickou adresu URL)

Chcete-li zjistit, zda máte vysoký počet stránek, které nelze indexovat, vyhledejte celkový počet stránek, které prohledávače našly na vašem webu, a jak se rozpadají. Můžete to snadno udělat pomocí ContentKing:

v tomto příkladu je nalezeno 63 137 adres URL, z toho pouze 20 528 stránek.

a z těchto stránek je indexovatelných pro vyhledávače pouze 4 663. Pouze 7,4% adres URL nalezených společností ContentKing lze indexovat pomocí vyhledávačů. To není dobrý poměr, a tento web na tom rozhodně musí pracovat vyčištěním všech odkazů na ně, které jsou zbytečné, počítaje v to:

• XML sitemap (viz předchozí část)
• odkazy
• kanonické adresy URL
• hreflang odkazy
• stránkování odkazy (link rel předchozí / next)

špatná vnitřní struktura odkazů

Jak stránky na vašem webu odkazují na sebe, hrají velkou roli při optimalizaci rozpočtu procházení. Říkáme tomu vnitřní struktura odkazů vašeho webu. Zpětné odkazy stranou, stránky, které mají málo interních odkazů získat mnohem méně pozornosti od vyhledávačů než stránky, které jsou spojeny s mnoha stránek.

Vyhněte se velmi hierarchické struktuře odkazů, přičemž stránky uprostřed mají několik odkazů. V mnoha případech nebudou tyto stránky často procházeny. Je to ještě horší pro stránky ve spodní části hierarchie: vzhledem k jejich omezenému množství odkazů mohou vyhledávače velmi dobře zanedbávat.

ujistěte se, že vaše nejdůležitější stránky mají dostatek interních odkazů. Stránky, které byly nedávno procházeny, se ve vyhledávačích obvykle řadí lépe. Mějte to na paměti a upravte pro to vnitřní strukturu odkazů.

pokud například máte blogový článek z roku 2011, který řídí hodně organického provozu, nezapomeňte na něj odkazovat z jiného obsahu. Protože jste v průběhu let vytvořili mnoho dalších blogových článků, tento článek z roku 2011 je automaticky tlačen dolů ve vnitřní struktuře odkazů na vašem webu.

jak zvýšíte rozpočet procházení vašeho webu?

během rozhovoru (otevře se na nové kartě) mezi Ericem engem a bývalým vedoucím týmu webspam společnosti Google Mattem Cuttsem byl vychován vztah mezi autoritou a rozpočtem procházení:

i když Google opustil aktualizaci hodnot PageRank stránek veřejně, myslíme si, že (forma) PageRank je stále používán v jejich algoritmech. Protože PageRank je nepochopený a matoucí termín, říkejme tomu page authority. Odvoz je, že Matt Cutts v podstatě říká: mezi autoritou stránky a rozpočtem procházení existuje docela silný vztah.

Chcete-li zvýšit rozpočet procházení webu, musíte zvýšit autoritu svého webu. Velká část toho se provádí vyděláváním více odkazů z externích webových stránek. Více informací o tom naleznete v našem průvodci budováním odkazů.

Často kladené otázky týkající se rozpočtu procházení

1. 🧾 co je rozpočet procházení?
2. How Jak mohu zvýšit svůj rozpočet procházení?
3. 🎛 What co může omezit můj rozpočet procházení?
4. Should měl bych používat kanonické URL a meta roboty vůbec?

1. 🧾 Co je rozpočet procházení?

rozpočet procházení je počet stránek, které vyhledávače budou procházet na webových stránkách v určitém časovém rámci.

2. 🤔 Jak mohu zvýšit svůj rozpočet procházení?

Google naznačil, že existuje silný vztah mezi autoritou stránky a rozpočtem procházení. Čím více autority má stránka, tím větší rozpočet procházení má. Jednoduše řečeno, chcete-li zvýšit rozpočet procházení, vytvořte autoritu své stránky.

3. 🤷 Co může omezit můj rozpočet procházení?

limit procházení, známý také jako zatížení hostitele procházení, je založen na mnoha faktorech, jako je stav webu a hostingové schopnosti. Prohledávače vyhledávačů jsou nastaveny tak, aby zabránily přetížení webového serveru. Pokud váš web vrátí chyby serveru nebo pokud požadované adresy URL často vyprší, rozpočet procházení bude omezenější. Podobně, pokud váš web běží na sdílené hostingové platformě, limit procházení bude vyšší, protože budete muset sdílet svůj rozpočet procházení s jinými weby běžícími na hostingu.

4. 🤖 Měl bych používat kanonické URL a meta roboty vůbec?

Ano, a je důležité pochopit rozdíly mezi problémy indexování a problémy procházení.

značky canonical URL a meta robots vysílají vyhledávačům jasný signál, jakou stránku by měli zobrazit ve svém indexu, ale nebrání jim v procházení těchto dalších stránek.

můžete použít roboty.txt soubor a vztah nofollow link pro řešení problémů procházení.