Crawl budget explained

mikä on ryömimisbudjetti?

Indeksointibudjetti on se Sivumäärä, jonka hakukoneet ryömivät sivustolla tietyn ajan kuluessa.

miksi hakukoneet määräävät indeksibudjetin verkkosivuille?

koska heillä ei ole rajattomia resursseja, ja he jakavat huomionsa miljoonille verkkosivustoille. He tarvitsevat keinon priorisoida ryömintänsä. Crawl-budjetin määrääminen jokaiselle verkkosivustolle auttaa heitä tekemään tämän.

miten verkkosivuille annetaan indeksointibudjetti?

se perustuu kahteen tekijään, ryömintärajaan ja ryömintäkysyntään:

1. Ryömintäraja / isäntäkuorma: kuinka paljon ryömimistä sivusto pystyy käsittelemään ja mitkä ovat sen omistajan mieltymykset?
2. Crawl demand / crawl scheduling: mitä URL-osoitteita kannattaa (uudelleen)indeksoida eniten sen suosion perusteella ja kuinka usein sitä päivitetään.

Ryömimisbudjetti on yleinen termi SEO: ssa. Crawl-budjettia kutsutaan joskus myös ryömintätilaksi tai ryömimisajaksi.

onko ryömintäbudjetti vain noin sivuja?

kyse ei ole oikeastaan sivuista, vaan todellisuudessa kyse on mistä tahansa hakukoneiden ryömimästä dokumentista. Esimerkkejä muista asiakirjoista: JavaScript-ja CSS-tiedostot, mobiilisivuvariantit, hreflang variantit ja PDF-tiedostot.

miten ryömintäraja / isäntäkuorma toimii käytännössä?

Ryömintäraja eli isäntäkuorma on tärkeä osa ryömimisbudjettia. Hakukoneiden telaketjut on suunniteltu estämään web-palvelimen ylikuormitus pyynnöillä, joten he ovat varovaisia tämän suhteen.Miten hakukoneet määrittävät verkkosivun ryömintärajan? Ryömintärajaan vaikuttavat monet tekijät. Muutamia mainitaksemme:

• merkkejä Alustan huonossa kunnossa: kuinka usein pyydetään URL aikakatkaisu tai palata palvelimen virheitä.
• isännällä toimivien verkkosivustojen määrä: jos verkkosivustosi toimii jaetulla hostausalustalla satojen muiden verkkosivustojen kanssa, ja sinulla on melko suuri verkkosivusto, verkkosivustosi ryömintäraja on hyvin rajoitettu, koska ryömintäraja määritetään isäntätasolla. Sinun täytyy jakaa isännän ryömintäraja kaikkien muiden sitä käyttävien sivustojen kanssa. Tässä tapauksessa olisit paljon parempi omistettu palvelin, joka todennäköisesti myös massiivisesti vähentää latausajat kävijöitä.

toinen huomioon otettava asia on se, että samalla palvelimella toimivat erilliset mobiili-ja työpöytäsivustot. Niilläkin on yhteinen ryömintäraja. Pidä tämä mielessä.

miten ryömintäkysyntä / ryömimisaikataulu toimii käytännössä?

Ryömintäkysynnässä eli ryömintäaikataulussa on kyse uudelleen indeksoivien URL-osoitteiden arvon määrittämisestä. Jälleen monet tekijät vaikuttavat indeksoinnin kysyntään, joiden joukossa:

• Suosio: kuinka monta saapuvaa sisäistä ja saapuvaa ulkoista linkkiä URL-osoitteessa on, mutta myös määrä kyselyt se sijoitus.
• tuoreus: kuinka usein URL-osoitetta päivitetään.
• sivutyyppi: on todennäköisesti muuttuvan sivun tyyppi. Otetaan esimerkiksi tuotekategoriasivu ja käyttöehtosivu – mikä muuttuu mielestäsi useimmin ja ansaitsee tulla ryömityksi useammin?

älä unohda: itse järjestelmän ryömintäkapasiteetti

vaikka hakukoneiden ryömintäjärjestelmillä on massiivinen ryömintäkapasiteetti, loppujen lopuksi se on rajallinen. Joten skenaariossa, jossa 80% Googlen datakeskuksista menee offline-tilaan samaan aikaan, niiden ryömintäkapasiteetti vähenee massiivisesti ja vuorostaan kaikkien verkkosivustojen ryömimisbudjetti.

suuret kiitokset Dawn Andersonille (avautuu uudessa välilehdessä) siitä, että hän antoi meille tietoja ryömintärajasta, ryömintäkysynnästä ja ryömintäkapasiteetista!

miksi ryömimisbudjetista pitäisi välittää?

haluat hakukoneiden löytävän ja ymmärtävän mahdollisimman monta indeksoitavaa sivuasi, ja haluat niiden tekevän sen mahdollisimman nopeasti. Kun lisäät uusia sivuja ja päivität olemassa olevia sivuja, haluat hakukoneiden poimivan ne mahdollisimman pian. Mitä nopeammin sivut on indeksoitu, sitä nopeammin voit hyötyä niistä.

jos hukkaat ryömimisbudjettia, hakukoneet eivät pysty ryömimään verkkosivustoasi tehokkaasti. He viettävät aikaa sivustosi osissa, joilla ei ole väliä, mikä voi johtaa siihen, että tärkeitä osia sivustostasi jätetään tutkimatta. Jos he eivät tiedä sivuista, he eivät ryömi ja indeksoi niitä, etkä voi tuoda kävijöitä hakukoneiden kautta heille.

voit nähdä, mihin tämä johtaa: ryömimisbudjetin tuhlaaminen vahingoittaa SEO-suorituskykyäsi.

huomaa, että ryömimisbudjetti on yleensä vain sellainen asia, josta kannattaa olla huolissaan, jos on laaja verkkosivusto, sanotaan vaikka 10 000 sivua ja ylöspäin.

mikä on crawl budjetti minun verkkosivuilla?

kaikista hakukoneista Google on sivustosi ryömimisbudjetistaan läpinäkyvin.

Indeksointibudjetti Google Search Consolessa

jos sivustosi on tarkistettu Google Search Consolessa, voit saada jonkin verran tietoa sivustosi indeksointibudjetista Googlelle.

noudata näitä ohjeita:

1. Kirjaudu sisään Google Search Consoleen ja valitse verkkosivusto.
2. Siirry Crawl > Crawl Stats. Siellä näet, kuinka monta sivua Google indeksoi päivässä.

kesällä 2016 ryömimisbudjettimme näytti tältä:

näemme tässä, että keskimääräinen ryömintäbudjetti on 27 sivua / päivä. Joten teoriassa, jos tämä keskimääräinen indeksointibudjetti pysyy samana, kuukausittainen indeksointibudjetti olisi 27 sivua x 30 päivää = 810 sivua.

Kelaa eteenpäin 2 vuotta, ja katso Mikä on ryömimisbudjettimme juuri nyt:

keskimääräinen keskimääräinen indeksointibudjettimme on 253 sivua / päivä, joten voisi sanoa, että indeksointibudjettimme nousi 10x 2 vuoden kuluttua.

mene lähteeseen: palvelinlokeja

on erittäin mielenkiintoista tarkistaa palvelinlokeja nähdäksesi, kuinka usein Googlen telaketjut iskevät sivustoosi. On mielenkiintoista verrata näitä tilastoja niihin, jotka on raportoitu Google Search Console. On aina parempi luottaa useisiin lähteisiin.

miten optimoit ryömimisbudjettisi?

ryömimisbudjetin optimointi on kiinni siitä, ettei ryömimisbudjettia mene hukkaan. Pohjimmiltaan vahvistamisesta syitä hukkaan ryömiä budjetti. Seuraamme tuhansia verkkosivustoja; jos tarkistaisit jokaisen niistä crawl-budjettiongelmien varalta, näkisit nopeasti kuvion: useimmat verkkosivustot kärsivät samanlaisista ongelmista.

yleisiä syitä haaskattuun ryömimisbudjettiin, joita kohtaamme:

1. esteettömät URL-osoitteet parametreineen: esimerkki URL-osoitteesta, jossa parametri on https://www.example.com/toys/cars?color=black. Tässä tapauksessa parametria käytetään tallentamaan kävijän valinta tuotesuodattimeen.
2. Duplicate content: kutsumme sivuja, jotka ovat hyvin samankaltaisia tai täsmälleen samanlaisia, ”duplicate content.”Esimerkkejä ovat: kopioituja sivuja, sisäisiä hakutulossivuja ja tagisivuja.
3. huonolaatuinen sisältö: sivuja, joilla on hyvin vähän sisältöä tai sivuja, jotka eivät tuo mitään lisäarvoa.
4. rikkinäiset ja uudelleenohjaavat linkit: Rikkinäiset linkit ovat linkkejä, jotka viittaavat sivuihin, joita ei ole enää olemassa, ja uudelleenohjatut linkit ovat linkkejä URL-osoitteisiin, jotka ohjaavat muihin URL-osoitteisiin.
5. mukaan lukien virheelliset URL-osoitteet XML-sivukartoissa: ei-indeksoitavia sivuja ja ei-sivuja, kuten 3xx, 4xx ja 5xx URL-osoitteita, ei pitäisi sisällyttää XML-sivukarttaasi.
6. sivuja, joilla on suuri kuormitus: sivut, joiden lataaminen kestää kauan tai jotka eivät lataudu lainkaan, vaikuttavat kielteisesti indeksointibudjettiisi, koska se on merkki hakukoneille siitä, että sivustosi ei pysty käsittelemään pyyntöä, joten ne voivat säätää indeksointirajoitustasi.
7. suuri määrä ei-indeksoitavia sivuja: sivustolla on paljon sivuja, jotka eivät ole indeksoitavissa.
8. huono sisäinen linkkirakenne: jos sisäistä linkkirakennetta ei ole määritetty oikein, hakukoneet eivät välttämättä kiinnitä tarpeeksi huomiota joihinkin sivuihisi.

esteettömät URL-osoitteet, joiden parametrit ovat

, eivät useimmissa tapauksissa saisi olla hakukoneiden käytettävissä, koska ne voivat luoda lähes äärettömän määrän URL-osoitteita.Olemme kirjoittaneet laajasti tämäntyyppisestä asiasta artikkelissamme crawler-ansoista.

parametreilla varustettuja URL-osoitteita käytetään yleisesti tuotesuodattimien käyttöönotossa verkkokauppasivustoilla. On hienoa käyttää niitä; varmista vain, että ne eivät ole hakukoneiden käytettävissä.

miten ne voi tehdä hakukoneen tavoittamattomiksi?

1. käytä robottejasi.TXT-tiedoston ohjeistaa hakukoneita ei käyttää tällaisia URL. Jos tämä ei jostain syystä ole vaihtoehto, käytä URL-parametrin käsittelyasetuksia Google Search Consolessa ja Bing Webmaster Toolsissa ohjeistaaksesi Googlea ja Bingiä siitä, mitä sivuja ei saa ryömiä.
2. lisää nofollow-attribuutin arvo suodatinlinkkien linkkeihin. Huomaa, että maaliskuusta 2020 alkaen Google voi jättää nofollow ’ n huomiotta. Siksi Vaihe 1 on vielä tärkeämpi.

päällekkäistä sisältöä

et halua hakukoneen käyttävän aikaansa päällekkäisillä sisältösivuilla, joten on tärkeää estää tai ainakin minimoida sivustosi päällekkäinen sisältö.

miten teet tämän? Mennessä…

1. perustamalla verkkosivujen uudelleenohjauksia kaikille verkkotunnuksen muunnelmille (HTTP, HTTPS, non-WWW, ja WWW).
2. sisäisen haun tulossivujen tekeminen robotteja käyttävien hakukoneiden tavoittamattomiin.txt. Tässä esimerkki robotit.txt WordPress verkkosivuilla.
3. dedikoitujen sivujen poistaminen käytöstä kuville (esimerkiksi pahamaineiset kuvien liitetiedostosivut WordPressissä).
4. varo käyttämästä taksonomioita, kuten luokkia ja tägejä.

tarkista joitakin teknisempiä syitä päällekkäiselle sisällölle ja miten ne korjataan.

huonolaatuinen sisältö

hyvin vähäsisältöiset sivut eivät kiinnosta hakukoneita. Pidä ne minimissä tai vältä niitä kokonaan, jos mahdollista. Yksi esimerkki huonolaatuisesta sisällöstä on FAQ-osio, jossa linkit näyttävät kysymykset ja vastaukset, jossa jokainen kysymys ja vastaus tarjoillaan erillisen URL-osoitteen kautta.

rikkinäiset ja uudelleenohjaavat linkit

Rikkinäiset linkit ja pitkät uudelleenohjausketjut ovat umpikujia hakukoneille. Samaan tapaan kuin selaimet, Google näyttää noudattavan enintään viittä ketjutettua uudelleenohjausta yhdessä ryömimisessä (he saattavat jatkaa ryömimistä myöhemmin). On epäselvää, kuinka hyvin muut hakukoneet käsittelevät myöhempiä uudelleenohjauksia, mutta suosittelemme vahvasti, että vältät ketjutetut uudelleenohjaukset kokonaan ja pidät uudelleenohjausten käytön minimissä.

on selvää, että korjaamalla rikkinäisiä linkkejä ja ohjaamalla linkkejä, voit nopeasti palauttaa hukkaan heitetyn ryömimisbudjetin. Crawl-budjetin palauttamisen lisäksi parannat merkittävästi kävijän käyttökokemusta. Uudelleenohjaukset ja erityisesti uudelleenohjausketjut aiheuttavat pidempää sivujen latausaikaa ja vahingoittavat siten käyttäjäkokemusta.

jotta murrettujen linkkien löytäminen ja uudelleenohjaaminen olisi helppoa, olemme panostaneet tähän erikoisnumeroihin Contentkingissä.

mene Issues > Links selvittämään, tuhlaatko ryömimisbudjetteja viallisten linkkien takia. Päivitä jokainen linkki niin, että se linkittää indeksoitavalle sivulle, tai Poista linkki, jos sitä ei enää tarvita.

Virheelliset URL-osoitteet XML-sivukartoissa

kaikkien XML-sivukartoissa olevien URL-osoitteiden tulee olla indeksoitavia sivuja varten. Erityisesti suuret sivustot, hakukoneet voimakkaasti luottaa XML sitemaps löytää kaikki sivut. Jos XML sitemaps ovat täynnä sivuja, jotka, esimerkiksi, eivät ole enää olemassa tai ohjaavat, olet tuhlaa crawl budjetti. Tarkista säännöllisesti XML-sivukartta ei-indeksoitavia URL-osoitteita, jotka eivät kuulu sinne. Tarkista myös päinvastainen: etsi sivuja, jotka on virheellisesti jätetty XML sivukartta. XML sivukartta on hyvä tapa auttaa hakukoneita viettää indeksoida budjetin viisaasti.

Google Searche Console

Bing Webmaster Tools

ContentKing

yksi parhaista käytännöistä indeksoida budjetin optimointi on jakaa XML sivukarttoja jopa pienempiin sivukarttoja. Voit esimerkiksi luoda XML sitemaps kunkin sivuston osiot. Jos olet tehnyt tämän, voit nopeasti määrittää, onko ongelmia meneillään tietyissä osissa sivustosi.

sano, että A-osan XML-sivukarttasi sisältää 500 linkkiä, ja 480 on indeksoitu: silloin menee aika hyvin. Mutta jos XML sivukartta osio B sisältää 500 linkkejä ja vain 120 indeksoidaan, se on jotain tutkia. Olet saattanut sisällyttää paljon ei-indeksoitavia URL-osoitteita XML-sivukarttaan osiossa B.

sivut, joilla on suuri latausaika / aikakatkaisut

kun sivuilla on suuri latausaika tai ne aikalisä, hakukoneet voivat käydä harvemmilla sivuilla verkkosivustosi varaamassaan ryömimisbudjetissa. Sen lisäksi, että haittapuoli, korkea sivun latausajat ja aikakatkaisut merkittävästi vahingoittaa kävijän käyttökokemusta, mikä alentaa muuntokurssia.

yli kahden sekunnin sivukuormitusajat ovat ongelma. Ihannetapauksessa sivu latautuu alle sekunnissa. Tarkista sivun latausajat säännöllisesti työkaluilla, kuten Pingdom (avautuu uudessa välilehdessä), WebPagetest (avautuu uudessa välilehdessä) tai GTmetrix (avautuu uudessa välilehdessä).

Google raportoi sivun latausajasta sekä Google Analyticsissa (alla Behavior > Site Speed) ja Google Search Console alla Crawl > Crawl Stats.

Google Search Console ja Bing Webmaster Tools raportoivat molemmat sivun aikakatkaisuista. Googlen Hakukonsolissa tämä löytyy kohdasta Crawl > Crawl Errors, ja Bing Webmaster Tools, se on alle Reports & Data > Crawl Information.

tarkista säännöllisesti, latautuvatko sivusi tarpeeksi nopeasti, ja ryhdy välittömästi toimiin, jos ne eivät lataudu. nopeasti latautuvat sivut ovat elintärkeitä online-menestyksesi kannalta.

suuri määrä ei-indeksoitavia sivuja

jos verkkosivustosi sisältää suuren määrän ei-indeksoitavia sivuja, jotka ovat hakukoneiden käytettävissä, pidät hakukoneet kiireisinä seulomassa epäolennaisia sivuja.

seuraavat tyypit ovat mielestämme ei-indeksoitavia sivuja:

• uudelleenohjaus (3xx)
• sivuja, joita ei löydy (4xx)
• sivuja, joissa on palvelinvirheitä (5xx)
• sivuja, jotka eivät ole indeksoitavissa (sivuja, jotka sisältävät robottien noindex-direktiivin tai kanonisen URL-osoitteen)

jotta selvittää, jos sinulla on suuri määrä ei-indeksoitavia sivuja, etsiä sivujen kokonaismäärä, että indeksoijat ovat löytäneet sivustosi ja miten ne hajoavat. Voit helposti tehdä tämän käyttämällä ContentKing:

tässä esimerkissä on 63 137 URL-osoitetta, joista vain 20 528 on sivuja.

ja näistä sivuista vain 4663 on indeksoitavissa hakukoneille. Hakukoneet voivat indeksoida vain 7,4% Contentkingin löytämistä URL-osoitteista. Tämä ei ole hyvä suhde, ja tämä sivusto ehdottomasti täytyy työskennellä, että siivoamalla kaikki viittaukset niihin, jotka ovat tarpeettomia, mukaan lukien:

• XML-sivukartta (katso edellinen jakso)
• linkit
• kanoniset URL-osoitteet
• Hreflang-viitteet
• Sivuviitteet (link rel prev / next)

huono sisäinen linkkirakenne

miten sivustosi sivut linkittävät toisiinsa on suuri rooli indeksoinnin budjetin optimoinnissa. Kutsumme tätä sivustosi sisäiseksi linkkirakenteeksi. Käänteislinkit syrjään, sivut, joilla on vähän sisäisiä linkkejä saada paljon vähemmän huomiota hakukoneet kuin sivut, jotka on linkitetty paljon sivuja.

Vältä hyvin hierarkkista linkkirakennetta, jonka keskellä olevilla sivuilla on vain vähän linkkejä. Monissa tapauksissa näitä sivuja ei usein ryömitä. Se on vielä huonompi sivuja alareunassa hierarkia: koska niiden rajallinen määrä linkkejä, ne voivat hyvinkin laiminlyödä hakukoneet.

varmista, että tärkeimmillä sivuillasi on runsaasti sisäisiä linkkejä. Sivut, jotka on äskettäin ryömitty, sijoittuvat yleensä paremmin hakukoneissa. Pidä tämä mielessä, ja säädä sisäinen linkki rakenne tätä varten.

esimerkiksi jos sinulla on blogiartikkeli vuodelta 2011, joka ajaa paljon orgaanista liikennettä, varmista, että linkität siihen edelleen muusta sisällöstä. Koska olet tuottanut monia muita blogiartikkeleita vuosien varrella, että artikkeli 2011 automaattisesti työnnetään alas sivuston sisäinen linkki rakenne.

miten voit lisätä sivustosi ryömintäbudjettia?

Eric Engen ja Googlen webspam-tiimin entisen johtajan Matt Cuttsin haastattelussa (avautuu uuteen välilehteen) otettiin esiin auktoriteetin ja ryömintäbudjetin suhde:

vaikka Google on luopunut sivujen PageRank-arvojen päivittämisestä julkisesti, uskomme, että (eräänlaista) PageRankia käytetään edelleen niiden algoritmeissa. Koska PageRank on väärinymmärretty ja sekava termi, kutsutaan sitä page authorityksi. Take-away tässä on, että Matt Cutts pohjimmiltaan sanoo: on olemassa melko vahva suhde sivun auktoriteetti ja indeksoida budjetti.

joten, kasvattaaksesi verkkosivustosi ryömimisbudjettia, sinun täytyy lisätä verkkosivustosi auktoriteettia. Iso osa tästä tehdään ansaitsemalla lisää linkkejä ulkoisilta verkkosivustoilta. Lisätietoa tästä löytyy linkkien rakennusoppaastamme.

Usein kysyttyjä kysymyksiä crawl-budjetista

1. 🧾 mikä on crawl budjetti?
2. 🤔 miten nostan ryömimisbudjettiani?
3. ️ ️ What can limit my crawl budget?
4. 🤖 Pitäisikö minun käyttää kanonisia URL-ja metarobotteja ollenkaan?

1. 🧾 Mikä on crawl budjetti?

Crawl budget on Sivumäärä, jonka hakukoneet ryömivät sivustolla tietyssä aikataulussa.

2. 🤔 Miten lisään ryömimisbudjettiani?

Google on ilmoittanut, että sivun auktoriteetilla ja ryömimisbudjetilla on vahva yhteys. Mitä enemmän valtaa sivulla on, sitä enemmän sillä on ryömintäbudjettia. Yksinkertaisesti sanottuna, lisätä ryömiä budjetti, rakentaa sivun auktoriteetti.

3. 🤷 Mikä voi rajoittaa ryömimisbudjettiani?

Crawl limit, joka tunnetaan myös nimellä crawl host load, perustuu moniin tekijöihin, kuten sivuston kuntoon ja hostauskykyyn. Hakukoneen telaketjut on asetettu estämään WWW-palvelimen ylikuormitus. Jos sivusto palauttaa palvelimen virheitä, tai jos pyydetyt URL-osoitteet aikalisä usein, ryömiä budjetti on rajoitetumpi. Samoin, jos sivustosi toimii jaetulla hosting-alustalla, ryömintäraja on korkeampi, koska sinun on jaettava ryömimisbudjettisi muiden hostingissa toimivien verkkosivustojen kanssa.

4. 🤖 Pitäisikö minun käyttää canonical URL ja meta robotteja ollenkaan?

Kyllä, ja on tärkeää ymmärtää indeksointi-ja ryömintäasioiden erot.

kanoniset URL-ja metarobotit-tagit lähettävät hakukoneille selkeän signaalin siitä, mitä sivua niiden hakemistossa pitäisi näkyä, mutta se ei estä niitä ryömimästä noita muita sivuja.

voit käyttää robotteja.txt-tiedosto ja nofollow-link-suhde ryömintäongelmien käsittelyyn.