Crawl költségvetés magyarázata

mi a feltérképezési költségkeret?

a feltérképezési költségkeret azon oldalak száma, amelyeket a keresőmotorok egy adott időn belül feltérképeznek egy webhelyen.

miért rendelnek a keresőmotorok feltérképezési költségkeretet a webhelyekhez?

mert nem rendelkeznek korlátlan erőforrásokkal, és figyelmüket több millió weboldalra osztják. Tehát szükségük van egy módra, hogy rangsorolják a feltérképezési erőfeszítéseiket. A feltérképezési költségvetés hozzárendelése az egyes webhelyekhez segít nekik ezt megtenni.

hogyan rendelik hozzá a feltérképezési költségkeretet a webhelyekhez?

ez két tényezőn alapul, a feltérképezési korláton és a feltérképezési igényen:

1. feltérképezési korlát / gazdagépterhelés: mennyi feltérképezést képes kezelni egy webhely, és mik a tulajdonos preferenciái?
2. feltérképezési igény / feltérképezési ütemezés: mely URL-eket érdemes (újra)feltérképezni a népszerűségük és a frissítésük gyakorisága alapján.

a feltérképezési költségvetés egy általános kifejezés a SEO-n belül. A feltérképezési költségkeretet néha feltérképezési térnek vagy feltérképezési időnek is nevezik.

a feltérképezési költségkeret csak az oldalakról szól?

valójában nem, az egyszerűség kedvéért oldalakról beszélünk, de a valóságban minden olyan dokumentumról van szó, amelyet a keresőmotorok feltérképeznek. Néhány példa más dokumentumokra: JavaScript és CSS fájlok, mobil oldalváltozatok, hreflang változatok és PDF fájlok.

hogyan működik a feltérképezési limit / host terhelés a gyakorlatban?

a feltérképezési korlát, vagy ha úgy tetszik, a gazdagép betöltése fontos része a feltérképezési költségkeretnek. A keresőmotorok robotjait úgy tervezték, hogy megakadályozzák a webkiszolgáló túlterhelését kérésekkel, ezért óvatosak ezzel kapcsolatban.Hogyan határozzák meg a keresőmotorok a webhely feltérképezési korlátját? Számos tényező befolyásolja a feltérképezési határértéket. Hogy csak néhányat említsünk:

• jelei platform rossz állapotban: milyen gyakran kért URL időtúllépés vagy visszatérő szerver hibák.
• a gazdagépen futó webhelyek száma: ha webhelye több száz más weboldallal közös tárhelyplatformon fut, és meglehetősen nagy webhelye van, a webhely feltérképezési korlátja nagyon korlátozott, mivel a feltérképezési korlátot gazdagép szintjén határozzák meg. Meg kell osztania a gazdagép feltérképezési korlátját a rajta futó összes többi webhelyen. Ebben az esetben sokkal jobb lenne egy dedikált szerveren, ami valószínűleg jelentősen csökkenti a látogatók betöltési idejét is.

egy másik dolog, amit figyelembe kell venni, hogy külön mobil és asztali webhelyek futnak ugyanazon a gazdagépen. Van egy közös feltérképezési korlátjuk is. Tehát tartsa ezt szem előtt.

hogyan működik a feltérképezési igény / feltérképezési ütemezés a gyakorlatban?

a feltérképezési igény vagy a feltérképezési ütemezés az újra feltérképező URL-ek értékének meghatározásáról szól. Ismét sok tényező befolyásolja a feltérképezési keresletet, amelyek között:

• Népszerűség: hány bejövő belső és bejövő külső link van egy URL-ben, de azt is, hogy hány lekérdezést rangsorol.
• frissesség: milyen gyakran frissül az URL.
• oldal típusa: az oldal típusa valószínűleg megváltozik. Vegyünk például egy termékkategória oldalt és egy általános szerződési feltételeket tartalmazó oldalt – Ön szerint melyik változik a leggyakrabban, és érdemes gyakrabban feltérképezni?

ne felejtsük el: maga a rendszer feltérképezési kapacitása

míg a keresőmotor-feltérképező rendszerek hatalmas feltérképezési kapacitással rendelkeznek, a nap végén korlátozott. Tehát egy olyan helyzetben, amikor a Google adatközpontjainak 80% – A egyidejűleg offline állapotba kerül, a feltérképezési kapacitásuk jelentősen csökken, viszont az összes webhely feltérképezési költségvetése.

Hatalmas köszönet Dawn Andersonnak (új lapon nyílik meg), hogy részleteket adott nekünk a feltérképezési korlátról, a feltérképezési igényről és a feltérképezési kapacitásról!

miért érdekel a feltérképezési költségvetés?

azt szeretné, hogy a keresőmotorok a lehető legtöbb indexelhető oldalt megtalálják és megértsék, és azt szeretné, hogy ezt a lehető leggyorsabban megtegyék. Amikor új oldalakat ad hozzá és frissíti a meglévőket, azt szeretné, ha a keresőmotorok a lehető leghamarabb felvennék ezeket. Minél hamarabb indexelték az oldalakat, annál hamarabb profitálhat belőlük.

ha pazarolja a feltérképezési költségkeretet, a keresőmotorok nem tudják hatékonyan feltérképezni webhelyét. Időt töltenek a webhely olyan részein, amelyek nem számítanak, ami azt eredményezheti, hogy a webhely fontos részei felfedezetlenek maradnak. Ha nem tudnak az oldalakról, akkor nem fogják feltérképezni és indexelni őket, és a keresőmotorokon keresztül nem tudja a látogatókat behozni hozzájuk.

láthatja, hová vezet ez: a feltérképezési költségvetés pazarlása károsítja a SEO teljesítményét.

kérjük, vegye figyelembe, hogy a feltérképezési költségvetés általában csak akkor aggódik, ha nagy weboldala van, mondjuk 10 000 oldal vagy annál nagyobb.

mi a webhelyem feltérképezési költségvetése?

az összes keresőmotor közül a Google a legátláthatóbb a webhely feltérképezési költségkeretében.

feltérképezési költségkeret a Google Search Console-ban

ha webhelyét ellenőrizte a Google Search Console-ban, betekintést nyerhet webhelye feltérképezési költségkeretébe a Google számára.

kövesse az alábbi lépéseket:

1. jelentkezzen be a Google Search Console – ba, és válasszon egy webhelyet.
2. tovább Crawl > Crawl Stats. Itt láthatja a Google által naponta feltérképezett oldalak számát.

2016 nyarán a feltérképezési költségvetésünk így nézett ki:

itt látjuk, hogy az átlagos feltérképezési költségvetés 27 oldal / nap. Tehát elméletileg, ha ez az átlagos feltérképezési költségkeret változatlan marad, akkor havi feltérképezési költségkerete 27 oldal x 30 nap = 810 oldal.

gyors előre 2 év, és nézd meg, mi a feltérképezési költségvetés most:

átlagos átlagos feltérképezési költségkeretünk 253 oldal / nap, tehát azt mondhatjuk, hogy a feltérképezési költségkeretünk 10-szeresére nőtt 2 év múlva.

ugrás a forrásra: szervernaplók

nagyon érdekes ellenőrizni a szervernaplókat, hogy milyen gyakran találják meg a Google robotjai az Ön webhelyét. Érdekes összehasonlítani ezeket a statisztikákat a Google Search Console-ban közölt statisztikákkal. Mindig jobb, ha több forrásra támaszkodunk.

hogyan optimalizálhatja a feltérképezési költségvetést?

a feltérképezési költségkeret optimalizálása biztosítja, hogy a feltérképezési költségkeret ne pazarolódjon el. Lényegében az elvesztegetett feltérképezési költségvetés okainak rögzítése. Több ezer webhelyet figyelünk meg; ha mindegyiket ellenőrizné a feltérképezési költségvetési problémák szempontjából, gyorsan látna egy mintát: a legtöbb webhely ugyanolyan problémákkal küzd.

az elvesztegetett feltérképezési költségvetés gyakori okai, amelyekkel találkozunk:

1. elérhető URL-ek paraméterekkel: a paraméterrel rendelkező URL-ek példája https://www.example.com/toys/cars?color=black. Ebben az esetben a paramétert arra használják, hogy a látogató kiválasztását egy termékszűrőben tárolja.
2. duplikált tartalom: a nagyon hasonló vagy pontosan azonos oldalakat “duplikált Tartalomnak” nevezzük.”Példák: másolt oldalak, belső keresési eredményoldalak és címkeoldalak.
3. gyenge minőségű tartalom: nagyon kevés tartalommal rendelkező oldalak, vagy olyan oldalak, amelyek nem adnak hozzá értéket.
4. törött és átirányító linkek: a megszakadt linkek olyan linkek, amelyek már nem létező oldalakra hivatkoznak, az átirányított linkek pedig olyan URL-ekre mutató linkek, amelyek más URL-ekre irányítanak át.
5. helytelen URL-ek az XML-webhelytérképekben: a nem indexelhető oldalak és a nem oldalak, például a 3xx, 4xx és 5xx URL-ek nem szerepelhetnek az XML-webhelytérképben.
6. nagy betöltési idővel / időkorlátokkal rendelkező oldalak: azok az oldalak, amelyek betöltése hosszú időt vesz igénybe, vagy egyáltalán nem töltődnek be, negatív hatással vannak a feltérképezési költségkeretre, mivel ez annak a jele a keresőmotorok számára, hogy webhelye nem tudja kezelni a kérést, ezért módosíthatják a feltérképezési korlátot.
7. a nem indexelhető oldalak nagy száma: a webhely sok olyan oldalt tartalmaz, amelyek nem indexelhetők.
8. rossz belső linkstruktúra: ha a belső linkstruktúra nincs megfelelően beállítva, előfordulhat, hogy a keresőmotorok nem fordítanak kellő figyelmet egyes oldalakra.

hozzáférhető URL-ek

paraméterekkel a legtöbb esetben a paraméterekkel rendelkező URL-ek nem érhetők el a keresőmotorok számára, mert gyakorlatilag végtelen mennyiségű URL-t generálhatnak.Az ilyen típusú problémákról részletesen írtunk a lánctalpas csapdákról szóló cikkünkben.

a paraméterekkel rendelkező URL-eket gyakran használják az e-kereskedelmi webhelyeken a termékszűrők bevezetésekor. Jó használni őket; csak győződjön meg róla, hogy nem érhetők el a keresőmotorok számára.

hogyan lehet hozzáférhetetlenné tenni őket a keresőmotor számára?

1. használja a robotokat.TXT fájl, amely utasítja a keresőmotorokat, hogy ne érjenek el ilyen URL-eket. Ha ez valamilyen oknál fogva nem lehetséges, használja a Google Search Console és a Bing Webmestereszközök URL-paraméterkezelési beállításait, hogy utasítsa a Google-t és a Binget arra vonatkozóan, hogy mely oldalakat ne térképezze fel.
2. adja hozzá a nofollow attribútum értékét a szűrőhivatkozások linkjeihez. Felhívjuk figyelmét, hogy 2020 márciusától a Google dönthet úgy, hogy figyelmen kívül hagyja a nofollow-t. Ezért az 1. lépés még fontosabb.

duplikált tartalom

nem szeretné, hogy a keresőmotorok időt töltsenek a duplikált tartalmi oldalakon, ezért fontos, hogy megakadályozza, vagy legalábbis minimalizálja a webhely duplikált tartalmát.

hogyan csinálod ezt? Által…

1. webhely-átirányítások beállítása az összes domain változathoz (HTTP, HTTPS, non-WWW, és WWW).
2. a belső keresési találati oldalak elérhetetlenné tétele a keresőmotorok számára a robotokat használva.txt. Íme egy példa a robotokra.txt egy WordPress webhelyhez.
3. a dedikált oldalak letiltása a képekhez (például: a WordPress hírhedt képmellékleti oldalai).
4. legyen óvatos a taxonómiák, például kategóriák és címkék használatával kapcsolatban.

Nézzen meg néhány további technikai okot a duplikált tartalomhoz, és hogyan javíthatja őket.

gyenge minőségű tartalom

a nagyon kevés tartalommal rendelkező oldalak nem érdekesek a keresőmotorok számára. Tartsa őket minimálisra,vagy ha lehetséges, kerülje el őket. Az alacsony minőségű tartalom egyik példája a GYIK szakasz, amely linkeket tartalmaz a kérdések és válaszok megjelenítéséhez, ahol minden kérdés és válasz külön URL-en keresztül jelenik meg.

törött és átirányító linkek

a megszakadt linkek és az átirányítások hosszú láncai zsákutcák a keresőmotorok számára. A böngészőkhöz hasonlóan úgy tűnik, hogy a Google egy feltérképezés során legfeljebb öt láncolt átirányítást követ (később folytathatják a feltérképezést). Nem világos, hogy más keresőmotorok mennyire foglalkoznak a későbbi átirányításokkal, de erősen javasoljuk, hogy kerülje el a láncolt átirányításokat, és tartsa minimálisra az átirányítások használatát.

egyértelmű, hogy a törött linkek kijavításával és a linkek átirányításával gyorsan helyreállíthatja az elpazarolt feltérképezési költségvetést. A feltérképezési költségvetés helyreállítása mellett jelentősen javítja a látogató felhasználói élményét is. Átirányítások, és láncok átirányítások különösen, mert hosszabb oldal betöltési idő, és ezáltal fáj a felhasználói élményt.

annak érdekében, hogy könnyen megtalálja a törött linkeket és átirányítsa azokat, speciális kérdéseket szenteltünk ennek a ContentKing-en belül.

lépjen a Issues > Links oldalra, hogy megtudja, hibás hivatkozások miatt pazarolja-e a feltérképezési költségkereteket. Frissítse az egyes hivatkozásokat úgy, hogy azok indexelhető oldalra hivatkozzanak, vagy távolítsa el a hivatkozást, ha már nincs rá szükség.

helytelen URL-ek az XML-webhelytérképekben

az XML-webhelytérképekben szereplő összes URL-nek indexelhető oldalaknak kell lennie. Különösen a nagy webhelyek esetén a keresőmotorok erősen támaszkodnak az XML webhelytérképekre az összes oldal megtalálásához. Ha az XML-webhelytérképek tele vannak olyan oldalakkal, amelyek például már nem léteznek, vagy átirányítanak, akkor pazarolja a feltérképezési költségkeretet. Rendszeresen ellenőrizze az XML-webhelytérképen, hogy vannak-e nem indexelhető URL-ek, amelyek nem tartoznak oda. Ellenőrizze az ellenkezőjét is: keressen olyan oldalakat, amelyek helytelenül vannak kizárva az XML webhelytérképből. Az XML Webhelytérkép nagyszerű módja annak, hogy a keresőmotorok bölcsen költsék el a feltérképezési költségvetést.

Google Searche Console

Bing Webmestereszközök

ContentKing

az egyik legjobb gyakorlat feltérképezés-költségvetési optimalizálás, hogy szét az XML sitemaps fel kisebb sitemaps. Létrehozhat például XML webhelytérképeket a webhely minden szakaszához. Ha ezt megtette, gyorsan megállapíthatja, hogy vannak-e problémák a webhely bizonyos szakaszaiban.

tegyük fel, hogy az a szakasz XML-webhelytérképe 500 linket tartalmaz, és 480 indexelve van: akkor nagyon jól csinálod. De ha a B szakasz XML webhelytérképe 500 linket tartalmaz, és csak 120 indexelve van, akkor ezt meg kell vizsgálni. Lehet, hogy sok nem indexelhető URL-t tartalmazott a B szakasz XML-webhelytérképében.

nagy betöltési idővel / időtúllépéssel rendelkező oldalak

ha az oldalak betöltési ideje magas, vagy időtúllépés van, a keresőmotorok kevesebb oldalt látogathatnak meg a webhelyhez rendelt feltérképezési költségkereten belül. Ezen hátrány mellett a magas oldalbetöltési idő és időtúllépés jelentősen árt a látogató felhasználói élményének, ami alacsonyabb konverziós arányt eredményez.

két másodperc feletti oldalbetöltési idő problémát jelent. Ideális esetben az oldal egy másodperc alatt betöltődik. Rendszeresen ellenőrizze az oldal betöltési idejét olyan eszközökkel, mint a Pingdom (új lapon nyílik meg), a WebPagetest (új lapon nyílik meg) vagy a GTmetrix (új lapon nyílik meg).

Google jelentések oldal betöltési idő mindkét Google Analytics (alatt Behavior > Site Speed) Google Search Console alatt Crawl > Crawl Stats.

a Google Search Console és a Bing Webmestereszközök egyaránt jelentik az oldal időtúllépését. A Google Search Console-ban ez a következő helyen található:Crawl > Crawl Errors, a Bing Webmestereszközök alatt pedig Reports & Data > Crawl Information.

rendszeresen ellenőrizze, hogy az oldalai elég gyorsan töltődnek-e be, és azonnal tegyen lépéseket, ha nem. az oldalak gyors betöltése elengedhetetlen az online sikerhez.

a nem indexelhető oldalak nagy száma

ha webhelye nagy számú nem indexelhető oldalt tartalmaz, amelyek elérhetők a keresőmotorok számára, akkor alapvetően elfoglalja a keresőmotorokat az irreleváns oldalak szitálásával.

a következő típusokat nem indexelhető oldalaknak tekintjük:

• átirányítások (3xx)
• Nem található oldalak (4xx)
• szerverhibás oldalak (5xx)
• nem indexelhető oldalak (a robots noindex irányelvet vagy a kanonikus URL-t tartalmazó oldalak)

annak érdekében, hogy megtudja, ha van egy nagy számú nem indexelhető oldalak, nézd meg az összes oldalt, hogy a robotok találtak a honlapon, és hogyan lebontják. Ezt könnyedén megteheti a ContentKing használatával:

ebben a példában 63 137 URL található, amelyek közül csak 20 528 oldal.

és ezekből az oldalakból csak 4663 indexelhető a keresőmotorok számára. A ContentKing által talált URL-eknek csak 7,4% – át indexelhetik a keresőmotorok. Ez nem jó arány, ezen a weboldalon pedig mindenképpen dolgoznia kell azzal, hogy megtisztítja az összes felesleges hivatkozást rájuk, beleértve:

• az XML Oldaltérkép (lásd az előző részt)
• linkek
• kanonikus URL-ek
• Hreflang hivatkozások
• oldalszámozás hivatkozások (link rel előző / következő)

Bad internal link structure

hogyan oldalak a honlapon belül linket egy másik nagy szerepet játszik a feltérképezés költségvetési optimalizálás. Ezt nevezzük a webhely belső linkstruktúrájának. Backlinks félre, oldalak, amelyek kevés belső linkek kap sokkal kevesebb figyelmet a keresőmotorok, mint oldalak, amelyek kapcsolódnak a sok oldalt.

kerülje a nagyon hierarchikus linkstruktúrát, amelynek közepén az oldalak kevés hivatkozással rendelkeznek. Sok esetben ezek az oldalak nem lesznek gyakran feltérképezve. Még rosszabb a hierarchia alján lévő oldalak esetében: korlátozott mennyiségű linkjük miatt a keresőmotorok nagyon elhanyagolhatják őket.

győződjön meg arról, hogy a legfontosabb oldalakon rengeteg belső link található. A közelmúltban feltérképezett oldalak általában jobban rangsorolnak a keresőmotorokban. Tartsa ezt szem előtt, és állítsa be a belső kapcsolat szerkezetét ehhez.

például, ha van egy 2011-es blogcikk, amely sok organikus forgalmat hajt végre, győződjön meg róla, hogy továbbra is más tartalmakból kapcsolódik hozzá. Mivel az évek során sok más blogcikket készített, a 2011-es cikk automatikusan lefelé tolódik a webhely belső linkstruktúrájában.

hogyan növelheti webhelye feltérképezési költségvetését?

az Eric Enge és a Google webspam csapatának korábbi vezetője, Matt Cutts közötti interjú során (új lapon nyílik meg) felmerült a hatóság és a feltérképezési költségvetés közötti kapcsolat:

annak ellenére, hogy a Google felhagyott az oldalak pagerank-értékeinek nyilvános frissítésével, úgy gondoljuk, hogy a PageRank egy formáját továbbra is használják algoritmusaikban. Mivel a PageRank egy félreértett és zavaros kifejezés, nevezzük page authority-nek. Az elvitel itt az, hogy Matt Cutts alapvetően azt mondja: elég erős kapcsolat van az oldalhatóság és a feltérképezési költségvetés között.

tehát a webhely feltérképezési költségkeretének növelése érdekében növelnie kell webhelye jogosultságát. Ennek nagy része úgy történik, hogy több linket keres külső webhelyekről. További információ erről a linképítési útmutatónkban található.

Gyakran Ismételt Kérdések a feltérképezési költségkerettel kapcsolatban

1. 🧾 mi a feltérképezési költségvetés?
2. ons hogyan növelhetem a feltérképezési költségkeretet?
3. részletek Mi korlátozhatja a feltérképezési költségkeretet?
4. kell-e egyáltalán kanonikus URL-t és metarobotot használnom?

1. Mi az a feltérképezési költségkeret?

a feltérképezési költségkeret azon oldalak száma, amelyeket a keresőmotorok egy adott időn belül feltérképeznek egy webhelyen.

2. 6. Hogyan növelhetem a feltérképezési költségkeretet?

a Google jelezte, hogy szoros kapcsolat van az oldal jogosultsága és a feltérképezési költségkeret között. Minél több jogosultsággal rendelkezik egy oldal, annál több feltérképezési költségkerettel rendelkezik. Egyszerűen fogalmazva: a feltérképezési költségvetés növelése érdekében építse fel az oldal tekintélyét.

3. 6. mi korlátozhatja a feltérképezési költségkeretet?

a feltérképezési korlát, más néven feltérképezési hosztterhelés, számos tényezőn alapul, például a webhely állapotán és a tárhely képességein. A keresőmotor bejárói úgy vannak beállítva, hogy megakadályozzák a webszerver túlterhelését. Ha webhelye kiszolgálói hibákat ad vissza, vagy ha a kért URL-ek gyakran időtúllépnek, a feltérképezési költségkeret korlátozottabb lesz. Hasonlóképpen, ha webhelye megosztott tárhelyplatformon fut, a feltérképezési korlát magasabb lesz, mivel meg kell osztania a feltérképezési költségkeretet a tárhelyen futó más webhelyekkel.

4. Kell-e egyáltalán kanonikus URL-t és metarobotot használnom?

Igen, és fontos megérteni az indexelési problémák és a feltérképezési problémák közötti különbségeket.

a kanonikus URL és a meta robots címkék egyértelműen jelzik a keresőmotoroknak, hogy melyik oldalt jelenítsék meg az indexükben, de ez nem akadályozza meg őket abban, hogy feltérképezzék a többi oldalt.

használhatja a robotokat.txt fájl és a nofollow link kapcsolat a feltérképezési problémák kezelésére.