orçamento de rastreamento explicado

o que é orçamento de rastreamento?

o orçamento de rastreamento é o número de páginas que os mecanismos de pesquisa rastrearão em um site dentro de um determinado período de tempo.

por que os mecanismos de pesquisa atribuem orçamento de rastreamento a sites?

porque eles não têm recursos ilimitados e dividem sua atenção em milhões de sites. Portanto, eles precisam de uma maneira de priorizar seu esforço de rastreamento. Atribuir orçamento de rastreamento a cada site os ajuda a fazer isso.

como eles atribuem o orçamento de rastreamento a sites?

isso é baseado em dois fatores, limite de rastreamento e demanda de rastreamento:

1. limite de rastreamento / carga do host: quanto rastreamento um site pode manipular e quais são as preferências de seu proprietário?
2. Crawl demand / crawl scheduling: quais URLs valem a pena (re) rastrear mais, com base em sua popularidade e na frequência com que está sendo atualizado.

o orçamento de rastreamento é um termo comum dentro do SEO. O orçamento de rastreamento às vezes também é chamado de espaço de rastreamento ou tempo de rastreamento.

o orçamento de rastreamento é apenas sobre páginas?

na verdade, não é, por uma questão de facilidade, estamos falando de páginas, mas na realidade é sobre qualquer documento que os mecanismos de pesquisa rastreiam. Alguns exemplos de outros documentos: arquivos JavaScript e CSS, variantes de página móvel, variantes hreflang e arquivos PDF.

como o limite de rastreamento / carga do host funciona na prática?

limite de rastreamento ou carga do host, se desejar, é uma parte importante do orçamento de rastreamento. Os rastreadores de mecanismos de pesquisa são projetados para evitar sobrecarregar um servidor da web com solicitações, para que tenham cuidado com isso.Como os mecanismos de pesquisa determinam o limite de rastreamento de um site? Há uma variedade de fatores que influenciam o limite de rastreamento. Para citar alguns:

• sinais de plataforma em mau estado: com que frequência os URLs solicitados demoram ou retornam erros do servidor.
• A quantidade de sites em execução no host: se o seu website está em execução em uma plataforma de hospedagem com centenas de outros sites, e você tem uma grande site o limite de rastreamento para que seu website é muito limitado como o limite de rastreamento é determinado no nível de host. Você tem que compartilhar o limite de rastreamento do host com todos os outros sites em execução nele. Nesse caso, você seria muito melhor em um servidor dedicado, o que provavelmente também diminuirá massivamente os tempos de carregamento para seus visitantes.

outra coisa a considerar é ter sites móveis e de desktop separados em execução no mesmo host. Eles também têm um limite de rastreamento compartilhado. Portanto, tenha isso em mente.

como o rastreamento de demanda / rastreamento de agendamento funciona na prática?

Crawl demand, ou crawl scheduling, trata-se de determinar o valor de re-crawling URLs. Novamente, muitos fatores influenciam a demanda de rastreamento entre os quais:

• Popularidade: quantos links internos e externos de entrada um URL tem, mas também a quantidade de consultas para as quais está classificado.
• frescor: com que frequência o URL está sendo atualizado.
• tipo de página: é o tipo de página que provavelmente mudará. Por exemplo, uma página de categoria de produto e uma página de termos e Condições – qual você acha que muda com mais frequência e merece ser rastreado com mais frequência?

não se esqueça: o rastreamento de capacidade do sistema si

Enquanto o motor de busca de rastreamento sistemas têm enorme capacidade de rastreamento, no final do dia, é limitado. Portanto, em um cenário em que 80% dos data centers do Google ficam offline ao mesmo tempo, sua capacidade de rastreamento diminui massivamente e, por sua vez, o orçamento de rastreamento de todos os sites.

agradecimentos maciços A Dawn Anderson (abre em uma nova guia) por nos fornecer detalhes sobre limite de rastreamento, demanda de rastreamento e capacidade de rastreamento!

por que você deve se preocupar com o orçamento de rastreamento?

você quer que os motores de busca para encontrar e entender o maior número possível de suas páginas indexáveis, e você quer que eles façam isso o mais rápido possível. Ao adicionar novas páginas e atualizar as existentes, você deseja que os mecanismos de pesquisa as captem o mais rápido possível. Quanto mais cedo eles indexarem as páginas, mais cedo você poderá se beneficiar delas.

se você está desperdiçando o orçamento de rastreamento, os mecanismos de pesquisa não poderão rastrear seu site com eficiência. Eles gastarão tempo em partes do seu site que não importam, o que pode resultar em partes importantes do seu site não descobertas. Se eles não sabem sobre páginas, eles não vão rastreá-los e indexá-los, e você não será capaz de trazer visitantes através de motores de busca para eles.

você pode ver para onde isso está levando: desperdiçar orçamento de rastreamento prejudica seu desempenho de SEO.

observe que o orçamento de Rastreamento Geralmente é apenas algo com que se preocupar se você tiver um site grande, digamos 10.000 páginas ou mais.

Qual é o orçamento de rastreamento para o meu site?

de todos os mecanismos de pesquisa, o Google é o mais transparente sobre o orçamento de rastreamento para o seu site.

orçamento de rastreamento no Google Search Console

se você tiver seu site verificado no Google Search Console, poderá obter algumas informações sobre o orçamento de rastreamento do seu site para o Google.

siga estes passos:

1. faça login no Google Search Console e escolha um site.
2. Ir para Crawl > Crawl Stats. Lá você pode ver o número de páginas que o Google rastreia por dia.

Durante o verão de 2016, o rastreamento orçamento parecido com essa:

aqui, vemos que a média de rastreamento orçamento é de 27 páginas / dia. Portanto, em teoria, se esse orçamento médio de rastreamento permanecer o mesmo, você terá um orçamento mensal de rastreamento de 27 páginas x 30 dias = 810 páginas.

avanço Rápido 2 anos, e olha o que o nosso rastreamento orçamento agora:

Nossa média de média de rastreamento orçamento 253 páginas / dia, então você poderia dizer que o nosso rastreamento orçamento foi até 10X de 2 anos.

vá para a fonte: logs do servidor

é muito interessante verificar os logs do servidor para ver com que frequência os rastreadores do Google estão acessando seu site. É interessante comparar essas estatísticas com as que estão sendo relatadas no Google Search Console. É sempre melhor confiar em várias fontes.

como você otimiza seu orçamento de rastreamento?

otimizar seu orçamento de rastreamento se resume a garantir que nenhum orçamento de rastreamento seja desperdiçado. Essencialmente, corrigindo as razões para o orçamento de rastreamento desperdiçado. Monitoramos milhares de sites; Se você verificar cada um deles para problemas de orçamento de rastreamento, você veria rapidamente um padrão: a maioria dos sites está sofrendo com o mesmo tipo de problemas.

razões comuns para o orçamento de rastreamento desperdiçado que encontramos:

1. URLs acessíveis com parâmetros: um exemplo de um URL com um parâmetro é https://www.example.com/toys/cars?color=black. Nesse caso, o parâmetro é usado para armazenar a seleção de um visitante em um filtro de produto.
2. conteúdo duplicado: chamamos de páginas altamente semelhantes, ou exatamente iguais, ” conteúdo duplicado.”Exemplos são: páginas copiadas, páginas de resultados de pesquisa interna e páginas de tags.
3. conteúdo de baixa qualidade: páginas com muito pouco conteúdo ou páginas que não agregam nenhum valor.
4. links quebrados e redirecionados: links quebrados são links que fazem referência a páginas que não existem mais e links redirecionados são links para URLs que estão redirecionando para outros URLs.
5. incluindo URLs incorretas em sitemaps XML: páginas não indexáveis e não Páginas como URLs 3xx, 4xx e 5xx não devem ser incluídas no seu sitemap XML.
6. páginas com alto tempo de carregamento / time-outs: páginas que demoram muito para carregar, ou não carregam, têm um impacto negativo no seu orçamento de rastreamento, porque é um sinal para os mecanismos de pesquisa de que seu site não consegue lidar com a solicitação e, portanto, eles podem ajustar seu limite de rastreamento.
7. números altos de páginas não indexáveis: o site contém muitas páginas que não são indexáveis.
8. estrutura de links internos ruim: se sua estrutura de links internos não estiver configurada corretamente, os mecanismos de pesquisa podem não prestar atenção suficiente a algumas de suas páginas.

Acessível URLs com parâmetros

Na maioria dos casos, os URLs com parâmetros não deve ser acessível para motores de busca, porque eles podem gerar uma quase infinita quantidade de URLs.Escrevemos extensivamente sobre esse tipo de problema em nosso artigo sobre armadilhas para rastreadores.URLs com parâmetros são comumente usados ao implementar filtros de produtos em sites de comércio eletrônico. Não há problema em usá-los; apenas certifique-se de que eles não estejam acessíveis aos mecanismos de pesquisa.

como você pode torná-los inacessíveis ao mecanismo de pesquisa?

1. Use seus robôs.arquivo txt para instruir os mecanismos de pesquisa a não acessar esses URLs. Se isso não for uma opção por algum motivo, use as configurações de manipulação de Parâmetros de URL no Google Search Console e nas Ferramentas de Webmaster do Bing para instruir o Google e o Bing sobre quais páginas não devem ser rastreadas.
2. adicione o valor do atributo nofollow aos links nos links de filtro. Observe que, a partir de Março de 2020, O Google pode optar por ignorar o nofollow. Portanto, o Passo 1 é ainda mais importante.

conteúdo duplicado

você não quer que o mecanismo de pesquisa gaste seu tempo em páginas de conteúdo duplicado, por isso é importante evitar, ou pelo menos minimizar, o conteúdo duplicado em seu site.

como você faz isso? Por…

1. configurar redirecionamentos de site para todas as variantes de domínio (HTTP, HTTPS, non-WWW, e WWW).
2. tornando as páginas de resultados de pesquisa internas inacessíveis aos mecanismos de pesquisa usando seus robôs.txt. Aqui está um exemplo de robôs.txt para um site WordPress.
3. desativando páginas dedicadas para imagens (por exemplo: as infames páginas de anexo de imagem no WordPress).
4. ter cuidado com o uso de taxonomias, como categorias e tags.

confira mais alguns motivos técnicos para conteúdo duplicado e como corrigi-los.

conteúdo de baixa qualidade

páginas com muito pouco conteúdo não são interessantes para os mecanismos de pesquisa. Mantenha-os ao mínimo ou evite-os completamente, se possível. Um exemplo de conteúdo de baixa qualidade é uma seção de Perguntas frequentes com links para mostrar as perguntas e respostas, onde cada pergunta e resposta é veiculada em um URL separado.

links quebrados e redirecionados

links quebrados e longas cadeias de redirecionamentos são becos sem saída para os mecanismos de pesquisa. Semelhante aos navegadores, o Google parece seguir um máximo de cinco redirecionamentos encadeados em um rastreamento (eles podem retomar o rastreamento mais tarde). Não está claro o quão bem outros mecanismos de pesquisa lidam com redirecionamentos subsequentes, mas recomendamos fortemente que você evite redirecionamentos encadeados inteiramente e mantenha o uso de redirecionamentos no mínimo.

é claro que, corrigindo links quebrados e redirecionando links, você pode recuperar rapidamente o orçamento de rastreamento desperdiçado. Além de recuperar o orçamento de rastreamento, você também está melhorando significativamente a experiência do usuário de um visitante. Redirecionamentos e cadeias de redirecionamentos, em particular, causam maior tempo de carregamento da página e, assim, prejudicam a experiência do Usuário.

para facilitar a localização de links quebrados e redirecionados, dedicamos questões especiais a isso no ContentKing.

vá para Issues > Links para descobrir se você está desperdiçando orçamentos de rastreamento por causa de links defeituosos. Atualize cada link para que ele vincule a uma página indexável ou remova o link se não for mais necessário.

URLs Incorretas no XML sitemaps

Todos os URLs incluídos em XML sitemaps deve ser para essas páginas. Especialmente com sites grandes, os mecanismos de pesquisa dependem muito de sitemaps XML para encontrar todas as suas páginas. Se seus sitemaps XML estão cheios de páginas que, por exemplo, não existem mais ou estão redirecionando, você está desperdiçando o orçamento de rastreamento. Verifique regularmente o seu sitemap XML para URLs não indexáveis que não pertencem lá. Verifique o contrário também: procure páginas que estão incorretamente excluídas do mapa do site XML. O sitemap XML é uma ótima maneira de ajudar os mecanismos de pesquisa a gastar o orçamento de rastreamento com sabedoria.

Google Searche Console

Bing Webmaster Tools

ContentKing

Uma prática recomendada para o rastreamento do orçamento de otimização é dividir o seu XML sitemaps em pequenas sitemaps. Você pode, por exemplo, criar sitemaps XML para cada uma das seções do seu site. Se você fez isso, você pode determinar rapidamente se há algum problema acontecendo em certas seções do seu site.

diga que seu sitemap XML para a seção A contém 500 links e 480 são indexados: então você está indo muito bem. Mas se o seu sitemap XML para a seção B contém 500 links e apenas 120 são indexados, isso é algo a ser analisado. Você pode ter incluído muitos URLs não indexáveis no sitemap XML para a Seção B.

páginas com altos tempos de carregamento / tempos limite

quando as páginas têm altos tempos de carregamento ou o tempo limite, os mecanismos de pesquisa podem visitar menos páginas dentro do orçamento de rastreamento alocado para o seu site. Além dessa desvantagem, os altos tempos de carregamento da página e os tempos limite prejudicam significativamente a experiência do usuário do visitante, resultando em uma taxa de conversão menor.

os tempos de carregamento da Página acima de dois segundos são um problema. Idealmente, sua página será carregada em menos de um segundo. Verifique regularmente os tempos de carregamento da página com ferramentas como Pingdom (abre em uma nova guia), WebPagetest (abre em uma nova guia) ou GTmetrix (abre em uma nova guia).

o Google informa sobre o tempo de carregamento da Página no Google Analytics (em Behavior > Site Speed) e Google Search Console em Crawl > Crawl Stats.

Google Search Console e Bing Webmaster Tools ambos relatam sobre tempos limite de página. No Google Search Console, isso pode ser encontrado em Crawl > Crawl Errors, e no Bing Webmaster Tools, está em Reports & Data > Crawl Information.

Verifique regularmente se suas páginas estão carregando rápido o suficiente e tome medidas imediatamente se não estiverem. as páginas de carregamento rápido são vitais para o seu sucesso online.

altos números de páginas não indexáveis

se o seu site contém um grande número de páginas não indexáveis acessíveis aos mecanismos de pesquisa, você basicamente mantém os mecanismos de pesquisa ocupados vasculhando páginas irrelevantes.

consideramos os seguintes tipos como Páginas não indexáveis:

• Redireciona (3xx)
• Páginas que não podem ser encontrados (4xx)
• Páginas com erros do servidor (5xx)
• Páginas que não são intercambiáveis (páginas que contêm os robots noindex directiva ou de uma URL canônica)

a fim de descobrir se você tem um elevado número de não-intercambiáveis páginas, procure o número total de páginas que rastreadores de ter encontrado dentro de seu site e como eles quebram. Você pode fazer isso facilmente usando ContentKing:

neste exemplo, há 63,137 URLs encontrados, dos quais apenas 20,528 são as páginas.

E fora destas páginas, apenas 4,663 são intercambiáveis para mecanismos de pesquisa. Apenas 7,4% dos URLs encontrados pelo ContentKing podem ser indexados pelos mecanismos de pesquisa. Essa não é uma boa razão, e este site precisa definitivamente para o trabalho de limpeza de todas as referências a eles que são desnecessários, incluindo:

• O sitemap XML (consulte a seção anterior)
• Links
• Canonical URLs
• Hreflang referências
• Paginação referências (link rel prev/next)

Ruim de link interno estrutura

Como páginas dentro do seu site o link para um outro desempenha um grande papel no rastreamento otimização do orçamento. Chamamos isso de estrutura de link interna do seu site. Backlinks à parte, páginas que têm poucos links internos recebem muito menos atenção dos mecanismos de pesquisa do que páginas vinculadas a muitas páginas.

evite uma estrutura de links muito hierárquica, com páginas no meio com poucos links. Em muitos casos, essas páginas não serão rastreadas com frequência. É ainda pior para as páginas na parte inferior da hierarquia: por causa de sua quantidade limitada de links, eles podem muito bem ser negligenciados pelos mecanismos de pesquisa.

certifique-se de que suas páginas mais importantes tenham muitos links internos. As páginas que foram rastreadas recentemente normalmente se classificam melhor nos mecanismos de pesquisa. Tenha isso em mente e ajuste sua estrutura de link interna para isso.Por exemplo, se você tem um artigo de blog datado de 2011 que gera muito tráfego orgânico, certifique-se de continuar vinculando-o a partir de outro conteúdo. Como você produziu muitos outros artigos de blog ao longo dos anos, esse artigo de 2011 está sendo automaticamente empurrado para baixo na estrutura de links internos do seu site.

como você aumenta o orçamento de rastreamento do seu site?

Durante uma entrevista (abre num novo separador) entre Eric Enge e do Google, ex-chefe da equipe de webspam Matt Cutts, a relação entre autoridade e rastrear o orçamento foi trazido até:

mesmo que o Google tenha abandonado a atualização dos valores do PageRank das páginas publicamente, achamos que (uma forma de) o PageRank ainda é usado em seus algoritmos. Como o PageRank é um termo incompreendido e confuso, vamos chamá-lo de Autoridade de página. O take-away aqui é que Matt Cutts basicamente diz: há uma relação bastante forte entre a autoridade da página e o orçamento de rastreamento.

portanto, para aumentar o orçamento de rastreamento do seu site, você precisa aumentar a autoridade do seu site. Uma grande parte disso é feita ganhando mais links de sites externos. Mais informações sobre isso podem ser encontradas em nosso guia de link building.

perguntas frequentes sobre o rastreamento orçamento

1. 🧾 o Que é rastreamento orçamento?
2. 🤔 Como faço para aumentar meu orçamento de rastreamento?
3. ️ ️ o que pode limitar meu orçamento de rastreamento?
4. Should devo usar URL canônico e meta robôs?

1. 🧾 O que é orçamento de rastreamento?

o orçamento de rastreamento é o número de páginas que os mecanismos de pesquisa rastrearão em um site dentro de um determinado período de tempo.

2. 🤔 Como faço para aumentar meu orçamento de rastreamento?

o Google indicou que há uma forte relação entre a autoridade da página e o orçamento de rastreamento. Quanto mais Autoridade uma página tiver, mais orçamento de rastreamento ela terá. Simplificando, para aumentar seu orçamento de rastreamento, Construa a autoridade da sua página.

3. 🤷 O que pode limitar meu orçamento de rastreamento?

o limite de rastreamento, também conhecido como crawl host load, é baseado em muitos fatores, como a condição do site e as habilidades de hospedagem. Os rastreadores do mecanismo de pesquisa são definidos para evitar a sobrecarga de um servidor da web. Se o seu site retornar erros de servidor ou se os URLs solicitados expirarem com frequência, o orçamento de rastreamento será mais limitado. Da mesma forma, se o seu site for executado em uma plataforma de hospedagem compartilhada, o limite de rastreamento será maior, pois você terá que compartilhar seu orçamento de rastreamento com outros sites em execução na hospedagem.

4. 🤖 Devo usar URL canônica e meta robôs?

Sim, e é importante entender as diferenças entre problemas de indexação e problemas de rastreamento.

as tags canonical URL e meta robots enviam um sinal claro para os mecanismos de pesquisa qual página eles devem mostrar em seu índice, mas isso não os impede de rastrear essas outras páginas.

você pode usar os robôs.arquivo txt e a relação de link nofollow para lidar com problemas de rastreamento.