크롤링 예산 설명

크롤링 예산이란 무엇입니까?

크롤링 예산은 검색 엔진이 특정 기간 내에 웹 사이트에서 크롤링하는 페이지 수입니다.

검색 엔진이 웹 사이트에 크롤링 예산을 할당하는 이유는 무엇입니까?

그들은 무한한 자원을 가지고 있지 않기 때문에,그들은 웹 사이트의 수백만에 걸쳐 자신의 관심을 분할. 그래서 그들은 크롤링 노력의 우선 순위를 정할 방법이 필요합니다. 각 웹 사이트에 크롤링 예산을 할당하면 이 작업을 수행하는 데 도움이 됩니다.

웹 사이트에 크롤링 예산을 어떻게 할당합니까?

크롤링 제한 및 크롤링 수요의 두 가지 요소를 기반으로 합니다:

1. 크롤링 제한/호스트 로드:웹 사이트에서 처리할 수 있는 크롤링의 양과 소유자의 기본 설정은 무엇입니까?
2. 크롤링 요청/크롤링 예약:인기도 및 업데이트 빈도에 따라 크롤링할 가치가 가장 높은 웹 사이트입니다.

크롤링 예산은 검색 엔진 최적화 내에서 일반적인 용어입니다. 크롤링 예산은 크롤링 공간 또는 크롤링 시간이라고도 합니다.

크롤링 예산은 페이지에 불과합니까?

그것은 우리가 페이지에 대해 얘기하고 용이성을 위해,실제로는 아니지만,실제로는 검색 엔진이 크롤링 모든 문서에 관하여이다. 다른 문서의 예:자바 스크립트 파일,모바일 페이지 변형 파일,hreflang변형 파일.

크롤링 제한/호스트 로드는 실제로 어떻게 작동합니까?

크롤링 제한 또는 호스트 로드는 크롤링 예산에서 중요한 부분입니다. 검색 엔진 크롤러는 요청이있는 웹 서버에 과부하가 걸리지 않도록 설계되었으므로 이에 대해주의해야합니다.검색 엔진이 웹 사이트의 크롤링 제한을 결정하는 방법? 크롤링 제한에 영향을 주는 다양한 요인이 있습니다. 몇 가지 이름을:

• 나쁜 모양의 플랫폼 징후:얼마나 자주 요청 된 시간 초과 또는 반환 서버 오류.
• 호스트에서 실행되는 웹 사이트의 양:웹 사이트가 수백 개의 다른 웹 사이트가있는 공유 호스팅 플랫폼에서 실행되고 있고 상당히 큰 웹 사이트가있는 경우 웹 사이트의 크롤링 제한은 호스트 수준에서 결정되므로 매우 제한됩니다. 호스트의 크롤링 제한을 실행 중인 다른 모든 사이트와 공유해야 합니다. 이 경우 당신은 가장 가능성이 또한 대규모 방문자에 대한로드 시간을 줄일 전용 서버의 더 나은 방법이 될 것입니다.

고려해야 할 또 다른 사항은 동일한 호스트에서 실행되는 별도의 모바일 및 데스크톱 사이트를 갖는 것입니다. 그들은 너무 공유 크롤링 제한이 있습니다. 이렇게 마음안에 이것을 지키십시요.

크롤링 수요/크롤링 스케줄링은 실제로 어떻게 작동합니까?

크롤링 요청 또는 크롤링 스케줄링은 다시 크롤링의 가치를 결정하는 것입니다. 다시 말하지만,많은 요인들이 크롤링 수요에 영향을 미칩니다:

• 인기도:인바운드 내부 링크 및 인바운드 외부 링크 수뿐만 아니라 검색어의 순위도 지정합니다.
• 업데이트 빈도
• 페이지 유형:페이지 유형이 변경될 수 있습니다. 예를 들어 제품 카테고리 페이지 및 이용 약관 페이지-어느 것이 가장 자주 변경되며 더 자주 크롤링 할 가치가 있다고 생각하십니까?

(즉,의미 있는 변화)를 찾을 더 중요 한 아무것도 때 귀하의 사이트에 다시와 서 구글의 크롤러를 강제 하는 것은 좋은 전략 그리고 그들은 실제로 변경 하는 이러한 페이지의 주파수 가치를 추가 여부를 밖으로 작업에 꽤 똑똑. 내가 줄 수있는 최선의 조언은 페이지를 더 중요하게 만드는 데 집중하는 것입니다(더 유용한 정보를 추가하고 페이지를 풍부한 콘텐츠로 만듭니다(주제의 초점이 유지되는 한 기본적으로 더 많은 쿼리를 자연스럽게 트리거합니다). 자연스럽게’리콜'(노출)의 일환으로 더 많은 쿼리를 트리거하여 당신은 당신의 페이지가 더 중요하고 보라 보라:당신은 가능성이 더 자주 크롤링 얻을 것이다.

새벽 앤더슨,버티(새 탭에서 열립니다)

잊지 마세요:시스템 자체의 크롤링 용량

검색 엔진 크롤링 시스템에는 대규모 크롤링 용량이 있지만 결국에는 제한됩니다. 그래서 구글의 데이터 센터의 80%가 동시에 오프라인 시나리오에서,자신의 크롤링 용량은 대규모 차례로 모든 웹 사이트’크롤링 예산을 감소시킨다.

크롤링 제한,크롤링 수요 및 크롤링 용량에 대한 세부 정보를 제공하는 새벽 앤더슨(새 탭에서 열림)에 대한 엄청난 감사!

왜 크롤링 예산에 관심을 가져야합니까?

검색 엔진이 색인 가능한 페이지를 최대한 많이 찾고 이해하기를 원하며 가능한 한 빨리 검색하기를 원합니다. 너가 새로운 페이지를 추가하고 기존하는 그들을 새롭게 할 때,너는 수색 엔진을 이들을 가능한 빨리 줍 원한다. 빨리 그들이 페이지를 색인을 붙였으면,빨리 너는 그들에게서 혜탁받을 수 있는다.

크롤링 예산을 낭비하는 경우 검색 엔진이 웹 사이트를 효율적으로 크롤링 할 수 없습니다. 그들은 알려지지 않은 왼쪽 되 고 귀하의 웹사이트의 중요 한 부분에 발생할 수 있습니다 중요 하지 않습니다 귀하의 사이트의 부분에 시간을 보낼 거 야. 그들이 페이지에 관하여 모르는 경우에,그(것)들을 포복하고 색인을 붙이지 않으며,당신은 그(것)들 수색 엔진을 통해서 방문자를 안으로 가져올 수 없을 것이다.

이 선도하는 위치를 볼 수 있습니다:낭비 크롤링 예산은 검색 엔진 최적화 성능을 아파요.

크롤링 예산은 일반적으로 당신이 큰 웹 사이트를 가지고 있다면,의 최대 10,000 페이지를 가정 해 봅시다 걱정 만 뭔가 유의하시기 바랍니다.

크롤링 예산의 과소 평가 측면 중 하나는로드 속도입니다. 빠른 로딩 웹 사이트는 구글이 같은 시간에 더 많은 사이트를 크롤링 할 수 있음을 의미합니다. 최근에 나는 곳에 짐 속도가 중요한 초점 이던 위치 향상에 관련시켰다. 새 사이트는 이전 사이트보다 두 배 빠르게 로드되었습니다. 이 라이브 푸시되었을 때,구글은 하루에 크롤링 링크의 수는 600,000 에 150,000 에서 올라 갔다-그리고 거기에 머물렀다. 이 크기 및 범위의 사이트에 대 한 개선 된 크롤링 속도 의미 새로운 및 변경 된 콘텐츠를 훨씬 더 빨리 크롤링입니다.,그리고 우리는 우리의 검색 엔진 최적화 노력에 훨씬 더 빨리 영향을 참조.

배리 아담스,독립 검색 엔진 최적화 컨설턴트,논쟁 디지털(새 탭에서 열립니다)

“당신은 구글 봇이 먹는 것입니다.”. 귀하의 순위 및 검색 가시성은 직접 구글이 귀하의 사이트에 크롤링뿐만 아니라 관련이 있지만,자주,얼마나 자주 그들은 그것을 크롤링합니다. 만약 구글이 사이트의 콘텐츠를 놓치거나,제한된/최적화되지 않은 크롤링 예산으로 인해 중요한 사이트를 자주 크롤링하지 않는다면,당신은 정말로 순위를 매기는 데 어려움을 겪을 것입니다. 대규모 사이트의 경우 크롤링 예산을 최적화하면 이전에 보이지 않는 페이지의 프로필이 크게 증가 할 수 있습니다. 작은 사이트는 크롤링 예산,최적화(속도,우선 순위 지정,링크 구조,중복 제거 등)의 동일한 원칙에 대해 덜 걱정할 필요가 있습니다.)여전히 순위를하는 데 도움이 될 수 있습니다.

링크드 인(새 탭에서 열립니다)사이러스 셰퍼드,지피(새 탭에서 열립니다)

나는 주로 구글에 동의하고 대부분의 경우 많은 웹 사이트는 크롤링 예산에 대해 걱정할 필요가 없습니다. 그러나 크기가 큰 웹 사이트 및 특히 게시자와 같이 자주 업데이트되는 웹 사이트의 경우 최적화가 큰 차이를 만들 수 있습니다.

폴 샤피로,글로벌 디렉터,기술 검색 엔진 최적화,콘 스트(새 탭에서 열립니다)

내 웹 사이트의 크롤링 예산은 얼마입니까?

모든 검색 엔진 중,구글은 당신의 웹 사이트에 대한 자신의 크롤링 예산에 대한 가장 투명하다.

구글 검색 콘솔에서 크롤링 예산

구글 검색 콘솔에서 웹 사이트를 확인한 경우,당신은 구글에 대한 웹 사이트의 크롤링 예산에 대한 몇 가지 통찰력을 얻을 수 있습니다.

다음 단계를 따르십시오:

1. 구글 검색 콘솔에 로그인 하 고 웹사이트를 선택 합니다.
2. 로 이동Crawl > Crawl Stats. 거기 당신은 구글이 하루에 크롤링 페이지의 수를 볼 수 있습니다.

2016 년 여름 크롤링 예산은 다음과 같습니다:

우리는 평균 크롤링 예산이 27 페이지/일 것을 여기에서 참조하십시오. 따라서 이론적으로 이 평균 크롤링 예산이 동일하게 유지되면 월별 크롤링 예산은 27 페이지,30 일=810 페이지입니다.

빨리 감기 2 년,우리의 크롤링 예산이 지금 무엇인지 봐:

평균 평균 크롤링 예산은 하루 253 페이지이므로 크롤링 예산이 2 년 만에 10 배 증가했다고 말할 수 있습니다.

소스로 이동:서버 로그

그것은 구글의 크롤러가 당신의 웹 사이트를 치는 빈도를 확인하기 위해 서버 로그를 확인하는 것은 매우 흥미 롭다. 그것은 구글 검색 콘솔에보고되는 것과 이러한 통계를 비교하는 것이 흥미 롭다. 항상 여러 소스에 의존하는 것이 좋습니다.

크롤링 예산을 어떻게 최적화합니까?

크롤링 예산을 최적화하면 크롤링 예산이 낭비되지 않습니다. 기본적으로,낭비 크롤링 예산에 대한 이유를 고정. 우리는 웹 사이트의 수천을 모니터링;당신은 크롤링 예산 문제에 대한 그들 각각을 확인한다면,당신은 신속하게 패턴을 볼 것:대부분의 웹 사이트는 문제의 같은 종류의 고통.

발생하는 크롤링 예산 낭비의 일반적인 이유:

1. 매개 변수가 있는 액세스 가능한 주소:매개 변수가 있는 주소 예제는https://www.example.com/toys/cars?color=black입니다. 이 경우 매개 변수는 방문자의 선택 항목을 제품 필터에 저장하는 데 사용됩니다.
2. 중복 콘텐츠:매우 유사하거나 정확히 동일한 페이지를”중복 콘텐츠”라고 부릅니다.”예는 다음과 같습니다: 복사된 페이지,내부 검색 결과 페이지 및 태그 페이지입니다.
3. 품질이 낮은 콘텐츠:콘텐츠가 매우 적은 페이지 또는 값을 추가하지 않는 페이지입니다.
4. 끊어진 링크 및 리디렉션:끊어진 링크는 더 이상 존재하지 않는 페이지를 참조하는 링크이며 리디렉션된 링크는 다른 링크로 리디렉션되는 링크입니다.
5. 사이트맵에 잘못된 링크 포함:인덱싱할 수 없는 페이지와 비페이지(예:사이트맵)는 사이트맵에 포함되어서는 안 됩니다.
6. 로드 시간/제한 시간이 많은 페이지: 로드하는 데 시간이 오래 걸리거나 전혀 로드되지 않는 페이지는 검색 엔진에 웹 사이트에서 요청을 처리할 수 없다는 표시이므로 크롤링 제한을 조정할 수 있으므로 크롤링 예산에 부정적인 영향을 미칩니다.
7. 인덱싱 할 수없는 페이지 수가 많음:웹 사이트에 인덱싱 할 수없는 페이지가 많이 포함되어 있습니다.
8. 잘못된 내부 링크 구조:내부 링크 구조가 올바르게 설정되지 않으면 검색 엔진이 일부 페이지에 충분한 관심을 기울이지 않을 수 있습니다.

나는 종종 구글이 당신의 상사와 같다고 말했다. 너가 말하기 위하여 가고 있던 것을 너가 있있으면 않는한 너는 너의 두목에 회의로,너의 일의 하이라이트,너의 회의의 목표 가지 않을텐데. 요컨대,당신은 의제를해야합니다. 당신이 구글의”사무실”에 걸을 때,당신은 같은 일이 필요합니다. 많은 사이트 계층 구조,유용한 사이트 맵 및 빠른 응답 시간이없는 명확한 사이트 계층 구조는 모두 구글이 중요한 것을 얻는 데 도움이 될 것입니다. 검색 엔진 최적화의 자주 오해 요소를 간과하지 마십시오.

제니 할라,검색 마케팅 컨설턴트,제일엘에이치 마케팅(새 탭에서 열림)

나에게 크롤링 예산의 개념은 기술 검색 엔진 최적화의 핵심 포인트 중 하나입니다. 크롤링 예산에 맞게 최적화하면 내부 연결,오류 수정,페이지 속도,사이트 최적화,품질이 낮은 콘텐츠 등 모든 것이 적용됩니다. 사람들은 특정 웹 사이트,하위 도메인,디렉토리 등에 대한 크롤링 예산을 모니터링하기 위해 로그 파일을 더 자주 파헤쳐 야합니다. 크롤링 빈도 모니터링은 크롤링 예산과 매우 관련이 있으며 매우 강력합니다.

2015 년 11 월 1 일,2015 년 12 월 1 일,2015 년 12 월 1 일,2015 년 12 월 1 일,2015 년 12 월 1 일,2015 년 12 월 1a)

대부분의 경우 검색 엔진에서 매개 변수를 사용할 수 없습니다.크롤러 트랩에 대한 기사에서 이러한 유형의 문제에 대해 광범위하게 작성했습니다.

전자상거래 사이트에서 제품 필터를 구현할 때 매개 변수가 있는 주소가 일반적으로 사용됩니다. 그(것)들을 사용하는 것이 좋습니다;다만 그들이 수색 엔진에 접근 가능하지 않다는 것을 확인하십시오.

어떻게 검색 엔진에 액세스 할 수 없게 만들 수 있습니까?

1. 로봇을 사용하십시오.검색 엔진에 액세스하지 않도록 지시하는 파일입니다. 이 설정을 사용하지 않으면 검색 콘솔과 빙 웹마스터 도구의 매개 변수 처리 설정을 사용하여 크롤링하지 않는 페이지에 대해 구글과 빙을 지시합니다.
2. 필터 링크의 링크에 따르지 않음 속성 값을 추가합니다. 2020 년 3 월 현재 구글은 따르지 않음을 무시하도록 선택할 수 있습니다. 따라서 1 단계는 더욱 중요합니다.

중복 콘텐츠

검색 엔진 중복 콘텐츠 페이지에 그들의 시간을 보내고 싶지 않아,그래서 방지,또는 아주 최소한 최소화,귀하의 사이트에 중복 콘텐츠를 중요 하다.4125>

어떻게 해야 하나요? 에 의해…

1. 모든 도메인 변형에 대한 웹 사이트 리디렉션 설정(HTTP, HTTPS, non-WWW, 그리고WWW).
2. 로봇을 사용하여 검색 엔진에 내부 검색 결과 페이지에 액세스 할 수 없게 만듭니다.티에스트 여기 로봇 예가 있습니다.워드 프레스 웹 사이트에 대한
3. 이미지 전용 페이지 비활성화(예:워드 프레스의 악명 높은 이미지 첨부 페이지).
4. 카테고리 및 태그와 같은 분류 체계 사용에 주의하십시오.

중복 콘텐츠에 대한 기술적 인 이유와 수정 방법을 확인하십시오.

저품질 콘텐츠

콘텐츠가 매우 적은 페이지는 검색 엔진에 흥미롭지 않습니다. 최소한으로 유지하거나 가능한 경우 완전히 피하십시오. 저품질 콘텐츠의 한 예로 질문과 답변을 표시하는 링크가 있는 자주 묻는 질문 섹션이 있습니다.

끊어진 링크 및 리디렉션

끊어진 링크와 긴 리디렉션 체인은 검색 엔진의 막 다른 골목입니다. 브라우저와 마찬가지로,구글은 하나의 크롤링(그들은 나중에 크롤링을 재개 할 수 있습니다)에 다섯 체인 리디렉션의 최대를 따르는 것 같다. 다른 검색 엔진이 후속 리디렉션을 얼마나 잘 처리하는지는 분명하지 않지만 체인 리디렉션을 완전히 피하고 리디렉션의 사용을 최소한으로 유지하는 것이 좋습니다.

깨진 링크를 수정하고 링크를 리디렉션하면 낭비되는 크롤링 예산을 신속하게 복구 할 수 있습니다. 크롤링 예산을 복구하는 것 외에도 방문자의 사용자 경험을 크게 개선하고 있습니다. 특히 리디렉션 및 리디렉션 체인은 페이지로드 시간을 길게하여 사용자 경험을 손상시킵니다.

끊어진 링크를 쉽게 찾고 리디렉션하기 위해 콘텐츠 내에서 특별한 문제를 해결했습니다.

Issues>Links로 이동하여 잘못된 링크로 인해 크롤링 예산을 낭비하고 있는지 확인합니다. 인덱싱 가능한 페이지로 연결되도록 각 링크를 업데이트하거나 더 이상 필요하지 않은 경우 링크를 제거합니다.

사이트 맵의 링크 끊김 및 리디렉션

사이트 맵의 링크 끊김 및 리디렉션

사이트 맵의 링크 끊김 및 리디렉션

사이트 맵의 링크 끊김 및 리디렉션

특히 대형 웹 사이트의 경우 검색 엔진은 모든 페이지를 찾기 위해 사이트 맵에 크게 의존합니다. 예를 들어,더 이상 존재하지 않거나 리디렉션되는 페이지가 어수선한 경우 크롤링 예산을 낭비하게 됩니다. 사이트맵에 속하지 않는 색인을 생성할 수 없는 주소가 있는지 정기적으로 확인하십시오. 그 반대의 경우도 확인하십시오. 사이트맵은 검색 엔진이 크롤링 예산을 현명하게 지출할 수 있도록 도와주는 좋은 방법입니다.

구글 검색 콘솔

빙 웹 마스터 도구

콘텐츠

크롤링 예산 최적화를 위한 가장 좋은 방법은 사이트맵을 더 작은 사이트맵으로 분할하는 것입니다. 예를 들어 각 웹 사이트 섹션에 대한 사이트 맵을 만들 수 있습니다. 너가 이것을 하면,너는 빠르게 너의 웹사이트의 어느 단면도안에 위에 가는 어떤 문제점 있으면 결정할 수 있는다.당신은 꽤 좋은 일을하고있다:

섹션에 대한 사이트 맵 500 링크를 포함하고,480 인덱싱됩니다. 그러나 섹션 2 에 대한 사이트맵에 500 개의 링크가 포함되어 있고 120 개만 인덱싱된 경우 이를 살펴볼 수 있습니다. 예를 들면 다음과 같습니다.

너의 웹사이트는 포복 예산을 낭비하고 있는가?

크롤러에 대한 나쁜 조건은 검색 엔진 최적화를 해칠 수 있습니다. 콘텐츠를 사용하여 웹 사이트에 대한 빠른 감사를 실행하십시오.

로드 시간/시간 초과가 높은 페이지

페이지 로드 시간이 많거나 시간이 초과되면 검색 엔진은 웹 사이트에 할당된 크롤링 예산 내에서 더 적은 페이지를 방문할 수 있습니다. 그 단점 외에도 높은 페이지로드 시간과 시간 초과로 인해 방문자의 사용자 경험이 크게 손상되어 전환율이 낮아집니다.

2 초 이상의 페이지 로드 시간이 문제입니다. 이상적으로,당신의 페이지는 1 초 이하 안으로 적재할 것이다. 페이지 로드 시간을 핑덤(새 탭에서 열림),웹 페이지 테스트(새 탭에서 열림)또는 지티메트릭스(새 탭에서 열림)와 같은 도구로 정기적으로 확인하십시오.

모두 구글 웹 로그 분석에 페이지로드 시간에 구글 보고서(아래Behavior > Site Speed) 그리고 구글 검색 콘솔에서Crawl > Crawl Stats.

구글 검색 콘솔과 빙 웹 마스터 도구 모두 페이지 시간 제한에 대한 보고서. 구글 검색 콘솔에서,이 아래에서 찾을 수 있습니다Crawl > Crawl Errors, 그리고 빙 웹 마스터 도구,그것은 아래에Reports & Data > Crawl Information.

페이지가 충분히 빨리로드되고 있는지 정기적으로 확인하고 그렇지 않은 경우 즉시 조치를 취하십시오.빠른 로딩 페이지는 온라인 성공에 매우 중요합니다.

유용한 리소스

비 색인 페이지의 높은 숫자

귀하의 웹 사이트에 검색 엔진에 액세스 할 수있는 비 색인 페이지의 높은 숫자를 포함하는 경우,당신은 기본적으로 관련이없는 페이지를 선별 바쁜 검색 엔진을 유지하고 있습니다.

다음 유형을 인덱싱 할 수없는 페이지로 간주합니다:

• 리디렉션(3xx)
• 페이지를 찾을 수 없는(4xx)
• 페이지에 서버에 오류가(5xx)
• 페이지 인서(페이지에 포함된 로봇 색인 지침 또는 정규 URL)

을 찾기 위해 경우에 당신은 높은 수의 색인을 생성할 수 없는 페이지 보 페이지의 총 수 있는 크롤러에 있는 발견에서 당신의 웹사이트와 어떻게 그들이다. 콘텐츠를 사용하여 쉽게 수행 할 수 있습니다:

이 예제에서는 63,137 개의 페이지가 있으며 이 중 20,528 개의 페이지만 있습니다.

페이지 인덱스 가능성 분류 이 페이지 중에서 검색 엔진에서는 4,663 개만 인덱싱 가능합니다. 검색 엔진에 의해 색인이 생성 될 수 있습니다. 즉,좋은 비율이 아니다,이 웹 사이트는 확실히 불필요한 그들에 대한 모든 참조를 정리하여 그 작업을 할 필요가,…을 포함하여:

• 웹 사이트 맵(이전 섹션 참조)
• 페이지 매김 참조(이전/다음 링크 참조)

잘못된 내부 링크 구조

웹 사이트 내의 페이지가 서로 연결되는 방식은 크롤링 예산 최적화에 큰 역할을합니다. 우리는 이것을 당신의 웹사이트의 내부 연결 구조이라고 칭한다. 뒤로 옆으로,몇 가지 내부 링크를가지고 페이지 많은 페이지에 의해 연결 된 페이지 보다 검색 엔진에서 훨씬 덜 관심을 얻을.

중간에 링크가 거의없는 매우 계층 적 링크 구조를 피하십시오. 대부분의 경우 이러한 페이지는 자주 크롤링되지 않습니다. 그것은 계층구조의 바닥에 페이지를 위해 더 나쁘다 조차:연결의 그들의 한정되는 총계때문에,수색 엔진에의해 아주 잘 무시될지도 모른다.

가장 중요한 페이지에 내부 링크가 많이 있는지 확인하십시오. 최근에 포복된 페이지는 수색 엔진에서 전형적으로 잘 평가한다. 이것을 명심하고,이것을 위해 너의 내부 연결 구조를 조정하십시요.

예를 들어 2011 년부터 많은 유기적 트래픽을 유도하는 블로그 기사가 있는 경우 다른 콘텐츠에서 계속 링크해야 합니다. 당신이 수년에 걸쳐 많은 다른 블로그 기사를 생산했기 때문에,2011 에서 그 기사는 자동으로 웹 사이트의 내부 링크 구조에 아래로 추진되고있다.

당신은 일반적으로 중요한 페이지의 크롤링 속도에 대해 걱정할 필요가 없습니다. 그것은 일반적으로 새로운 페이지,링크 하지 않았다,그리고 사람들이 하지 않을 수 있습니다 자주 크롤링할 수 있습니다.

링크드 인(새 탭에서 열립니다)패트릭 스톡스,롤리 기반 기술 검색 엔진 최적화(새 탭에서 열립니다)

너는 어떻게 너의 웹사이트 포복 예산을 증가하는가?

에릭 엔지와 구글의 웹스팸 팀장 맷 커츠와의 인터뷰(새 탭에서 열림)에서 권위와 크롤링 예산의 관계가 제기되었다:

그것에 대하여 생각하는 제일 방법은 우리가 포복하는 페이지의 수가 당신의 페이지 랭크에 대략 비례하다 이다. 당신이 당신의 루트 페이지에 들어오는 링크를 많이 가지고 있다면,우리는 확실히 그 크롤링합니다. 그런 다음 루트 페이지가 다른 페이지로 링크 될 수 있으며 페이지 랭크를 얻고 그 페이지들도 크롤링합니다. 그러나 귀하의 사이트에 깊고 깊은 얻을,,페이지 랭크 감소 하는 경향이 있다.

매트 커츠

구글은 공개적으로 페이지의 페이지 랭크 값을 업데이트 포기하더라도,우리는(의 형태)페이지 랭크는 여전히 알고리즘에 사용되는 생각합니다. 페이지 랭크는 오해와 혼란 용어이기 때문에,의는 페이지 권한을 호출 할 수 있습니다. 여기 테이크 어웨이 매트 컷츠는 기본적으로 말한다 것입니다:페이지 권한 및 크롤링 예산 사이에 꽤 강한 관계가있다.

따라서 웹 사이트의 크롤링 예산을 늘리려면 웹 사이트의 권한을 늘려야합니다. 이것의 큰 부분은 외부 웹 사이트에서 더 많은 링크를 적립하여 수행됩니다. 이에 대한 자세한 내용은 우리의 링크 건물 가이드에서 찾을 수 있습니다.

업계가 크롤링 예산에 대해 이야기하는 것을 들었을 때 일반적으로 시간이 지남에 따라 크롤링 예산을 늘리기 위해 만들 수있는 페이지 및 기술 변경 사항에 대해 이야기합니다. 그러나,링크 건물 배경에서 오는,우리는 구글 검색 콘솔에서 볼 크롤링 페이지에서 가장 큰 스파이크는 직접 우리가 우리의 고객을위한 큰 링크를 이길 때와 관련이있다.

링크드 인(새 탭에서 열립니다)로스 타벤 데일,미디어를 입력(새 탭에서 열립니다)

크롤링 예산에 대해 자주 묻는 질문

1. 🧾 크롤링 예산이란 무엇입니까?
2. 크롤링 예산을 늘리려면 어떻게 해야 합니까?
3. 내 크롤링 예산을 제한 할 수있는 것은 무엇입니까?메타 로봇과 메타 로봇을 모두 사용해야합니까?

1. 크롤링 예산이란 무엇입니까?

크롤링 예산은 검색 엔진이 특정 기간 내에 웹 사이트에서 크롤링하는 페이지 수입니다.

2. 크롤링 예산을 늘리려면 어떻게 해야 합니까?

구글은 페이지 권한과 크롤링 예산 사이에 강력한 관계가 있다고 지적했다. 페이지가 더 많은 권한을 가질수록 크롤링 예산이 늘어납니다. 간단히 말해서,크롤링 예산을 늘리려면 페이지의 권한을 구축하십시오.

3. 내 크롤링 예산을 제한 할 수있는 것은 무엇입니까?

크롤링 제한(크롤링 호스트 로드라고도 함)은 웹 사이트의 상태 및 호스팅 기능과 같은 여러 요소를 기반으로 합니다. 검색 엔진 크롤러는 웹 서버에 과부하가 걸리지 않도록 설정됩니다. 웹 사이트에서 서버 오류를 반환하거나 요청된 웹 사이트의 시간 초과가 자주 발생하는 경우 크롤링 예산이 더 제한됩니다. 마찬가지로 웹 사이트가 공유 호스팅 플랫폼에서 실행되는 경우 크롤링 예산을 호스팅에서 실행되는 다른 웹 사이트와 공유해야하므로 크롤링 제한이 더 높아집니다.

4. 메타 로봇과 메타 로봇을 모두 사용해야합니까?

예,인덱싱 문제와 크롤링 문제의 차이점을 이해하는 것이 중요합니다.

표준 웹 사이트와 메타 로봇 태그는 색인에 어떤 페이지를 표시해야하는지 검색 엔진에 명확한 신호를 보내지 만 다른 페이지를 크롤링하는 것을 막지는 않습니다.

로봇을 사용할 수 있습니다.파일 및 크롤링 문제를 처리하기위한 비 팔로우 링크 관계.