웹 페이지 크롤링 버젯: 5가지 증명된 콘텐츠 사일로
- Technical SEO
- 2021. 7. 29.
웹 페이지 크롤링 버젯 이란?
웹 페이지 크롤링 예산은 구글 봇이 지정된 기간 내에 웹사이트에서 크롤링하고 색인을 생성하는 페이지 수를 말한다.
해당 부분을 더 자세히 알기 위해서 웹 구조: 검색엔진 최적화에 중요한 이유 3가지 및 사이트맵 만들기: 구글 웹마스터 도구 쉽게 하는 6가지 방법 을 먼저 참고하자.
웹 페이지 크롤링 버젯 중요한 이유
간단히 말하면 구글이 페이지 색인을 생성하지 않는 경우 SERP에서 나타날 수 없다.
따라서 페이지 수가 크롤링 버젯을 초과하면 사이트에 색인이 생성되지 않은 페이지가 생기게 된다.
그래서 대부분 솔루션 및 데이터 업체를 통해 프로그램화시키는 경우가 대부분이다.
하지만 걱정할 필요없다.
구글 봇은 페이지를 찾고 색인을 생성하는데 매우 빠르기 때문이다.
하지만, 크롤링 버젯에 주의를 기울여야 하는 경우는 아래와 같다.
- 큰 사이트를 운영하는 경우: 말 그대로 2만 개 이상 페이지가 있는 웹사이트 경우 구글이 찾기 어려울 수 있다.
- 많은 디렉션: 디렉션 및 리디렉션 경우가 많으면 버젯이 생길 수 있다.
위와 같은 사유로 인해 파이썬 등 활용하는 외주 업체를 사용한다.
사실 그럴 필요는 없다.
아래를 통해 크롤링 버젯을 최대화하는 몇 가지 방법에 대해서 알아보자.
웹 페이지 크롤링 버젯: 5가지 증명된 콘텐츠 사일로
1. 사이트 속도 향상
사이트 페이지 속도를 높이면 구글 봇이 사이트 URL을 더 많이 크롤링할 수 있다.
구글은 "사이트를 더 빠르게 만들면 UX뿐만 아니라 크롤링 속도 또한 증가한다"라고 말했다.
느린 로딩 페이지는 사용자 경험을 나쁘게 할 뿐만 아니라 검색엔진 최적화에도 영향을 준다.
페이지가 빠르게 로드되면 구글봇이 더 많은 페이지를 방문하기 때문에 색인을 생성할 시간이 많아진다.
더 자세한 내용은 웹 페이지 속도 개선: 5가지 증명된 사이트 로딩 방법 에서 참고할 수 있다.
2. 내부 링크 사용(인터널 링크)
Googlebot은 해당 페이지를 카리 키는 외부 및 내부 링크가 많은 페이지를 우선순위로 결정한다.
그래서 코너스톤 페이지와 같은 페이지가 SERP 순위에서 항상 좋은 것이다.
그렇기 때문에 내부 링크는 색인을 생성하려면 다른 모든 페이지로 구글 봇을 보낼 수 있다.
3. 웹사이트 구조 단순화
인기 있는 URL 및 페이지는 최신 상태로 유지하기 위해 더 자주 크롤링될 수 있다.
그래서 많은 사이트에서 웹사이트 구조를 단순화시키는 것이다.
네이버 블로그와 달리 구글은 콘텐츠 사일로를 통해 플랫 웹사이트 아키텍처를 사용할 수 있다.
모든 페이지에 동일한 권한을 주는 것이다.
4. 솔로 페이지를 피하자
솔로 페이지는 해당 페이지를 가리키는 내부 또는 외부 링크가 없는 페이지를 말한다.
구글 봇은 이런 페이지를 찾게 되면 매우 힘들어한다.
그래서, SEO 업체에 솔루션을 맡기면 이런 페이지부터 찾는 작업을 시작한다.
따라서 크롤링 버젯을 최대한 활용하려면 내부 및 외부 링크가 하나 이상 있어야 한다.
이럴때 중요한 것이 Robots.txt 이다.
더 자세한 내용은 Robots.txt: 색인을 쉽게 하는 3가지 방법 에서 만나볼 수 있다.
5. 웹 페이지 크롤링 위해 중복 콘텐츠를 피하자
중복 콘텐츠를 제한하는 이유는 매우 다양하다.
결과적으로 크롤링 버젯을 제한시킬 수 있다.
모든 검색엔진 로봇이 여러 페이지를 인덱싱하여 동일한 콘텐츠를 사용하고 싶지 않기 때문이다.
따라서 사이트 페이지의 100%가 고유한 고품질 콘텐츠로 구성하는 것이 좋다.
힘들겠지만, 최대한 검색엔진 최적화(SEO)를 위해서는 필수적이다.
인기 콘텐츠: 중복 피하는 5가지 방법 글을 참고하자.
결론
정의 및 왜 필요한지에 대해서 알아봤다.
SEO를 위해서는 필수적인 과정이다.
간단히 정리하자면 아래와 같다.
- 사이트 속도 향상
- 내부 링크 사용(인터널 링크)
- 웹사이트 구조 단순화
- 솔로 페이지를 피하자
- 중복 콘텐츠를 피하자
테크니컬 SEO: 총 정리 가이드(2021년) 글도 같이 보면 좋겠다.
더 알아보기
- 에스이오 홈페이지 : 검색엔진 최적화(SEO) FACT만 제공하는 콘텐츠 페이지.
- 에스이오_검색엔진 최적화 7가지 : 2019년부터 쌓아온 SEO를 정석으로 배울 수 있는 전자책.
- 에스이오 부트캠프_30일 : SEO Analyst에게 구글 SEO를 A to Z까지 30일 동안 1:1로 배울 수 있는 강의.