웹 사이트 크롤링 및 인덱싱 가능성을 높이는 방법 9가지
- Technical SEO
- 2022. 12. 13.
웹 사이트 크롤링 및 인덱싱이 왜 중요할까?
크롤링과 인덱싱이 제대로 안 되는 경우 열심히 적은 콘텐츠가 노출이 안될 수 있다.
열심히 키워드 연구부터 경쟁사 분석까지 했어도, 구글 데이터베이스에 포함되지 않는데 순위를 매길 수 있겠는가?
이 글을 통해, 웹 사이트 크롤링 및 인덱싱 가능성을 높이는 방법 9가지에 대해서 알아보자.
작가 소개
웹 사이트 크롤링 및 인덱싱 가능성을 높이는 방법 9가지
1. 웹 사이트 크롤링 및 인덱싱 가능성을 높이는 방법: 페이지 로딩 속도 개선
수십억 개의 웹 페이지를 크롤링할 수 있는 웹 스파이더는 웹 페이지 로딩 순서에 따라 하루 종일 기다릴 필요 없다.
이것을 크롤링 예산이라고 한다.
독자의 경우 웹 페이지가 시간 내에 로드되지 않으면 사이트에서 나가게 된다.
즉, 크롤링 및 색인이 생성되지 않은 상태로 유지된다.
이것은 SEO 효과에 안 좋은 영향을 미칠 수 있다.
따라서 정기적으로 로딩 페이지 속도를 평가하고 개선하는 것이 좋다.
크롬 웹 페이지 로딩 속도 측정도 가능하며 속도 기준에 따라 가능한 조치를 취해야 한다.
여기에는 서버 또는 호스팅 플랫폼 업그레이드, 압축 활성화, CSS, JavaScript 및 HTML 축소, 리디렉션 제거 또는 감소가 포함될 수 있다.
2. 내부 링크 구조 강화
좋은 사이트 구조와 내부 링크는 성공적인 SEO 전략 기본 요소이다.
사용자 친화적이지 못한 웹 사이트는 검색 엔진이 크롤링하기 어렵기 때문에 내부 링크는 가장 중요한 일 중 하나이다.
백링크와 같이 페이지 링크를 활용한 백링크를 만드는 경우 다른 페이지와 연결되지 않으면 검색 엔진이 길을 잃어버릴 수 있다.
상위 페이지와 하위 페이지 개념으로 html target 속성에 맞춰서 자연스럽게 느껴지는 콘텍스트 링크가 있어야 한다.
또 다른 사항은 URL에 오타가 있는 링크를 포함한 깨진 링크이다.
링크가 끊어지면 404 올가 발생하기 때문에, 크롤링 가능성을 해치고 있다.
사이트 마이그레이션, 삭제 또는 구조 변경을 진행한 경우 새로 URL을 인덱싱할 필요가 있다.
3. 구글에 사이트맵 제출
사이트맵을 따로 제작 및 생성하는 것이 아니라면 구글이 사이트를 크롤링할 때까지 기다리면 된다.
하지만 기다리는 동안 따로 검색 순위에 도움이 되지 않는다.
최근에 콘텐츠를 변경했고 구글 서치 콘솔을 통해 구글에 바로 알리는 것이 좋다.
사이트맵 이란 루드 디렉터리에 있는 또 다른 파일이다.
사이트의 모든 페이지에 대한 직접 링크가 있는 검색 엔진의 로드맵 역할을 한다.
대표적인 예시로 새 페이지나 콘텐츠를 자주 추가하거나 사이트에 좋은 내부 링크가 없는 경우 특히 유용하다.
'구글 서치 콘솔 사이트맵 가져올 수 없음'이라는 글이 뜨는 경우도 있다.
웹에서 sitemap 만들기 검색을 통해 만들고 제출하면 끝이다.
4. Robots.txt 파일 업데이트
Robots.txt는 필수 사항은 아니지만 권장 사항 중 하나이다.
웹사이트의 루트 디렉터리에 있는 일반 텍스트 파일이다.
검색 엔진 크롤러에게 사이트를 크롤링하는 방법을 알려준다.
주 용도는 봇 트래픽을 관리하고 사이트가 요청으로 과부하 되지 않도록 하는 것이다.
크롤링 가능성 측면에서 유용한 점은 구글이 크롤링하고 색인을 생성하는 페이지를 제한하는 것이다.
때때로 크롤링 가능성에 부정적인 영향을 미칠 수 있다.
페이지에 대한 크롤러 액세스를 실수로 차단하는 경우도 있으니 체크하자.
5. 표준 태그 확인
개발 쪽 jstl 태그 라이브러리와 달리 검색엔진 최적화에서 표준 태그는 여러 URL의 신호를 단일 표준 URL로 통합한다.
이는 중복 및 오래된 버전을 건너뛰면서 원하는 페이지의 색인을 생성하도록 구글에 알리는 유용한 방법이다.
예를 들어, 더 이상 존재하지 않은 페이지의를 미리 인지하고 악성 태그를 제거할 수 있다.
6. SEO AUDIT 진행
사이트가 크롤링 및 인덱싱에 최적화되었는지 확인하기 위해 SEO AUDIT을 하는 것이 필요하다.
대표적인 방법은 아래와 같다.
색인 생성 비율 확인
색인 생성률은 구글 색인의 페이지 수를 웹사이트 페이지 수로 나눈 값이다.
구글 서치 콘솔 색인에 페이지 수를 확인할 수 있다.
인덱싱 가능성 비율이 90% 미만이면 조절하는 것이 필요하다.
또한 새 콘텐츠를 만들거나 가장 중요한 페이지를 업데이트할 때마다 색인이 생성되고 있는지 확인해야 한다.
7. 저품질 또는 중복 콘텐츠 확인
구글에서 색인을 생성할 가치가 없다고 결정하는 경우 따로 콘텐츠를 노출시키지 않는다.
흔히 독자들은 이것을 블로그 저품질 공격이나 애드센스를 사용하고 있다면 펍벤을 당한다고 생각한다.
특히 최근에는 티스토리나 네이버 블로그에 있는 쿠팡 파트너스 경우 색인을 노출시키지 않고 있다.
매우 빈약한 콘텐츠라고 인식하기 때문이다.
중복 콘텐츠는 사이트를 크롤링하는 동안 봇이 중단될 수 있는 이유이다.
기본적으로 발생하는 일은 코딩 구조가 혼동되어 어떤 버전을 인덱싱 할지 알지 못하기 때문이다.
경우에 따라 구글 검색 콘솔에서 예상보다 더 많은 URL을 발견했다는 경고를 받은 경우 수정을 해줘야 한다.
8. 리디렉션 체인 및 내부 리디렉션 제거
웹사이트가 발전함에 따라 리디렉션 또는 리다이렉트는 방문자를 다른 페이지로 안내하는 역할을 한다.
그러나 대부분 사이트에서 흔히 볼 수 있을 정도로 잘못 사용하는 경우 인덱싱을 방해할 수 있다.
주로 '리디렉션 한 횟수가 너무 많습니다'라는 오류를 많이 발견하기도 한다.
대표적으로 http 접속 시 https로 보내는 역할을 많이 한다.
제대로 안내가 안 되는 경우 아무 데도 가지 않는 무한 루프를 만들 수 있으니 조심해야 한다.
9. 끊어진 링크 수정
비슷한 맥락에서 끊어진 링크는 사이트 크롤링 기능에 큰 피해를 줄 수 있다.
정기적으로 확인하여 링크가 끊어지지 않았는지 확인해야 한다.
이는 SEO 결과에 큰 영향을 미칠 수 있다.
끊어진 링크를 발견하는 이를 고칠 수 있는 게 3가지 옵션이 있다.
리디렉션, 업데이트 또는 제거를 하는 것이다.
오늘 내용을 정리하면 아래와 같다.
- 페이지 로딩 속도를 개선하자.
- 내부 링크 구조를 강화하자.
- 구글에 사이트맵을 제출하자.
- Robtos.txt 파일을 업데이트 하자.
- 표준 태그를 확인하자.
- SEO AUDIT 진행 하자.
- 저품질 또는 중복 콘텐츠를 확인하자.
- 리디렉션 체인 및 내부 리디렉션을 제거하자.
- 끊어진 링크를 수정하자.
결론
위 9가지만 지켜도 웹사이트 색인 생성 및 크롤링 가능성을 높일 수 있다.
또한 이 두 가지 요소가 검색 순위에 얼마나 중요한지 이해하는 것이 중요하다.
검색엔진의 스파이더가 사이트를 크롤링하고 색인을 생성할 수 있는 경우 키워드, 백링크 및 태그의 수는 중요하지 않다.
그렇기 때문에 봇을 방해하거나 잘못된 방향으로 유도할 수 있는 것들이 있는지 정기적으로 사이트를 확인하는 것이 중요할 것이다.
<참조: 10 Steps To Boost Your Site’s Crawlability And Indexability>
더 알아보기
- 에스이오 홈페이지 : 검색엔진 최적화(SEO) FACT만 제공하는 콘텐츠 페이지.
- 에스이오_검색엔진 최적화 7가지 : 2019년부터 쌓아온 SEO를 정석으로 배울 수 있는 전자책.
- 에스이오 부트캠프_30일 : SEO Analyst에게 구글 SEO를 A to Z까지 30일 동안 1:1로 배울 수 있는 강의.