비공개 글 차단: 웹 페이지 크롤링 코드 1개면 충분하다?

주변 블로거를 보면 코칭을 받고 구글에서 블로그가 노출되는 경우를 심심치 않게 볼 수 있다.

티스토리임에도 불구하고 SEO 최적화로 쉽게 구글 검색등록을 볼 수 있다.

그러나, 때때로 원치 않는 페이지가 올라가는 경우 어떻게 대처해야 하는지 물어보는 경우가 많다.

그럴 때는 크롤링 코드 1개면 충분하다.

이 글의 대상은 아래와 같다.

이 글을 통해 얻을 수 있는 내용은 아래와 같다.

그럼 같이 시작해보자!

비공개 글 차단: 웹 페이지 크롤링 코드 1개면 충분하다

공개하고 싶은 글이 있고 공개하고 싶지 않은 글이 있다.

티스토리 경우 '비공개 글'로 발행하면 robots.txt 파일이 자동으로 형성된다.

robots.txt란 검색엔진이 사이트의 일부에 액세스 하여 크롤링할 수 있는지를 알려준다.

그러나, 로그인 페이지가 크롤링이 되서 구글에 노출된 경우가 한번씩 있다.

이럴 때 코드 한 줄이면 충분하다.

Disallow: /원하는 페이지/

예시: https://searchengine-marketing.tistory.com/manage/

링크 주스나 링크 빌딩을 활용할 때, 노출이 적은 포스팅은 차단해주는 것도 검색엔진 최적화 관리 방법이다.

Robots.txt 활용이 어렵다면 구글 서치콘솔을 이용하면 된다.(매우 간단하다)

robots.txt 파일을 활용하기 어려울 수 있다.(SEO 용어를 모른다면 꼭 배우자)

검색엔진 로봇에 따라 크롤러 역할도 다르기 때문에 100% 차단한다는 보장은 없다.

예를 들어, 누군가 우리의 글을 공유 했는데 내가 삭제한 글이라면? 그리고 유입이 끊겼다면?

검색엔진 로봇은 불량 블로그로 인식해 저품질 블로그로 보낼 수 있다.

이럴 때는 해당 글을 삭제하고 Google Search cosole에서 URL 차단을 하면 끝이다.

오늘 배운 것은 robots.txt를 활용하는 방법에 대해 배웠다.

코드 1개만 입력하자.

그것이 어렵다면? 삭제하자.

블로그는 꾸준히 관리해줘야 한다.

더 알아보기