비공개 글 차단: 웹 페이지 크롤링 코드 1개면 충분하다?

    주변 블로거를 보면 코칭을 받고 구글에서 블로그가 노출되는 경우를 심심치 않게 볼 수 있다.

    티스토리임에도 불구하고 SEO 최적화로 쉽게 구글 검색등록을 볼 수 있다.

    그러나, 때때로 원치 않는 페이지가 올라가는 경우 어떻게 대처해야 하는지 물어보는 경우가 많다.

    그럴 때는 크롤링 코드 1개면 충분하다.

    이 글의 대상은 아래와 같다.

    • 구글에 노출이 안됐으면 하는 글을 가지고 있는 경우
    • 링크 주스를 제대로 알고 싶은 경우

     

    이 글을 통해 얻을 수 있는 내용은 아래와 같다.

    • 비공개 글 차단이 필요한 이유
    • 웹 페이지 크롤링 코드
    • 더 안전하게 하는 방법

     

    그럼 같이 시작해보자!

    웹 페이지 크롤링 코드 썸네일 이미지

     


     

     

    비공개 글 차단: 웹 페이지 크롤링 코드 1개면 충분하다

    Disallow: /원하는 페이지/를 입력하자

    공개하고 싶은 글이 있고 공개하고 싶지 않은 글이 있다.

    티스토리 경우 '비공개 글'로 발행하면 robots.txt 파일이 자동으로 형성된다.

    robots.txt란 검색엔진이 사이트의 일부에 액세스 하여 크롤링할 수 있는지를 알려준다.

    그러나, 로그인 페이지가 크롤링이 되서 구글에 노출된 경우가 한번씩 있다.

    이럴 때 코드 한 줄이면 충분하다.

    Disallow: /원하는 페이지/

    예시: https://searchengine-marketing.tistory.com/manage/

    링크 주스나 링크 빌딩을 활용할 때, 노출이 적은 포스팅은 차단해주는 것도 검색엔진 최적화 관리 방법이다.

    Robots.txt 활용이 어렵다면 구글 서치콘솔을 이용하면 된다.(매우 간단하다)

     


     

    너무 어려우면 더 쉽고 안전한 방법

    글을 삭제하라. 그리고 차단하라

    robots.txt 파일을 활용하기 어려울 수 있다.(SEO 용어를 모른다면 꼭 배우자)

    검색엔진 로봇에 따라 크롤러 역할도 다르기 때문에 100% 차단한다는 보장은 없다.

    예를 들어, 누군가 우리의 글을 공유 했는데 내가 삭제한 글이라면? 그리고 유입이 끊겼다면?

    검색엔진 로봇은 불량 블로그로 인식해 저품질 블로그로 보낼 수 있다.

    이럴 때는 해당 글을 삭제하고 Google Search cosole에서 URL 차단을 하면 끝이다.

    비공개글 차단 썸네일 이미지
    구글 검색시, 가장 상단에 스니펫으로 노출되어있는 '에스이오'

     



    결론

    오늘 배운 것은 robots.txt를 활용하는 방법에 대해 배웠다.

    코드 1개만 입력하자.

    그것이 어렵다면? 삭제하자.

    블로그는 꾸준히 관리해줘야 한다.

     

    더 알아보기

    티스토리 댓글 작성하기

    자바스크립트를 허용해주세요.
    [ 자바스크립트 활성화 방법 ]
    from Mohon Aktifkan Javascript!