비공개 글 차단: 웹 페이지 크롤링 코드 1개면 충분하다?

    주변 블로거를 보면 코칭을 받고 구글에서 블로그가 노출되는 경우를 심심치 않게 볼 수 있다.

    티스토리임에도 불구하고 SEO 최적화로 쉽게 구글 검색등록을 볼 수 있다.

    그러나, 때때로 원치 않는 페이지가 올라가는 경우 어떻게 대처해야 하는지 물어보는 경우가 많다.

    그럴 때는 크롤링 코드 1개면 충분하다.

    이 글의 대상은 아래와 같다.

    • 구글에 노출이 안됐으면 하는 글을 가지고 있는 경우
    • 링크 주스를 제대로 알고 싶은 경우

     

    이 글을 통해 얻을 수 있는 내용은 아래와 같다.

    • 비공개 글 차단이 필요한 이유
    • 웹 페이지 크롤링 코드
    • 더 안전하게 하는 방법

     

    그럼 같이 시작해보자!

    웹 페이지 크롤링 코드 썸네일 이미지

     


     

     

    비공개 글 차단: 웹 페이지 크롤링 코드 1개면 충분하다

    Disallow: /원하는 페이지/를 입력하자

    공개하고 싶은 글이 있고 공개하고 싶지 않은 글이 있다.

    티스토리 경우 '비공개 글'로 발행하면 robots.txt 파일이 자동으로 형성된다.

    robots.txt란 검색엔진이 사이트의 일부에 액세스 하여 크롤링할 수 있는지를 알려준다.

    그러나, 로그인 페이지가 크롤링이 되서 구글에 노출된 경우가 한번씩 있다.

    이럴 때 코드 한 줄이면 충분하다.

    Disallow: /원하는 페이지/

    예시: https://searchengine-marketing.tistory.com/manage/

    링크 주스나 링크 빌딩을 활용할 때, 노출이 적은 포스팅은 차단해주는 것도 검색엔진 최적화 관리 방법이다.

    Robots.txt 활용이 어렵다면 구글 서치콘솔을 이용하면 된다.(매우 간단하다)

     

     


     

    너무 어려우면 더 쉽고 안전한 방법

    글을 삭제하라. 그리고 차단하라

    robots.txt 파일을 활용하기 어려울 수 있다.(SEO 용어를 모른다면 꼭 배우자)

    검색엔진 로봇에 따라 크롤러 역할도 다르기 때문에 100% 차단한다는 보장은 없다.

    예를 들어, 누군가 우리의 글을 공유 했는데 내가 삭제한 글이라면? 그리고 유입이 끊겼다면?

    검색엔진 로봇은 불량 블로그로 인식해 저품질 블로그로 보낼 수 있다.

    이럴 때는 해당 글을 삭제하고 Google Search cosole에서 URL 차단을 하면 끝이다.

    비공개글 차단 썸네일 이미지
    구글 검색시, 가장 상단에 스니펫으로 노출되어있는 '에스이오'

     



    결론

    오늘 배운 것은 robots.txt를 활용하는 방법에 대해 배웠다.

    코드 1개만 입력하자.

    그것이 어렵다면? 삭제하자.

    블로그는 꾸준히 관리해줘야 한다.



    여러분은 오늘 배운 것 중에서 어떤 것을 적용할 것인가요~?

    댓글로 남겨주세요 :)

     

    티스토리 댓글 작성하기

    • 난짬뽕
      2021.10.15 17:32

      이런 방법들이 있군요. 늘 새롭게 알아가게 되네요.
      감사합니다. ㅎㅎ ^*^

    • 2021.10.15 18:00 신고

      크롤링 오류가 나타날 때가 있는데 비공개글을 차단해야겠네요! 하트뿅💛 좋은 정보 잘 보고갑니다^^

    • 2021.10.15 20:37 신고

      링크빌딩을 활용할 때에는 노출이 적은 글은
      차단하는게 좋은가봅니다.
      오늘도 잘 배우고 가요.
      건강 잘 챙기시고 편한 밤 보내세요. ^^

      • 2021.10.15 22:40 신고

        하나씩 삭제하고 관리 해주는 것도 중요한데, 그러면 더 복잡해지니까 그냥 놔둡니다^^

    • 코스모스피다
      2021.10.15 20:49

      오늘도 잘 배우고 갑니다^^

    • 둥가디디
      2021.10.16 01:36

      전문적인 방법 감사합니다 ㅎ

    • 큰공
      2021.10.16 14:36

      SEO 라는걸 처음 들어보네요 좋은 정보감사드려요

      • 2021.10.17 09:27 신고

        검색엔진 최적화라고 하는데, 티스토리에서 가장 중요한 부분입니다!

    • 맛집을 찾는 뚠뚠이
      2021.10.17 21:15

      헉~노출이 되는 경우도 있군요ㅠ 그래도 꿀팁 완전 잘 배우고 갑니다!

    비즈니스 문의: vxev93@gmail.com

    자바스크립트를 허용해주세요.
    [ 자바스크립트 활성화 방법 ]
    from Mohon Aktifkan Javascript!