구글 크롤링: 내가 열심히 쓴 글 노출 시키는 방법(robots.txt)

구글 크롤링을 위해서 사이트맵과 robots.tsxt를 이해하는 것이 중요하다.

SEO 포이즈닝부터 키워드 중복까지 제대로 조치를 취한다.

그리고 크롤러 처리만 잘해주면 검색엔진 최적화하는 것도 매우 쉽다.

열심히 쓴 만큼 누구나 검색엔진에 노출 시키고 싶지 않은가?

구글 크롤링: 내가 열심히 쓴 글 노출 시키는 방법(robots.txt) 시작해보자.

 

---

 

이 글을 쓰는 이유

• 구글 크롤링이 필요한 이유
• Robots.txt를 활용한 인덱싱

 

작가 소개

 

이 글의 대상

• 티스토리 블로거
• Robots.txt 중요성을 모르는 독자

 

---

 

 

로봇 이미지

 

구글 크롤링: 내가 열심히 쓴 글 노출 시키는 방법(robots.txt)

Robots.txt 정의

Robots.txt는 검색엔진 로봇(크롤러)가 사이트에 액세스를 할 수 있도록 도와주는 역할을 한다.

해당 파일은 로봇에게 블로그가 가지고 있는 파일을 보여줌으로써 투명성을 제공하는 것이다.

예를 들어, 사람의 눈에는 데이터를 숨기고 있으나 '데이터'에는 다 표시가 나는 것이다.

 

다양하게 사용된다

주로 사이트의 트래픽을 관리하고, 다양한 파일 형식을 관리한다.

크게 3가지로 구분된다.

웹 페이지, 미디어 및 리소스 파일이다.

예를 들면, 정말 해당 포스팅이 사용자에게 중요한 정보인지 판가름을 할 수 있는 역할을 한다.

문제가 있는 경우에는 노출시키지 않고, 저품질 블로그로 보내는 역할도 Robots.txt 역할이다.

 

어떻게 사용하면 좋을까?

모든 글에 들어가는 이미지는 일단 alt 태그를 활용하는 것이 가장 중요하다.

이유는 각 파일마다 네임 태그를 부치는 것으로 이해하면 쉽다

예를 들어, 모든 상품에는 코드번호가 있다.

블로그도 동일하다.

블로그에 모든 리소스에 코드를 부쳐주는 것이다.

그러나, 노출되고 싶지 않은 것들은 noindex 태그를 활용하여 크롤링하는 것을 막는 것이 가장 중요하다.

더 자세한 방법은 Robots.txt: 색인을 쉽게 하는 3가지 방법 을 참고하자.

 

오늘 내용을 정리하면 아래와 같다.

1. Robots.txt 정의
2. 크롤링은 어떻게 사용되는가?
3. 사용하는 방법

 

---

 

결론

독자님들에게 매번 말한다.

제휴 마케팅부터 스크랩 콘텐츠까지 하면 안 된다고.

하면 안 되는 것들만 지키면 충분히 검색엔진 최적화도 가능하다.

여기에서 인덱싱 관리까지 잘해주면 90%는 성공이다.

 

더 알아보기

• 에스이오 홈페이지 : 검색엔진 최적화(SEO) FACT만 제공하는 콘텐츠 페이지.
• 에스이오_검색엔진 최적화 7가지 : 2019년부터 쌓아온 SEO를 정석으로 배울 수 있는 전자책.
• 에스이오 부트캠프_30일 : SEO Analyst에게 구글 SEO를 A to Z까지 30일 동안 1:1로 배울 수 있는 강의.