Robots.txt 란?Robots.txt는 웹사이트 특정 페이지나 섹션을 크롤링 하거나 막는 검색 엔진 로봇에 지시하는 파일이다. 대부분 주요 검색엔진 구글, 네이버, 다음 등 요청을 한다.이 글을 읽기 전 웹 구조: 검색엔진 최적화에 중요한 이유 3가지 및 웹 페이지 속도 개선: 5가지 증명된 사이트 로딩 방법 을 먼저 읽어보자.Robots.txt 중요한 이유는?대부분 웹사이트에는 Robots 파일이 필요하지 않다.구글 등 검색엔진 로봇이 중요한 페이지를 찾고 색인을 생성할 수 있기 때문이다.중요하지 않은 페이지나 다른 페이지의 중복 콘텐츠 경우 자동으로 색인하지 않는다.하지만, 왜 해당 파일을 사용하는 걸까? 1. 비공개 페이지 차단사이트에 색인을 생성하고 싶지 않은 페이지가 있다.예를 들어, 로그..