robots.txt 생성기
여러 user-agent 블록, Allow/Disallow, 선택적 Crawl-delay, Host, Sitemap 줄을 포함한 robots.txt를 만드세요. 입력과 동시에 실시간 미리보기가 업데이트됩니다.
User-agent 블록
전역
참고:
Host는 일부 크롤러(예: Yandex)에서만 사용됩니다. Crawl-delay는 Google에서 사용하지 않지만 다른 크롤러에서는 사용할 수 있습니다. 와일드카드 * 및 $는 널리 지원되지만 기본 RFC에는 포함되지 않습니다.
미리보기 (robots.txt)
URL 테스터
알림:
robots.txt는 공개적으로 접근 가능하며, 예의 바른 크롤러를 위한 권고일 뿐 액세스 제어 메커니즘이 아닙니다.
Asted Cloud
댓글 (0)
의견을 남겨 주세요. 예의를 지키고 주제에서 벗어나지 말아 주세요.
댓글을 남기려면 로그인