Robots.txt 검증기 — 무료 온라인 체커

Robots.txt 검증기

Robots.txt는 Google, GPTBot 등 모든 크롤러가 어떤 페이지를 가져갈 수 있는지 결정합니다. 사소한 오타 하나로 사이트 전체가 숨겨지거나, 의도하지 않게 AI 크롤러에게 열릴 수 있습니다. 파일을 붙여넣거나(또는 URL에서 가져와) 구문을 검사하고, 아래에서 실제 URL로 규칙을 테스트해 보세요.

크롤 테스트