Robots.txt 생성기 — 무료 온라인 도구

Robots.txt 생성기

프리셋을 고르고 규칙을 다듬은 뒤, 바로 배포 가능한 robots.txt 을(를) WordPress 사이트용으로 복사하거나 다운로드하세요——가입 불필요.

1. 프리셋 선택 검색 엔진과 AI 크롤러에 대한 기본 정책을 설정합니다.

2. 사이트맵 검색 엔진이 콘텐츠를 더 빨리 발견하도록 돕습니다.

여러 사이트맵은 공백·쉼표·줄바꿈으로 구분하세요. 예: https://example.com/post-sitemap.xml https://example.com/page-sitemap.xml

3. 사용자 지정 User-agent 그룹 프리셋 위에 추가됩니다. 한 줄에 규칙 하나.

주요 크롤러 참고자료 각 봇의 역할과 원클릭 허용/차단 규칙.