11월 8, 2026 가이드 읽는 시간 2분

WordPress용 robots.txt 만드는 법 (초보자 가이드)

Q: WordPress에서 robots.txt 파일은 어디에 넣나요?

파일은 도메인의 도큐먼트 루트, 즉 wp-config.php가 있는 디렉터리에 있어야 하며, 공유 호스팅에서는 보통 public_html이나 www라는 이름입니다. 정확히 https://yoursite.com/robots.txt 로 접근 가능해야 하고, 하위 폴더에 중첩되거나 대문자가 섞인 이름이면 크롤러가 무시합니다.

Q: WordPress는 robots.txt 파일을 자동으로 만들어 주나요?

네. pretty permalinks가 활성화되어 있고 실제 robots.txt가 없으면 WordPress는 즉석에서 /wp-admin/은 차단하되 /wp-admin/admin-ajax.php는 허용하는 가상 파일을 생성합니다. 의도적으로 최소화된 구성입니다. sitemap 선언, AI 크롤러 규칙, 사용자 지정 Disallow 경로를 추가하려면 실제 파일을 만들어 사이트 루트에 업로드하세요.

Q: robots.txt에서 GPTBot 같은 AI 크롤러를 차단하려면 어떻게 하나요?

막으려는 봇마다 전체 사이트 Disallow를 담은 전용 그룹을 추가하고 기본 User-agent: * 블록 앞에 배치하세요. 예: User-agent: GPTBot 다음에 Disallow: / 를 두면 OpenAI 학습 데이터에서 빠집니다. ClaudeBot, PerplexityBot, CCBot, Google-Extended, Bytespider, meta-externalagent에도 반복하거나, 이런 블록을 모두 만들어 주는 무료 Robots.txt 생성기의 Strict Protection 프리셋을 사용하세요.

Q: 잘못된 robots.txt 파일이 WordPress SEO를 해칠 수 있나요?

물론입니다. User-agent: * 아래의 Disallow: / 한 줄이면 규칙을 지키는 모든 크롤러에서 사이트 전체가 차단되고, /wp-content/나 /wp-includes/를 차단하면 Google의 페이지 렌더링이 깨질 수 있습니다. robots.txt 변경은 즉시 효력이 발생하고 캐시되므로, 업로드 전에 Search Console의 robots.txt 보고서나 검증된 프리셋 기반 생성으로 반드시 테스트하세요.

모든 WordPress 사이트에는 매일 수십 개의 자동화 크롤러가 방문합니다. Google과 Bing 같은 검색 엔진, Ahrefs와 Semrush 같은 SEO 도구, 그리고 OpenAI의 GPTBot, Anthropic의 ClaudeBot, PerplexityBot 같은 새로운 세대의 AI 봇이 그 대상입니다. 이들 모두에게 무엇을 가져갈 수 있고 가져갈 수 없는지 알려 주는 단 하나의 파일이 바로 robots.txt입니다. 이 가이드에서는 WordPress용 robots.txt를 올바르게 만드는 방법을 배웁니다: 파일의 역할, 2026년 기준으로 중요한 규칙, 그리고 2분 안에 유효한 파일을 생성하는 방법까지입니다.

Robots.txt 파일이란?

Robots.txt는 웹사이트의 루트 디렉터리에 놓이는 일반 텍스트 파일입니다. 거의 모든 정상적인 크롤러는 페이지를 하나 요청하기 전에 먼저 https://yoursite.com/robots.txt를 요청하고 그 안의 지침을 읽습니다. 이 지침은 Robots Exclusion Protocol이라는 표준을 따르며, Google, Bing, DuckDuckGo, Yandex와 주요 AI 벤더가 모두 이를 이해합니다.

최소한의 WordPress robots.txt는 다음과 같습니다:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

이를 일반 언어로 풀면 이렇습니다: “모든 user-agent(*)에 대해 /wp-admin/ 아래의 어떤 것도 크롤링하지 마세요. 단, /wp-admin/admin-ajax.php는 예외로, 많은 WordPress 테마와 플러그인이 동작하는 데 필요합니다.”

각 규칙 블록은 User-agent: 줄로 시작해 하나 이상의 Disallow: 또는 Allow: 줄이 뒤따릅니다. 블록은 원하는 만큼 여러 개 둘 수 있고, 파일에는 크롤러가 콘텐츠를 더 빨리 발견할 수 있도록 Sitemap: 위치를 선언할 수도 있습니다. 주석은 # 문자로 시작하며 크롤러가 무시합니다.

WordPress 사이트에 robots.txt가 중요한 이유

민감한 영역을 보호합니다. WordPress 대시보드, 로그인 페이지, 내부 검색 결과는 검색 인덱스에 들어갈 필요가 거의 없습니다. 잘 선택된 몇 개의 Disallow 규칙으로 크롤러를 막을 수 있습니다.

크롤링 효율을 높입니다. Google은 사이트마다 유한한 크롤링 예산(crawl budget)을 배정합니다. 봇이 그 예산을 파셋 검색 결과, 태그 아카이브, 댓글 답글 링크를 크롤링하는 데 낭비하면 중요한 페이지가 더 느리게 발견되고 갱신됩니다.

중복 콘텐츠를 막습니다. WordPress는 같은 콘텐츠에 대해 여러 URL을 만들어 낼 수 있습니다. 예를 들어 /?s=keyword 검색 페이지나 ?replytocom 파라미터가 붙은 URL이 그렇습니다. robots.txt에서 이런 패턴을 차단하면 Google이 중복 URL을 크롤링하는 것을 막을 수 있습니다(완전히 인덱스에서 빼야 한다면 canonical 태그나 noindex 지시문이 맞는 도구입니다).

AI 모델이 콘텐츠를 다루는 방식을 결정합니다. 이것이 가장 최신이고 종종 가장 전략적인 이유입니다. OpenAI, Anthropic, Google, Perplexity, Meta, Amazon, Apple은 모두 여러분의 페이지로 모델을 학습시키거나 AI 답변 안에서 인용하는 크롤러를 운영합니다. 그 가시성을 원하든(생성 엔진 최적화(GEO, Generative Engine Optimization)) 거부하든, 그 선택이 기록되는 곳이 robots.txt입니다. 특정 봇에 대한 규칙을 쓰지 않으면 GPTBot 같은 크롤러는 그냥 일반 User-agent: * 규칙을 따릅니다. 개별 크롤러를 다르게 통제하려면 봇 전용 명시적 선언만이 방법입니다.

솔직한 단서 하나: robots.txt는 예의 바른 협약(courtesy protocol)이지 보안 메커니즘이 아닙니다. 정당한 회사는 이를 지키지만 악성 스크래퍼는 완전히 무시합니다. 진짜 비공개 데이터의 유일한 방어선으로 robots.txt를 쓰지 마세요. 그 용도에는 인증을 사용해야 합니다.

WordPress용 robots.txt 만들기, 단계별 가이드

1단계: robots.txt 파일이 이미 있는지 확인

브라우저에서 https://yoursite.com/robots.txt를 열어 보세요. 세 가지 중 하나가 일어납니다. 규칙이 보이면 사이트 루트에 실제 robots.txt 파일이 이미 있는 것입니다. /wp-admin/을 차단하면서 /wp-admin/admin-ajax.php를 허용하는 3줄짜리 간단한 파일이 보이면, WordPress가 즉석에서 가상 robots.txt를 생성하고 있는 것입니다. 이는 pretty permalinks(고유주소)가 활성화되어 있고 실제 파일이 없을 때 자동으로 일어납니다. 404가 나온다면 아직 파일이 없으므로 만들어야 합니다.

2단계: 검색 엔진과 AI 크롤러에 대한 정책 결정

규칙을 쓰기 전에 실제로 무엇을 원하는지 정하세요. 흔한 전략은 세 가지입니다. WordPress 표준 정책은 대시보드, 로그인 페이지, 검색 결과를 차단하면서 사이트를 모든 검색 엔진에 개방합니다. GEO / AI 친화적 정책은 같은 내용에 더해 GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot, Google-Extended 같은 AI 크롤러를 명시적으로 허용해, AI 엔진이 콘텐츠를 학습하고 인용해도 좋다는 신호를 보냅니다. ChatGPT, Claude, Perplexity, AI Overviews에서 트래픽을 얻고 싶은 퍼블리셔에게 매력적입니다. 엄격한 보호 정책은 주요 검색 엔진 봇만 허용하고 AI·학습·SEO 크롤러를 전면 차단합니다.

3단계: 무료 Robots.txt 생성기로 규칙 생성

올바른 파일을 만드는 가장 빠른 방법은 무료 Robots.txt 생성기를 사용하는 것입니다. 이 도구에는 앞서 설명한 세 가지 프리셋——WordPress Standard, GEO / AI-Friendly, Strict Protection——이 모두 들어 있어 어려운 판단은 이미 끝나 있습니다. 프리셋을 선택하고 sitemap URL을 입력하면(대부분의 SEO 플러그인을 쓰는 WordPress 사이트라면 https://yoursite.com/sitemap_index.xml입니다) 미리보기가 실시간으로 갱신됩니다. 결과를 복사하거나 robots.txt 파일로 바로 내려받을 수 있습니다.

4단계: 특정 봇을 위한 사용자 지정 규칙 추가

프리셋으로 부족한가요? 생성기에서는 사용자 지정 user-agent 그룹을 추가할 수 있고, 각 그룹은 여러 줄짜리 자체 Disallow·Allow 목록을 가집니다. 예를 들어 서버 자원을 아끼려고 AhrefsBot과 SemrushBot을 차단하는 그룹, 또는 Googlebot만 허용하고 나머지는 막는 그룹을 만들 수 있습니다. 각 크롤러가 하는 일을 한 줄로 설명하는 주요 크롤러 참조 목록과 클릭 한 번으로 Allow·Block을 누를 수 있는 버튼도 함께 제공됩니다. 직접 규칙을 쓰겠다면 핵심만 기억하세요. 규칙은 대소문자를 구분하고, 값 없는 Disallow:는 “모두 허용”을, Disallow: /는 “사이트 전체 차단”을 의미합니다. 후자는 의도했을 때만 발행해야 하는 규칙입니다.

5단계: robots.txt를 사이트 루트에 업로드

Robots.txt는 도메인의 도큐먼트 루트(document root)에 있어야 하고, 이름은 정확히 소문자 robots.txt여야 합니다. 표준 WordPress 설치 기준으로 wp-config.php와 wp-content 디렉터리가 있는 바로 그 폴더입니다. 내려받은 파일은 호스팅 업체의 파일 관리자, SFTP, 또는 WP-CLI로 업로드할 수 있습니다: wp eval 'file_put_contents(ABSPATH."robots.txt", file_get_contents("robots.txt"));'. Yoast SEO나 Rank Math 같은 일부 SEO 플러그인은 설정에서 가상 robots.txt를 대신 호스팅해 주기도 합니다. 모든 것을 WordPress 안에서 관리하고 싶다면 유용합니다.

6단계: 파일 검증 및 모니터링

업로드 후에는 사생활 보호 브라우저 창에서 https://yoursite.com/robots.txt를 불러 새 버전이 서빙되는지 확인하세요. 그다음 Google Search Console의 robots.txt 보고서(설정 섹션에 있음)를 확인하면 Google이 파일을 마지막으로 언제 가져갔는지와 상태를 볼 수 있습니다. 참고로 예전의 robots.txt Tester——URL을 입력하고 user-agent를 골라 테스트하던 도구——는 2023년 9월에 은퇴했습니다. 따라서 규칙을 테스트하려면 서드파티 검증기를 쓰거나, Robots.txt 생성기의 검증된 프리셋과 파일을 비교해 참조 템플릿으로 삼으세요. 중요한 페이지가 갑자기 검색에서 사라진다면 robots.txt의 오타가 가장 먼저 배제해야 할 원인 중 하나입니다. 배포할 때마다 다시 검증하세요. 어긋난 Disallow: / 하나가 사이트 전체를 조용히 인덱스에서 지워 버릴 수 있습니다.

WordPress를 위한 robots.txt 모범 사례

작고 올바른 robots.txt가 크고 영리한 robots.txt를 이깁니다. 다음 원칙들이 문제를 예방해 줍니다:

CSS나 JavaScript 파일은 절대 차단하지 마세요. Google은 완전한 브라우저로 페이지를 렌더링합니다. 테마의 에셋을 불러올 수 없으면 페이지가 기술적으로는 “허용” 상태여도 순위가 떨어질 수 있습니다.
파일을 작게 유지하세요. 대부분의 사이트는 20줄 이내면 충분합니다. 규칙이 하나 늘 때마다 실수할 기회도 하나 늘어납니다.
sitemap은 항상 선언하세요. Sitemap: 줄은 새 크롤러가 글과 페이지를 더 빨리 발견하게 도와 줍니다. 백링크가 적은 신생 사이트에서 특히 그렇습니다.
AI 정책을 명시적으로 결정하세요. 침묵하는 기본값은 벤더마다 예측 불가능하게 해석되고 있습니다. GPTBot, ClaudeBot 등을 허용하든 차단하든 글로 남기세요. Robots.txt 생성기의 프리셋은 이를 클릭 한 번짜리 결정으로 만들어 줍니다.
프라이버시를 robots.txt에 의존하지 마세요. robots.txt에서 URL을 차단해도 그 URL 자체는 무법 봇이 크롤링할 수 있고, 설명 없이 검색 결과에 등장할 수도 있습니다. 비공개 콘텐츠에는 Disallow 규칙이 아니라 로그인이 필요합니다.
분기마다 점검하세요. 새 봇은 끊임없이 등장하고 사이트 구조도 변합니다. 몇 달마다 파일을 다시 확인하고, 마이그레이션이나 리디자인 이후에는 반드시 확인하세요.

자주 묻는 질문

WordPress에서 robots.txt 파일은 어디에 넣나요?

파일은 도메인의 도큐먼트 루트에 있어야 합니다. wp-config.php가 있는 디렉터리로, 공유 호스팅에서는 보통 public_html이나 www라는 이름입니다. 정확히 https://yoursite.com/robots.txt로 접근 가능해야 하며, 하위 폴더에 중첩되거나 대문자가 섞인 이름이면 크롤러가 무시합니다.

WordPress는 robots.txt 파일을 자동으로 만들어 주나요?

네. pretty permalinks가 활성화되어 있고 실제 robots.txt가 없으면, WordPress는 즉석에서 /wp-admin/은 차단하되 /wp-admin/admin-ajax.php는 허용하는 가상 파일을 생성합니다. 의도적으로 최소화된 구성입니다. sitemap 선언, AI 크롤러 규칙, 사용자 지정 Disallow 경로를 추가하려면 실제 파일을 만들어(또는 SEO 플러그인을 사용해) 사이트 루트에 업로드하세요.

robots.txt에서 GPTBot 같은 AI 크롤러를 차단하려면 어떻게 하나요?

막으려는 봇마다 전체 사이트 Disallow를 담은 전용 그룹을 추가하고, 이 그룹들을 기본 User-agent: * 블록 앞에 배치하세요. 예를 들어 User-agent: GPTBot 다음에 Disallow: /를 두면 OpenAI 학습 데이터에서 빠집니다. ClaudeBot, PerplexityBot, CCBot, Google-Extended, Bytespider, meta-externalagent에도 반복하거나, 이런 블록을 모두 자동으로 만들어 주는 무료 Robots.txt 생성기의 Strict Protection 프리셋을 사용하세요.

robots.txt로 Google 검색 결과에서 페이지를 제거할 수 있나요?

아니요. robots.txt로 URL을 차단하면 크롤링은 막히지만 인덱싱까지 막히지는 않습니다. 다른 사이트가 그 URL로 링크하고 있다면 Google은 여전히 나열할 수 있고, 단지 스니펫이나 설명 없이 표시될 뿐입니다. 검색에서 완전히 제거하려면 noindex 메타 태그나 X-Robots-Tag HTTP 헤더를 대신 사용하고, 크롤러가 지시문을 볼 수 있도록 페이지에는 접근 가능하게 두세요.

잘못된 robots.txt 파일이 WordPress SEO를 해칠 수 있나요?

물론입니다. User-agent: * 아래의 Disallow: / 한 줄이면 규칙을 지키는 모든 크롤러에서 사이트 전체가 차단되고, /wp-content/나 /wp-includes/를 차단하면 Google의 페이지 렌더링이 깨질 수 있습니다. robots.txt 변경은 즉시 효력이 발생하고 검색 엔진에 캐시되므로, 업로드하기 전에 반드시 테스트하세요. Search Console의 robots.txt 보고서나 검증된 프리셋 기반 생성으로요.

2분 만에 시작하기

이제 robots.txt의 역할, 클래식 SEO와 AI 가시성 양쪽에서 그것이 중요한 이유, 그리고 WordPress용 파일을 만들고 업로드하고 검증하는 방법을 알았습니다. Robots.txt 생성기로 이동해 전략에 맞는 프리셋을 고르고, sitemap을 추가하고, 바로 쓸 수 있는 파일을 내려받으세요. 앞으로의 크롤러 트래픽(AI 시대의 가시성 포함)이 고마워할 것입니다.