robots.txt 와일드카드 함정: */feed/가 메인 피드까지 막은 이유
robots.txt에 Disallow: */feed/를 넣으면 카테고리·태그 피드뿐 아니라 메인 피드(/feed/)까지 막힙니다. robots.txt의 *는 “아무 글자도 없는 경우”까지 포함하기 때문입니다. 메인 피드만 살리려면 Allow: /feed/$ 한 줄을 추가하면 됩니다. 마케팅테이블도 주석에는 “메인 피드는 통과”라고 적어 둔 규칙이 실제로는 메인 피드를 막고 있었고, 서치콘솔에서 피드가 “가져올 수 없음”으로 표시되는 것을 보고 찾아냈습니다.
목차
어떤 상황이었나
서치콘솔의 사이트맵 화면을 정리하다가, 예전에 등록해 둔 /feed가 “가져올 수 없음” 상태인 것을 발견했습니다. 브라우저로 피드 주소를 열어 보면 최근 글 10개가 정상으로 나오는데, 구글만 읽지 못하고 있었습니다. 피드 자체가 아니라 robots.txt를 의심해야 하는 상황이었습니다.
당시 robots.txt에는 이런 규칙이 들어 있었습니다.
# 서브 카테고리, 태그, 댓글 피드만 차단 (메인 /feed/는 통과)
Disallow: */feed/
Disallow: *?feed=*
Disallow: */comments/feed/
주석에 적힌 의도는 분명합니다. /category/이름/feed/ 같은 하위 피드는 막고, 사이트 전체 피드인 /feed/는 열어 두려는 것이었습니다.
왜 메인 피드까지 막혔나
구글의 robots.txt 사양 문서에 따르면 *는 “0개 이상의 임의의 문자”와 일치합니다. 핵심은 0개입니다.

| 주소 | *가 대신하는 부분 |
*/feed/와 일치? |
|---|---|---|
/category/wordpress/feed/ |
/category/wordpress |
일치 (의도대로 차단) |
/tag/seo/feed/ |
/tag/seo |
일치 (의도대로 차단) |
/feed/ |
빈 문자열 | 일치 (의도와 달리 차단) |
사람 눈에는 */feed/가 “무언가 뒤에 오는 feed”처럼 보이지만, 규칙상 앞부분이 비어 있어도 일치합니다. 그래서 메인 피드도 함께 막혔던 것입니다.
해결: Allow 한 줄 추가
수정한 robots.txt는 다음과 같습니다.
User-agent: *
Disallow: /wp-includes/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# 메인 피드만 허용, 카테고리·태그·댓글 피드는 차단
Allow: /feed/$
Disallow: */feed/
Disallow: *?feed=*
Disallow: */comments/feed/
$는 “주소가 여기서 끝난다”는 뜻입니다. 그래서 Allow: /feed/$는 정확히 /feed/만 허용하고, 그 뒤에 무언가 붙는 주소에는 적용되지 않습니다.
Allow와 Disallow가 겹치면 무엇이 이기나
이제 /feed/에는 Allow: /feed/$와 Disallow: */feed/가 동시에 해당됩니다. 구글 문서의 우선순위 규칙은 두 가지입니다.

- 더 구체적인 규칙, 즉 규칙 경로가 더 긴 쪽이 이깁니다.
- 길이가 같아 충돌하면 덜 제한적인 규칙(Allow)이 이깁니다.
/feed/$와 */feed/는 둘 다 7자라서 2번 규칙에 따라 Allow가 적용됩니다. 순서와는 상관이 없지만, 사람이 읽기 쉽게 Allow를 위에 두었습니다.
수정이 반영되지 않았던 이유: 편집기가 두 곳
처음 수정했을 때는 저장했는데도 실제 robots.txt가 바뀌지 않았습니다. 이 사이트에는 robots.txt를 편집할 수 있는 곳이 두 군데(Rank Math의 robots.txt 편집, 별도의 robots.txt 플러그인) 있었기 때문입니다. 실제로 쓰이는 쪽이 아닌 곳에 저장하면 아무 변화가 없습니다.
- 브라우저로
도메인/robots.txt를 열어 지금 실제로 나가는 내용을 확인합니다. - 그 내용과 똑같은 글이 들어 있는 편집기를 찾아 그곳을 수정합니다. 마케팅테이블은 기존 주석 문구로 찾았습니다.
- 서버 루트에 실제 robots.txt 파일이 있으면 플러그인 편집기보다 그 파일이 우선하니 함께 확인합니다.
robots.txt를 바꾼 뒤에는 서치콘솔의 robots.txt 보고서에서 구글이 새 파일을 읽었는지 확인할 수 있습니다. 비슷한 시기에 사이트맵과 noindex도 정리했는데, 색인 관련 개념은 크롤링과 색인의 차이에 정리해 두었습니다.
수정 후 확인한 방법
- 브라우저로
도메인/robots.txt를 열어Allow: /feed/$줄이 실제로 나오는지 확인했습니다. - 메인 피드 주소를 열어 최근 글이 정상으로 나오는지 봤습니다.
- 서치콘솔 사이트맵 화면에서 피드를 다시 제출해, 다음 수집 때 상태가 바뀌는지 지켜보기로 했습니다.
같은 시기에 검색에서 빼야 할 페이지는 robots.txt가 아니라 noindex 헤더로 정리했습니다. 그 과정은 Rank Math noindex가 안 먹힐 때 헤더로 해결한 사례에 정리했습니다.
와일드카드 규칙을 쓸 때 점검할 것
- 빈 문자열을 생각하기:
*앞뒤가 비어 있을 때 어떤 주소가 걸리는지 확인합니다. - 끝을 고정하기: 정확히 한 주소만 다루려면
$로 끝을 고정합니다. - 주석을 믿지 않기: 주석은 의도일 뿐입니다. 실제 동작은 서치콘솔이나 테스트 도구로 확인합니다.
- 색인 제외에 쓰지 않기: 검색 결과에서 빼는 목적이라면 robots.txt가 아니라 noindex를 씁니다. robots.txt로 막으면 구글이 noindex를 읽지 못합니다.
자주 묻는 질문
피드를 robots.txt로 막아 두는 게 SEO에 좋은가요?
카테고리·태그 피드는 내용이 중복되기 쉬워 막아 두는 운영자가 많습니다. 다만 메인 피드는 새 글을 알리는 통로라 구글도 사이트맵과 함께 쓰는 것을 권장합니다. 메인 피드는 열어 두는 편이 낫습니다.
?feed= 형식 주소도 막아야 하나요?
고유주소를 쓰는 사이트에서도 ?feed=rss2 같은 주소로 피드가 열릴 수 있습니다. 중복을 줄이려면 지금처럼 함께 막아 두면 됩니다.
수정 후 언제 반영되나요?
구글은 robots.txt를 보통 하루 안팎 단위로 캐시합니다. 서치콘솔 robots.txt 보고서에서 다시 가져오기를 요청할 수도 있습니다.


