1128 단어
6 분

구글 검색엔진에 내 사이트 검색 안될 때 - 클라우드 플레어 설정

네이버에는 글이 잡히는데, 구글에는 며칠이 지나도 보이지 않는 상황.
블로그를 운영하다 보면 한 번쯤 반드시 마주하는 문제다.

이 현상은 단순히 ‘구글이 느려서’라고 보기 어렵다.
대부분은 크롤링 접근성(접근 가능 여부) + 사이트 신호(robots, sitemap, canonical) + 보안 설정(Cloudflare) 의 교차 지점에서 발생한다.

이 글에서는 “네이버는 되는데 구글만 안 되는 상황”을 구조적으로 분해하고, 실제 해결 순서를 정리해보려 한다.

1. 왜 네이버는 되고, 구글은 안 될까?#

같은 웹사이트라도 검색엔진은 서로 다른 규칙으로 페이지를 읽는다.
즉, 네이버가 읽었다고 해서 구글도 자동으로 읽는 것은 아니다.

이때 점검해야 할 핵심 축은 4가지다.

1) 크롤러 접근 가능성#

Googlebot이 페이지에 실제로 접근 가능한 상태인지

2) 인덱싱 신호의 일관성#

robots.txt, noindex, canonical, sitemap.xml이 서로 모순되지 않는지

3) 보안 레이어의 필터링#

Cloudflare WAF, Bot Fight 설정이 정상 크롤러를 오탐지하지 않는지

4) 반영 지연 구간#

설정 변경 직후에는 재평가에 시간이 필요한지


2. 크롤링 실패는 기술 문제보다 경로 문제#

많은 사람이 콘텐츠 품질 위주로 의심하지만,
실제로는 구글이 내 페이지에 도달하는 경로에서 막히는 경우가 매우 많다.

특히 Cloudflare를 쓰는 경우, 아래 구조를 이해해야 한다.

  • 사용자/크롤러 요청
  • Cloudflare 보안 정책 통과 여부
  • 원본 서버 응답
  • Search Console에서 인덱싱 판단

이 과정에서 보안 정책이 과도하면, 콘텐츠가 좋아도 인덱싱이 늦어지거나 실패할 수 있다.


3. 실전 점검 순서 (Cloudflare 기준)#

Step 1. Search Console 오류 유형부터 확인#

먼저 감으로 설정을 건드리지 말고, Search Console URL 검사 결과를 본다.

  • 크롤링할 수 없음
  • 접근 거부
  • 페이지를 가져올 수 없음

이런 문구가 보이면 접근성/보안 설정 이슈일 확률이 높다.

Step 2. 기본 인덱싱 신호 점검#

아래 4가지는 최소 기준이다.

  1. robots.txt에서 Googlebot 차단 여부
  2. sitemap.xml 정상 응답(HTTP 200)
  3. 페이지 내 noindex 존재 여부
  4. canonical이 현재 URL과 논리적으로 일치하는지

Step 3. Cloudflare 보안 로그 확인#

Cloudflare 보안 이벤트에서 Googlebot 요청이 차단되었는지 확인한다.

  • Security 메뉴
  • Bots/Bot Fight 관련 메뉴
  • WAF/Managed Rules 이벤트 로그

정상 크롤러 차단 로그가 있다면, 룰 예외(allow) 또는 민감도 조정이 필요하다.

Step 4. 조정 후 재수집 요청#

설정 수정 이후에는 다음 순서로 재평가를 유도한다.

  • 사이트맵 재제출
  • 핵심 페이지 URL 검사 → 색인 생성 요청
  • 2~7일 단위로 반영 추적

4. 자주 발생하는 실수#

실수 1) 보안을 강화하면서 크롤러 예외 규칙을 안 만듦#

악성 봇 차단과 정상 검색 봇 허용은 별개로 설계해야 한다.

실수 2) canonical/noindex를 중복 충돌로 운영#

페이지가 스스로를 부정하는 신호를 보내면 인덱싱이 불안정해진다.

실수 3) 설정을 여러 개 동시에 바꾸고 원인 추적을 못 함#

한 번에 하나씩 바꾸고 로그로 검증해야 원인이 명확해진다.


5. SEO는 좋은 글과 접근 가능한 구조가 핵심#

검색 노출은 콘텐츠 품질만으로 결정되지 않는다.
검색엔진이 안전하게 접근하고, 일관된 신호를 읽을 수 있는 구조가 함께 있어야 한다.

네이버는 되는데 구글만 안 된다면, 아래 순서를 반복하면 된다.

  1. Search Console 오류 유형 확인
  2. robots/sitemap/canonical/noindex 점검
  3. Cloudflare 보안 로그 점검 및 예외 처리
  4. 재수집 요청 후 기간 관찰

SEO 관련해서 색인 생성이 안되는 페이지들이 많았을 때 삽질한 이야기가 더 궁금하시다면 아래 글도 참고해보시길. 구글 검색엔진 발견됨 - 색인 생성되지 않음 삽질기