구글 검색엔진에 내 사이트 검색 안될 때 - 클라우드 플레어 설정
네이버에는 글이 잡히는데, 구글에는 며칠이 지나도 보이지 않는 상황.
블로그를 운영하다 보면 한 번쯤 반드시 마주하는 문제다.
이 현상은 단순히 ‘구글이 느려서’라고 보기 어렵다.
대부분은 크롤링 접근성(접근 가능 여부) + 사이트 신호(robots, sitemap, canonical) + 보안 설정(Cloudflare) 의 교차 지점에서 발생한다.
이 글에서는 “네이버는 되는데 구글만 안 되는 상황”을 구조적으로 분해하고, 실제 해결 순서를 정리해보려 한다.
1. 왜 네이버는 되고, 구글은 안 될까?
같은 웹사이트라도 검색엔진은 서로 다른 규칙으로 페이지를 읽는다.
즉, 네이버가 읽었다고 해서 구글도 자동으로 읽는 것은 아니다.
이때 점검해야 할 핵심 축은 4가지다.
1) 크롤러 접근 가능성
Googlebot이 페이지에 실제로 접근 가능한 상태인지
2) 인덱싱 신호의 일관성
robots.txt, noindex, canonical, sitemap.xml이 서로 모순되지 않는지
3) 보안 레이어의 필터링
Cloudflare WAF, Bot Fight 설정이 정상 크롤러를 오탐지하지 않는지
4) 반영 지연 구간
설정 변경 직후에는 재평가에 시간이 필요한지
2. 크롤링 실패는 기술 문제보다 경로 문제
많은 사람이 콘텐츠 품질 위주로 의심하지만,
실제로는 구글이 내 페이지에 도달하는 경로에서 막히는 경우가 매우 많다.
특히 Cloudflare를 쓰는 경우, 아래 구조를 이해해야 한다.
- 사용자/크롤러 요청
- Cloudflare 보안 정책 통과 여부
- 원본 서버 응답
- Search Console에서 인덱싱 판단
이 과정에서 보안 정책이 과도하면, 콘텐츠가 좋아도 인덱싱이 늦어지거나 실패할 수 있다.
3. 실전 점검 순서 (Cloudflare 기준)
Step 1. Search Console 오류 유형부터 확인
먼저 감으로 설정을 건드리지 말고, Search Console URL 검사 결과를 본다.
- 크롤링할 수 없음
- 접근 거부
- 페이지를 가져올 수 없음
이런 문구가 보이면 접근성/보안 설정 이슈일 확률이 높다.
Step 2. 기본 인덱싱 신호 점검
아래 4가지는 최소 기준이다.
robots.txt에서 Googlebot 차단 여부sitemap.xml정상 응답(HTTP 200)- 페이지 내
noindex존재 여부 canonical이 현재 URL과 논리적으로 일치하는지
Step 3. Cloudflare 보안 로그 확인
Cloudflare 보안 이벤트에서 Googlebot 요청이 차단되었는지 확인한다.
- Security 메뉴
- Bots/Bot Fight 관련 메뉴
- WAF/Managed Rules 이벤트 로그
정상 크롤러 차단 로그가 있다면, 룰 예외(allow) 또는 민감도 조정이 필요하다.
Step 4. 조정 후 재수집 요청
설정 수정 이후에는 다음 순서로 재평가를 유도한다.
- 사이트맵 재제출
- 핵심 페이지 URL 검사 → 색인 생성 요청
- 2~7일 단위로 반영 추적
4. 자주 발생하는 실수
실수 1) 보안을 강화하면서 크롤러 예외 규칙을 안 만듦
악성 봇 차단과 정상 검색 봇 허용은 별개로 설계해야 한다.
실수 2) canonical/noindex를 중복 충돌로 운영
페이지가 스스로를 부정하는 신호를 보내면 인덱싱이 불안정해진다.
실수 3) 설정을 여러 개 동시에 바꾸고 원인 추적을 못 함
한 번에 하나씩 바꾸고 로그로 검증해야 원인이 명확해진다.
5. SEO는 좋은 글과 접근 가능한 구조가 핵심
검색 노출은 콘텐츠 품질만으로 결정되지 않는다.
검색엔진이 안전하게 접근하고, 일관된 신호를 읽을 수 있는 구조가 함께 있어야 한다.
네이버는 되는데 구글만 안 된다면, 아래 순서를 반복하면 된다.
- Search Console 오류 유형 확인
- robots/sitemap/canonical/noindex 점검
- Cloudflare 보안 로그 점검 및 예외 처리
- 재수집 요청 후 기간 관찰
SEO 관련해서 색인 생성이 안되는 페이지들이 많았을 때 삽질한 이야기가 더 궁금하시다면 아래 글도 참고해보시길. 구글 검색엔진 발견됨 - 색인 생성되지 않음 삽질기
