SAG / ARCHITECTURE NOTE
Google 색인생성의 NOINDEX·robots.txt·sitemap을 구분하는 법
Google 색인생성의 정의와 필요성, 작동 원리, SAG 아키텍처 적용 기준과 실무 체크리스트를 연구·공식 문서 근거로 설명합니다.
한 문장 정의
Google 색인생성은 공개 페이지가 검색에 들어갈 수 있는지와 의도적으로 제외할 URL을 구분하는 기술 SEO 점검 방법입니다.
핵심 답: Search Console의 NOINDEX 숫자만 보고 모든 제외 URL을 오류로 판단하면 검색용 페이지를 잘못 공개하거나, 반대로 공개해야 할 페이지의 차단 신호를 놓칠 수 있습니다. 먼저 URL의 역할을 정하고 robots 메타, X-Robots-Tag, robots.txt, canonical과 sitemap을 한 묶음으로 확인해야 합니다.
왜 이 기술이 필요한가?
Search Console의 NOINDEX 숫자만 보고 모든 제외 URL을 오류로 판단하면 검색용 페이지를 잘못 공개하거나, 반대로 공개해야 할 페이지의 차단 신호를 놓칠 수 있습니다. 먼저 URL의 역할을 정하고 robots 메타, X-Robots-Tag, robots.txt, canonical과 sitemap을 한 묶음으로 확인해야 합니다.
작동 원리
NOINDEX는 크롤링된 페이지를 색인에 넣지 말라는 페이지·응답 신호입니다. robots.txt는 크롤러가 URL을 요청할 수 있는지 제어하며, 차단된 페이지는 noindex를 읽을 기회조차 줄어듭니다. sitemap은 대표 공개 URL을 발견하도록 돕지만 색인을 보장하지 않습니다. canonical은 중복 문서 중 대표 후보를 알리는 힌트이므로 실제 본문과 링크, 리디렉션과 일치해야 합니다.
설계할 때는 정확도만 보지 않습니다. 지연 시간, 비용, 데이터 경계, 갱신 주기와 실패 시 동작을 함께 정의해야 운영에서 재현 가능한 결과가 됩니다. 자동화가 확신하지 못하는 값은 0이나 성공으로 바꾸지 않고 미측정·검토 필요 상태로 남기는 것이 안전합니다.
SAG 기술과의 연결
SAG는 공개 홈페이지·FAQ·기술 글을 index/follow와 self-canonical, XML sitemap에 연결하고 검색·태그 URL, 로그인·미리보기 시나리오는 별도 비색인 대상으로 둡니다. 공개 sitemap과 실제 HTML 응답을 함께 검사하며, Search Console의 발견·크롤링·색인 상태를 서로 다른 단계로 기록합니다.
실무 체크리스트
- NOINDEX가 정식 공개 페이지에 있는지 먼저 확인합니다
- robots.txt 차단, robots 메타와 X-Robots-Tag를 함께 확인합니다
- canonical·sitemap·내부 링크의 대표 URL을 일치시킵니다
- URL 검사와 sitemap 보고서의 마지막 읽기 날짜를 기록합니다
- 실패·빈 결과·권한 오류의 상태를 성공과 구분합니다
- 변경 전후를 동일한 조건으로 재검증합니다
연구와 공식 문서
참고 문서는 원리와 권장사항의 근거입니다. 검색 노출, AI 언급, 순위나 매출을 보장하지 않으며 실제 적용 효과는 서비스 데이터와 동일 조건의 관측으로 확인해야 합니다.
이 기술을 이어서 읽는 방법
HTML ZIP·사이트맵 → 정규화 → 페이지 버전 → 근거 기록을 따라갑니다.
SAG / KNOWLEDGE LINKS