Google 색인생성의 NOINDEX·robots.txt·sitemap을 구분하는 법
Google 색인생성의 정의와 필요성, 작동 원리, SAG 아키텍처 적용 기준과 실무 체크리스트를 연구·공식 문서 근거로 설명합니다.
SAG TECHNOLOGY FRONTIER
기술의 흐름을 따라가지 않습니다.
SAG가 다음 기준을 만듭니다.
SAG(새그)는 더크림유니언이 운영하는 GEO·AEO·SEO 분석 및 최적화 플랫폼입니다. 검색엔진과 생성형 AI가 브랜드와 웹사이트 콘텐츠를 어떻게 발견하고 이해하는지 분석하고, 경쟁사 비교·개선 우선순위·실행 결과·재검증을 관리합니다.
SAG / ARCHITECTURE NOTES
SAG 기술 아키텍처 노트
SEO·AEO·GEO부터 RAG, 데이터 경계, 근거 추적과 안정적인 실행까지. 용어의 뜻과 필요성, 작동 원리와 SAG 적용 기준을 한곳에서 확인하세요.
15편의 기술 글 · 1 / 2
전체 공개 글 135선택 조건 · 15
전체 글 보기 ↗URL 정체성과 중복 제거: 해시를 지워도 같은 페이지가 되는가?
원본 링크와 비교용 주소를 구분해 문서의 동일성을 관리하는 방식입니다. 프래그먼트가 다른 인용을 매번 새로운 출처로 세면 근거 페이지 수가 부풀려집니다. 반대로 중요한 쿼리를 삭제하면 서로 다른 제품을 합쳐 버립니다.
브라우저 컨텍스트 격리: 수집 세션을 고객별로 분리해야 하는 이유
브라우저의 쿠키와 세션 상태를 작업별 경계 안에 두는 수집 설계입니다. 이전 고객사의 로그인 상태가 다음 수집에 남으면 결과가 공개 페이지와 달라지거나 다른 계정의 자료를 읽을 수 있습니다.
robots.txt와 접근 권한: 수집 가능한 것과 수집해도 되는 것은 같은가?
자동 접근 지시와 소유자의 허용 범위를 함께 적용하는 운영 규칙입니다. 기술적으로 페이지를 열 수 있어도 수집 권한과 사용 범위가 일치한다고 단정할 수 없습니다. 제한을 실패 점수로 바꾸면 분석도 왜곡됩니다.
HTML ZIP 분석: 소스가 있을 때 왜 크롤링보다 먼저 확인해야 하는가?
웹페이지의 HTML 묶음을 제한된 입력 경로로 읽어 진단에 필요한 문서로 바꾸는 수집 방식입니다. 공개 사이트가 변경됐거나 외부 접근이 제한되면 현재 화면만으로 이전 소스를 검증하기 어렵습니다. 승인된 소스 묶음은 무엇을 분석했는지 고정하는 출발점입니다.
ZIP bomb과 경로 탈출: 데이터 수집기의 신뢰 경계는 어디인가?
압축 입력의 허용 크기와 항목·경로를 제한해 처리 자원이 예측 가능하도록 만드는 설계입니다. 작은 업로드도 압축 해제 뒤 큰 메모리를 요구할 수 있습니다. 파일명을 그대로 경로로 사용하면 분석 시스템 밖의 파일을 건드릴 위험도 생깁니다.
페이지 버전 저장: 같은 URL을 다시 읽는 것이 왜 새 이력인가?
같은 주소의 콘텐츠를 수집 시점별 기록으로 보관하는 자료 모델입니다. 주소는 그대로인데 사양·정책이 바뀌면 이전 보고서의 근거가 현재 화면과 다를 수 있습니다. 최신 본문만 저장하면 과거 판단을 재현하기 어렵습니다.
콘텐츠 해시와 변경 감지: 무엇이 바뀌었는지 먼저 분리하는 법
콘텐츠의 요약 해시와 구조 비교를 이용해 같은 자료와 변경 자료를 구분하는 패턴입니다. 페이지를 자주 수집할수록 단순 수집 횟수가 늘어납니다. 실제 변경이 없는 입력을 매번 비싼 모델에 보내면 비용은 증가하고 결과의 일관성은 약해질 수 있습니다.
캡처·OCR·DOM의 경계: 화면으로 무엇까지 진단할 수 있는가?
이미지와 텍스트·DOM을 서로 다른 증거 유형으로 관리하는 방식입니다. 화면에는 제품 설명이 보여도 메타 태그나 canonical은 보이지 않습니다. 캡처를 HTML 진단과 같은 근거로 취급하면 확인하지 않은 기술 항목에 결론을 내립니다.
Cron 수집의 멱등성: 두 번 실행되어도 결과를 지키는 법
정기 실행을 업무상 같은 작업으로 식별해 중복과 충돌을 제어하는 설계입니다. 일정은 중복·지연·실패할 수 있습니다. 실행 횟수와 정상 저장 수를 같다고 보면 중복 기록과 비용 오류가 생깁니다.