RAGAS와 RAG 평가: 검색과 답변을 따로 측정해야 하는 이유

RAG 평가의 정의와 필요성, 작동 원리, SAG 아키텍처 적용 기준과 실무 체크리스트를 연구·공식 문서 근거로 설명합니다.

SAG 기술 편집팀 · 2026-09-04

한 문장 정의

RAG 평가은 정답 레이블이 부족한 환경에서 faithfulness, answer relevance, context relevance 같은 축으로 RAG 파이프라인을 진단하는 방법입니다.

핵심 답: 최종 답변 점수 하나만 보면 검색이 실패했는지 생성이 근거를 무시했는지 알 수 없습니다. 개선할 계층을 찾으려면 평가 축을 분리해야 합니다.

최종 답변 점수 하나만 보면 검색이 실패했는지 생성이 근거를 무시했는지 알 수 없습니다. 개선할 계층을 찾으려면 평가 축을 분리해야 합니다.

검색·답변·생성 시스템은 입력과 결과 사이에 여러 단계를 갖습니다. 따라서 결과만 보고 판단하면 원인을 찾기 어렵습니다. 이 기술은 무엇을 수집했고 어떤 기준으로 처리했으며 누가 결과를 승인했는지 설명할 수 있게 만드는 데 의미가 있습니다.

질문·검색 문맥·답변을 기준으로 근거 충실도와 관련성을 평가하고 가능한 경우 사람이 만든 기준 집합과 대조합니다. 자동 평가 모델의 편향도 샘플 검토합니다.

설계할 때는 정확도만 보지 않습니다. 지연 시간, 비용, 데이터 경계, 갱신 주기와 실패 시 동작을 함께 정의해야 운영에서 재현 가능한 결과가 됩니다. 자동화가 확신하지 못하는 값은 0이나 성공으로 바꾸지 않고 미측정·검토 필요 상태로 남기는 것이 안전합니다.

SAG는 규칙 결과와 실제 AI 관측을 합치지 않고 미측정 상태를 보존합니다. RAG 평가를 연결할 때도 평가 모델, prompt와 데이터셋 버전을 provenance에 기록해야 합니다.

SAG는 고객 질문을 출발점으로 페이지, 근거, 관측 조건, 개선 작업과 재검증을 연결합니다. 이 글의 기술을 적용할 때도 특정 모델이나 단일 점수에 의존하기보다 입력 버전과 출처, 실행 상태, 승인 이력을 함께 보존하는 원칙을 우선합니다.

참고 문서는 원리와 권장사항의 근거입니다. 검색 노출, AI 언급, 순위나 매출을 보장하지 않으며 실제 적용 효과는 서비스 데이터와 동일 조건의 관측으로 확인해야 합니다.