[전자/인공지능] RAG란 무엇인가? LLM이 외부 문서를 검색하고 답변하는 원리

회사 매뉴얼을 읽어본 적 없는 LLM에 사내 Toolkit 사용법을 물으면 어떤 일이 생길까요? 일반적인 설명은 가능해도 실제 함수명과 입력값은 알기 어렵습니다.

RAG(Retrieval-Augmented Generation)는 질문에 필요한 외부 자료를 검색하고, 그 자료를 문맥으로 제공해 답변을 생성하는 방식입니다. 공개 웹뿐 아니라 승인된 사내 문서나 데이터베이스도 대상으로 삼을 수 있습니다.

1. 모델의 학습 지식과 검색 자료를 함께 쓴다

모델의 가중치에 학습된 지식과, 지금 검색해서 가져온 자료는 다른 정보원입니다. 검색 결과를 입력에 넣는 일반적인 RAG 사용 과정은 모델의 가중치를 다시 학습시키는 일이 아닙니다. 문서를 갱신한 뒤 검색 인덱스를 업데이트하면 새 자료를 답변에 사용할 수 있습니다. RAG의 기본 개념

이 차이는 회사 규정이나 설계 매뉴얼처럼 수시로 바뀌는 정보에서 유용합니다. 다만 파일을 폴더에 복사했다고 검색 결과까지 자동으로 최신화되는 것은 아닙니다. 수집·색인·버전 전환이 실제로 연결되어 있어야 합니다.

2. 문서 준비와 질문 처리는 별도 단계다

문서 준비 단계에서는 원문을 추출하고 의미 있는 조각인 Chunk로 나눕니다. 제목, 문서 버전, 페이지, 접근권한 같은 메타데이터를 붙이고 검색 인덱스에 등록합니다.

질문이 들어오면 후보 조각을 검색하고, 필요하면 관련도를 다시 평가하는 Reranking을 수행합니다. 선정된 근거와 질문을 LLM에 전달하면 모델이 자료를 참조해 설명을 만듭니다. 검색과 재정렬의 흐름

문서 준비 → 색인 / 질문 → 검색 → 근거 선별 → 답변과 출처

3. 벡터 검색만 사용해야 하는 것은 아니다

Embedding 검색은 표현이 달라도 의미가 가까운 문장을 찾는 데 도움을 줍니다. “소자 간격 조절”이라는 질문으로 “instance pitch 설정” 설명을 찾는 식입니다.

반면 함수명, 오류 코드, 제품 번호는 정확한 문자열이 중요합니다. 이런 경우 키워드 검색과 의미 검색을 결합하는 구성이 적합할 수 있습니다. 어떤 검색법이 좋은지는 실제 질문으로 비교해야 하며, 이름이 비슷하다는 이유만으로 기능이 맞는다고 판단하면 안 됩니다.

 

4. 검색에 성공해도 답변은 틀릴 수 있다

관련 문서를 찾았지만 단위를 잘못 읽거나, 구버전 설명을 현재 기능에 적용할 수도 있습니다. 따라서 “검색 결과가 있음”과 “답변이 근거를 정확하게 반영함”을 따로 확인해야 합니다.

예를 들어 pitch 기본값이 적혀 있어도 단위가 없다면 모델이 임의로 μm를 붙여서는 안 됩니다. 이 예시는 설명용 상황입니다. 실제 서비스에서는 파라미터 값뿐 아니라 근거 위치와 미확인 상태도 전달하는 편이 좋습니다.

5. 좋은 RAG를 만드는 기준

검색 품질은 질문에 필요한 근거가 후보에 들어왔는지로 평가하고, 답변 품질은 그 근거가 주장을 뒷받침하는지로 평가합니다. 답이 없는 질문에 “확인할 자료가 없다”고 답하는지도 중요합니다.

또한 검색 단계부터 접근권한을 적용하고, 같은 문서의 버전을 섞지 않아야 합니다. 외부 문서 안의 명령문은 자료로 취급해야 하며 시스템 지시로 실행해서는 안 됩니다.

RAG의 가치는 모델이 모든 문서를 외우게 하는 데 있지 않습니다. 필요한 자료를 필요한 시점에 찾고, 확인 가능한 근거를 바탕으로 설명하도록 연결하는 것이 핵심입니다.