AI 검색이나 추천 기능을 만들 때 넓은 질문 하나를 여러 방향으로 풀어야 하는 경우가 있다. 예를 들어 ‘캠핑 장비’라는 검색에는 텐트만 반복해서 보여 주기보다 침낭, 버너, 헤드램프처럼 서로 보완하는 결과가 나와야 한다. 이때 LLM에게 매 요청마다 하위 검색어를 생각하게 하면 결과는 좋아질 수 있지만, 응답 시간과 추론 비용이 빠르게 늘어난다.
Google Research가 2026년 9월 15일 소개한 Retrieve-for-Train(R4T)은 이 문제를 다른 순서로 푼다. 비싼 추론을 실시간 요청에 반복시키지 않고, 오프라인 강화학습으로 좋은 검색 확장 방식을 먼저 찾은 뒤 작은 확산 검색 모델에 옮긴다. 한국의 AI·IT 학습자가 여기서 볼 부분은 ‘더 작은 모델이 더 빠르다’는 결론이 아니다. 반복되는 작업의 품질 기준을 학습 단계로 옮길 수 있는지, 그리고 그 기준이 실제 서비스의 데이터와 맞는지를 살피는 방식이다.
한 번의 넓은 검색을 결과 묶음으로 바꾸는 과정
논문에서 다루는 것은 단일 정답을 찾는 검색보다 결과 묶음 자체의 품질이 중요한 상황이다. 좋은 묶음은 개별 항목의 관련성뿐 아니라 다양성, 범위, 상호보완성, 일관성을 함께 만족해야 한다. 항목 하나씩 점수를 매기는 일반적인 학습 데이터만으로는 이런 속성을 직접 가르치기 어렵다.
그래서 검색 시스템은 넓은 질문을 여러 하위 질문으로 나누는 query fan-out을 사용한다. 하지만 범용 LLM은 특정 카탈로그의 재고나 의미 공간을 처음부터 알고 있지 않다. ‘보헤미안 페스티벌 스타일’처럼 넓은 요청을 받으면 비슷한 말의 검색어를 되풀이할 수 있다. 논문은 이를 paraphrastic collapse라고 부른다. 단어는 달라도 결과가 거의 같은 문제다.
R4T의 흐름은 세 단계다. 먼저 4B 규모의 Gemma3-4B와 Qwen3-4B 계열 언어 모델을 강화학습으로 조정해, 결과 묶음에 맞는 하위 질문을 만들게 한다. 다음으로 이 모델이 질문과 목표 결과 집합의 쌍을 오프라인에서 합성한다. 마지막으로 53.9M 파라미터의 확산 검색 모델이 질문 임베딩에서 목표 임베딩 집합을 직접 생성하도록 학습한다. 서비스 시점에는 텍스트를 토큰 단위로 길게 생성하는 대신, 임베딩 공간에서 결과 방향을 한꺼번에 만든다는 설명이다.
속도 향상보다 먼저 봐야 할 품질 함수
공식 소개와 논문은 자기회귀 방식과 비교해 질의 시 fan-out 지연 시간을 12배에서 20배 줄였다고 보고한다. 큰 문맥 배치에서는 자기회귀 기준선이 거의 50초까지 늘어난 반면, R4T 확산 모델은 수 초 이하 범위에 머물렀다는 결과도 제시했다. 다만 이는 패션과 음악 데이터셋, 고정된 10개 하위 질문, 특정 임베딩 모델에서 얻은 연구 결과다. 다른 카탈로그나 자주 바뀌는 재고, 업무 문서 검색에서도 같은 수치가 나온다고 볼 근거는 아직 없다.
더 중요한 부분은 보상 설계다. 연구진은 세 가지 목표를 함께 사용했다. groundedness는 생성한 방향이 실제 데이터베이스에서 검색 가능한 항목 근처에 있도록 한다. diversity는 결과 집합이 서로 다른 의미 영역을 다루도록 Vendi Score로 평가한다. alignment는 원래 질문에서 너무 멀어지지 않게 붙잡는다.
이 셋은 서로의 빈틈을 막는다. 데이터 근접성만 높이면 실제 사용자 의도와 무관한 이상한 문자열이 벡터 좌표만 잘 맞춰 보상을 얻을 수 있다. 정렬만 더하면 비슷한 표현을 반복하기 쉽다. 다양성만 높이면 엉뚱한 방향으로 퍼질 수 있다. AI 기능을 만들 때도 ‘정확도’ 하나로 끝내기보다, 무엇을 억제하고 무엇을 늘릴지 충돌하는 기준을 함께 명시해야 한다는 사례로 읽을 만하다.
RAG와 사내 검색에 바로 대입하면 생기는 한계
R4T는 공개 구현체가 제공된 서비스가 아니라 연구 프레임워크다. 사람 라벨을 덜 쓴다는 점이 곧 저비용이라는 뜻도 아니다. 강화학습용 교사 모델 실행, 보상 계산, 합성 데이터 생성, 확산 모델 학습은 모두 오프라인 컴퓨팅 자원을 요구한다. 임베딩 모델, 문서 색인, 합성 목표, 서빙 모델이 호환되는 공간을 쓴다는 전제도 필요하다.
특히 사내 문서나 고객 데이터는 변경 주기가 다르다. 검색 품질을 학습시킨 뒤 권한이 바뀌거나 문서가 삭제되면, 과거의 ‘좋은 결과’ 정의가 현재의 접근 가능한 결과와 어긋날 수 있다. R4T가 말하는 groundedness는 검색 가능성에 관한 것이지, 사용자의 권한이나 최신성을 자동으로 보장하는 장치는 아니다. 권한 필터와 최신성 검증은 검색 모델 밖에서 계속 강제해야 한다.
또한 연구의 12배에서 20배는 fan-out 단계 중심의 비교다. 실제 체감 시간에는 질의 임베딩 생성, 벡터 검색, 재순위화, 권한 검사, 네트워크 대기가 함께 들어간다. 실무에서는 모델 지연 시간만 재기보다 요청이 들어온 뒤 최종 문서가 보일 때까지의 p50과 p95, 결과 묶음의 중복률, 실패한 검색의 유형을 같이 남기는 편이 낫다.
작게 검증해 볼 수 있는 두 가지
- 반복 검색 하나를 고른다. FAQ, 제품 카탈로그, 기술 문서처럼 넓은 질문이 자주 들어오는 영역을 하나만 정한다. 기존 단일 검색, LLM 검색어 확장, 규칙 기반 확장을 같은 질문 묶음으로 비교하고, 관련성뿐 아니라 결과 중복과 누락을 기록한다.
- 결과 묶음의 기준을 문장으로 먼저 쓴다. ‘다양한 결과’라고만 적지 말고, 반드시 포함돼야 할 범주와 제외해야 할 중복을 정한다. 데이터에 실제로 없는 항목을 만들어 내지 않는지, 원래 질문과 멀어지지 않는지도 별도 항목으로 확인한다.
이번 연구는 긴 추론을 무조건 줄이자는 제안이 아니다. 요청마다 같은 종류의 탐색을 되풀이하고 있고, 그 탐색의 품질을 비교적 명확하게 정의할 수 있을 때 학습으로 옮기는 선택지가 생긴다는 이야기다. 반대로 질문마다 새로운 판단이 필요하거나 품질 기준이 계속 바뀌는 업무라면, 오프라인으로 굳힌 정책이 오히려 빠르게 낡을 수 있다.
AI 검색의 다음 실험에서 볼 것은 모델 이름이나 속도 수치 하나가 아니다. 반복되는 추론이 무엇인지, 그 추론을 대신할 결과 묶음을 어떻게 평가할지, 서비스 데이터가 변했을 때 언제 다시 학습할지를 먼저 적어 보는 편이 더 현실적인 출발점이다.