From RAG to Memory: Non-Parametric Continual Learning for Large Language Models

요약

HippoRAG 2는 knowledge graph 위에서 Personalized PageRank를 실행하는 RAG 프레임워크로, 사실 기억과 sense-making과 associativity 세 가지 메모리 과제 전부에서 최강 dense retriever를 앞선 최초의 structure-augmented RAG다. ICML 2025에 발표됐고 저자는 Ohio State University와 University of Illinois Urbana-Champaign 소속이다.

이 논문의 출발점은 선행 structure-augmented RAG가 하나의 능력에 특화되면서 다른 능력에서 표준 RAG보다 못해진다는 관찰이다. 요약 계층을 만드는 RAPTOR는 sense-making에는 강하지만 simple QA와 multi-hop QA에서 노이즈 탓에 성능이 내려가고, 개체 중심 그래프를 쓰는 HippoRAG는 multi-hop에는 강하지만 장편 담화 이해에서 가장 낮은 점수를 받는다. HippoRAG 2는 그래프에 passage 자체를 노드로 넣고 질의(query)를 triple 단위로 잇는 두 가지 변경으로 이 상충을 해소한다.

배경

파라미터를 건드리지 않는 지속 학습

LLM에 새 지식을 계속 넣는 방법은 세 가지로 나뉜다. 논문은 Shi et al. (2024)의 분류를 따라 continual fine-tuning, model editing, RAG를 대비시키고 왜 RAG가 사실상의 표준이 됐는지 설명한다.

catastrophic forgetting은 새로 배운 내용이 이전에 배운 능력을 덮어써 사라지게 만드는 현상이다. RAG는 파라미터를 건드리지 않으므로 이 문제를 우회한다. 그래서 논문은 RAG를 "비파라미터 지속 학습"으로 부르고 그 품질을 인간 장기 기억에 얼마나 가까운지로 잰다.

표준 RAG가 놓치는 두 가지

벡터 retrieval은 문서를 서로 독립된 단위로 다룬다. 이 전제 때문에 두 가지 능력이 빠진다.

sense-making이 필요한 질문은 여러 passage에 흩어진 정보를 통합해야 답이 나온다. associativity가 필요한 질문은 한 사실에서 다른 사실로 건너뛰어야 답에 닿는다. 예를 들어 "Erik Hort의 출생지가 속한 카운티는?"이라는 질문은 "Erik Hort는 Montebello에서 태어났다"와 "Montebello는 Rockland County에 속한다"를 이어야 풀린다. 벡터 유사도만으로는 두 번째 사실이 검색되지 않는다.

구조를 더한 RAG가 만든 새로운 문제

선행 연구는 두 능력을 각각 겨냥해 왔다. sense-making 쪽은 LLM이 요약을 만들게 하거나 knowledge graph를 세워 흩어진 passage를 묶고, associativity 쪽은 HippoRAG가 Personalized PageRank로 multi-hop 추론을 붙였다.

논문의 실험은 이들 방법이 자기 실험 설정 밖의 과제에서 가장 크게 하락한다는 사실을 보인다. 특히 표준 RAG가 이미 잘하는 simple QA에서 오히려 뒤처지는 경우가 많다. HippoRAG는 질의 기반 맥락화가 없어 장편 담화 이해에서 가장 크게 내려가고, RAPTOR는 LLM 요약이 corpus에 노이즈를 더해 simple QA와 multi-hop QA에서 함께 내려간다.

HiRAG와의 구분

HippoRAG 계열은 계층(hierarchical) 방법론이 아니다. 두 이름이 비슷해 혼동하기 쉬우므로 구분해 둔다.

이 논문 원문에서 hierarchical이라는 단어는 RAPTOR가 corpus를 의미 유사도 기반 계층 구조로 조직한다는 문장에 딱 한 번 나온다. HippoRAG나 HippoRAG 2를 계층 방법론으로 서술한 대목은 없다.

핵심 개념

개념과 맥락의 상충

HippoRAG의 KG는 개념을 서술하는 phrase만 노드로 삼는다. 여기서 개념과 맥락의 상충이 생긴다. 개념은 간결하고 일반화하기 쉽지만 정보를 잃고, 맥락은 그 개념이 어떻게 해석되고 적용되는지를 알려 주지만 복잡도를 키운다.

인간의 기억에서는 개념과 맥락이 촘촘히 얽혀 있다. HippoRAG 2의 설계는 이 얽힘을 그래프 구조 안에서 재현하는 것을 목표로 삼는다.

dense coding과 sparse coding

논문은 뇌가 정보를 서로 다른 입도로 표현한다는 dense coding과 sparse coding 이론(Beyeler et al., 2019)에서 설계를 끌어온다.

두 표현을 하나의 KG 안에서 잇는 것이 dense-sparse integration이다.

Personalized PageRank와 reset probability

Personalized PageRank는 확률 질량을 특정 seed node와 그 이웃 쪽으로 몰아주도록 PageRank를 변형한 알고리즘이다(Haveliwala, 2002). reset probability는 random walk가 각 노드로 되돌아갈 확률이며, 이 값을 어디에 얼마나 주느냐가 곧 seed node를 지정하는 행위다.

HippoRAG 계열은 이 성질을 맥락 기반 retrieval에 쓴다. 질문과 직접 매칭되지 않은 passage라도 seed node와 그래프상 가까우면 확률 질량을 받아 상위로 올라온다. 앞서 든 Erik Hort 예에서 Montebello passage가 검색되는 경로가 그것이다.

recall과 recognition

인간의 기억 인출은 두 과정으로 나뉜다(Uner & Roediger III, 2022). recall은 외부 단서 없이 능동적으로 떠올리는 것이고, recognition은 주어진 단서를 보고 알아보는 것이다.

HippoRAG 2는 query-to-triple 검색을 recall로, 그 결과를 LLM이 걸러 내는 단계를 recognition으로 본다. 후자를 recognition memory라 부른다.

세 가지 메모리 능력의 측정

방법

HippoRAG 2는 offline indexing과 online retrieval 두 단계로 나뉜다. 구조는 HippoRAG를 그대로 물려받고, 그 위에 세 가지를 더한다. KG 안에서 개념과 맥락을 통합하는 것, 고립된 노드가 아니라 그래프 구조를 활용해 맥락을 반영한 retrieval을 하는 것, seed node 선택에 recognition memory를 넣는 것이다.

신경생물학 대응 구조

HippoRAG 계열은 구성 요소마다 인간 기억의 대응물을 둔다.

offline indexing 세 단계

1. OpenIE by LLM. 각 passage에서 (subject, relation, object) triple을 뽑아 schema 없는 KG에 넣는다. OpenIE는 스키마를 미리 정하지 않고 관계와 개체를 자유롭게 추출하는 정보 추출 기법이다. subject와 object가 phrase node가 되고 둘을 잇는 edge가 relation edge가 된다.
2. Synonym detection. retrieval encoder가 KG 안의 phrase 쌍을 훑어 벡터 유사도가 임계값 0.8을 넘는 쌍에 synonym edge를 추가한다. 서로 다른 passage에 흩어진 동의어가 이 edge로 이어지고, 새 지식과 옛 지식의 통합 경로가 된다.
3. Dense-sparse integration. 각 passage를 passage node로 KG에 추가하고, 그 passage에서 나온 모든 phrase node와 "contains"라는 이름의 context edge로 잇는다.

세 번째 단계가 HippoRAG와 갈리는 지점이다. HippoRAG의 document ensemble은 그래프 검색 점수와 임베딩 매칭 점수를 사후에 합산할 뿐이지만, HippoRAG 2는 passage를 그래프 안에 넣어 구조적으로 통합한다.

online retrieval 다섯 단계

1. Query to Triple. 질의 전체를 임베딩으로 KG의 top-5 triple과 매칭한다. NER 단계가 사라진다.
2. Recognition memory. LLM이 top-5 triple 중 질의와 관련 있는 것만 남겨 filtered triple 집합을 만든다.
3. Seed node selection. filtered triple에 등장한 phrase node를 최대 5개까지 고른다. 각 phrase node의 ranking score는 그 노드가 등장한 filtered triple 점수의 평균이다. passage node는 전량이 seed가 된다.
4. Reset probability 배정. phrase node는 ranking score를 그대로 reset probability로 쓰고, passage node는 임베딩 유사도에 weight factor를 곱한 값을 쓴다. 기본값은 0.05다.
5. PPR 실행과 QA. python-igraph로 PPR을 실행해 passage node의 PageRank 점수로 순위를 매기고, 상위 5개를 QA reader의 context로 넣는다.

passage node를 전량 seed로 삼는 이유는 상위 몇 개만 활성화하는 것보다 넓게 활성화하는 편이 multi-hop 추론 사슬 위의 passage를 찾아내는 데 낫기 때문이라고 밝힌다. filtered triple이 비면 그래프 검색을 건너뛰고 임베딩 검색 결과를 그대로 반환한다.

질의를 그래프에 잇는 세 가지 방식

HippoRAG의 질의 파싱은 NER에 기대므로 개념 중심으로 치우쳐 맥락 신호를 활용하지 못한다. 논문은 대안 두 가지를 함께 평가한다.

triple은 개념 사이의 기본적인 맥락 관계를 담고 있어서 질의의 의도를 더 온전히 반영한다. query-to-node가 NER-to-node보다 오히려 나쁜 이유로는 입도 불일치를 든다. NER 결과와 KG 노드는 둘 다 phrase 수준이지만 질의 전체는 그렇지 않다.

recognition memory 프롬프트

triple filter 프롬프트는 DSPy의 MIPROv2 optimizer와 Llama-3.3-70B-Instruct로 지시문과 시연을 함께 튜닝해 만들었다.

실행 예시

"What county is Erik Hort's birthplace a part of?"라는 multi-hop 질문에서 각 단계가 어떻게 동작하는지 논문이 부록에 제시한다.

seed phrase node의 점수가 1.0 부근인 반면 seed passage node의 점수는 0.05 이하다. weight factor 0.05가 두 종류 노드 사이의 영향력을 어떻게 조절하는지가 이 숫자에 드러난다. 정답인 Rockland County는 3위 passage 본문에 들어 있다.

HippoRAG에서 바뀐 것

평가 설계

데이터셋

PopQA는 2021년 12월 위키피디아 덤프에서 corpus를 만들었고 개체 빈도가 NQ보다 낮아 개체 인식과 검색을 재는 데 적합하다. LV-Eval은 키워드와 구절을 치환해 지식 누출과 과적합을 줄인 데이터셋이라, 위키 기반 데이터셋과 달리 여러 출처의 지식을 실제로 합성하는 능력을 잰다. NarrativeQA는 장편 소설 10편과 그에 딸린 질문 293건을 골랐고, LV-Eval과 같은 방식으로 긴 본문을 짧은 passage로 잘라 corpus를 구성했다.

비교 대상

대형 임베딩 모델 셋은 모두 BEIR 리더보드 상위 모델이다. structure-augmented 방법은 전부 HippoRAG 2와 같은 추출 LLM과 같은 retriever로 다시 실행해 비교 조건을 맞췄다.

하이퍼파라미터

추출과 triple 필터에는 Llama-3.3-70B-Instruct를, retriever에는 NV-Embed-v2를 썼다. QA reader는 Llama-3.3-70B-Instruct와 GPT-4o-mini 둘을 모두 시험했다. 하이퍼파라미터는 MuSiQue 학습 데이터 100건으로 조정했고, 나머지는 HippoRAG의 기본 설정을 따랐다. LLM 서빙에는 NVIDIA H100 4장과 vLLM의 tensor parallelism을 썼다.

GraphRAG와 LightRAG 설정에 관한 주의

이 표는 결과 해석에 중요한 단서를 준다. GraphRAG는 Local 모드로 실행됐다. Local과 Global의 구분은 GraphRAG 원논문(Edge et al., 2024)이 정의한 것이 아니라 microsoft/graphrag 구현체가 제공하는 설정이며, 원논문 본문에는 local search라는 표현이 등장하지 않는다. Global 모드는 community 요약을 map-reduce 방식으로 종합해 corpus 전역 질문에 답하는 경로이고, GraphRAG가 sense-making 강점을 주장한 근거도 그 경로다.

따라서 이 논문의 GraphRAG 수치는 구현체의 Local 모드 성능이며, GraphRAG 원논문이 겨냥한 query-focused summarization 설정과 같지 않다. GraphRAG가 NarrativeQA에서 23.0으로 NV-Embed-v2의 25.7에 못 미친 결과를 GraphRAG 방법론 전체의 sense-making 한계로 읽으면 과잉 해석이 된다.

결과

QA 성능

Llama-3.3-70B-Instruct를 reader로 쓴 F1 점수다.

HippoRAG 2가 평균 59.8로 가장 높고 NV-Embed-v2보다 2.8점 앞선다. 부트스트랩 검정에서 NQ, MuSiQue, 2Wiki, LV-Eval 네 곳의 개선이 유의했다(p < 0.05). 개별 항목의 격차는 2Wiki에서 9.5점, LV-Eval에서 3.1점으로 가장 크다.

주목할 대목이 세 가지 있다. 첫째, 2Wiki 단독 최고점은 HippoRAG의 71.8로 HippoRAG 2(71.0)보다 높다. 둘째, PopQA에서는 GTE-Qwen2-7B-Instruct의 56.3이 최고이고 HippoRAG 2는 56.2로 근소하게 뒤진다. 셋째, LightRAG의 재현 결과는 평균 6.6으로 retrieval 없는 기준선 38.4보다도 크게 낮다. 이 값은 논문이 지정한 QA 프롬프트로 응답을 다시 정형화한 조건에서 나온 것이라 LightRAG 원논문의 평가 설정과 다르다.

세 능력별 집계

Figure 1은 QA 결과를 세 능력으로 묶은 값이다.

각 방법이 자기 실험 설정 밖에서 가장 크게 하락한다는 관찰이 이 수치에 드러난다. HippoRAG는 사실 기억과 associativity에서 RAPTOR와 GraphRAG를 앞서지만 sense-making에서 16.30으로 다섯 방법 중 가장 낮다. RAPTOR는 sense-making이 21.40으로 GraphRAG보다 낮지 않지만 associativity가 48.37로 가장 낮다. HippoRAG 2만 세 능력 모두에서 가장 높은 값을 갖는다.

검색 성능

passage recall@5 기준이다. GraphRAG와 LightRAG는 passage 검색 결과를 직접 산출하지 않아 표에서 빠졌다.

HippoRAG 2가 평균 78.2로 NV-Embed-v2의 73.4를 4.8%p 앞선다. MuSiQue에서 5.0%p, 2Wiki에서 13.9%p 차이가 난다. PopQA에서만 HippoRAG 재현판(53.8)이 HippoRAG 2(51.7)와 NV-Embed-v2(51.0)를 앞서는데, 개체 중심 검색이 강한 데이터셋이라서다.

재현 실험과 원 논문 보고값의 차이도 기록해 둘 만하다. HippoRAG 재현판은 MuSiQue에서 51.9에서 53.2로, 2Wiki에서 89.1에서 90.4로 각각 1.3%p 올랐고 HotpotQA에서는 77.7에서 77.3으로 0.4%p 내려갔다. 논문은 이 개선폭을 "1.3% increase in F1"이라 쓰지만 Table 3이 보고하는 값은 passage recall@5다.

recall@2 결과

reader를 GPT-4o-mini로 바꾼 HippoRAG 2는 recall@2 59.3에 recall@5 77.7을 기록해, Llama 판(61.1과 78.2)과 거의 같다. recall@2의 개선 추세도 recall@5와 비슷하다.

지속 학습 실험

NQ와 MuSiQue를 각각 네 등분해 한 구간을 평가용으로 두고 나머지를 순차적으로 corpus에 넣었다. 각 구간은 약 250개 질문의 정답 문서와 distractor를 담는다. distractor는 검색 후보로 함께 노출되지만 정답에는 필요 없는 문서를 뜻한다.

NQ에서는 두 방법 모두 60 부근을 유지하지만, MuSiQue에서는 corpus가 25%에서 100%로 늘어남에 따라 두 방법이 비슷한 속도로 내려간다. 논문은 이 차이를 근거로 앞으로의 지속 학습 벤치마크가 여러 난이도의 과제를 함께 담아야 한다고 주장한다.

Ablation

multi-hop QA의 passage recall@5다.

세 장치의 기여도가 뚜렷하게 갈린다. 질의 연결 방식이 가장 크고, passage node가 그다음이며, triple filter의 기여는 0.7%p로 작다. NER-to-node와 query-to-node에는 필터를 적용하지 않았으므로, query-to-triple의 우위는 필터 적용 여부와 무관하게 성립한다.

데이터셋별로 보면 2Wiki가 예외다. NER-to-node(91.2)와 필터 제거(90.7) 모두 기본 설정(90.4)보다 높다. 2Wiki는 개체 중심 질문이 많아 개체 매칭만으로도 충분한 경우가 많다는 뜻으로 읽힌다.

weight factor 탐색

passage node의 reset probability에 곱하는 weight factor를 바꿔 가며 잰 recall@5다. 두 dev set은 각각 1,000건이다.

MuSiQue는 0.05에서 최고치를 찍고 값을 키울수록 내려간다. NQ는 0.05와 0.1이 동률이고 변화 폭이 1.3%p로 작다. 두 데이터셋을 함께 보고 기본값을 0.05로 정했다. 값이 커질수록 passage node 쪽으로 확률 질량이 쏠려 그래프 전파의 이득이 줄어드는 흐름이다.

retriever 교체

MuSiQue 부분집합의 recall@5다.

세 retriever 모두에서 5%p 안팎의 이득이 유지된다. HippoRAG 2의 효과가 특정 임베딩 모델에 의존하지 않는다는 근거다.

reader 교체

GPT-4o-mini를 인덱싱과 QA reading에 함께 쓴 경우의 EM과 F1 평균이다.

reader를 바꿔도 순위가 뒤집히지 않는다. GPT-4o-mini 쪽에서도 HippoRAG 2가 평균 44.3 / 58.1로 가장 높고, LV-Eval에서 10.5 / 14.0으로 NV-Embed-v2의 7.3 / 10.0을 가장 크게 앞선다. LV-Eval은 지식 누출을 줄인 데이터셋이므로, 파라미터에 든 지식이 아니라 검색으로 답을 만든 정도가 여기서 드러난다.

정성 사례

simple QA 사례에서 NV-Embed-v2는 질문에 언급된 개체 passage를 1위로 올렸고 그것만으로 답이 나온다. HippoRAG 2는 triple 연결 단계에서 답인 Thrissur를 직접 찾아내고 그 passage까지 2위에 올렸다.

multi-hop 사례에서 NV-Embed-v2는 Erik Hort passage는 찾았지만 두 번째 단계로 넘어가지 못했다. HippoRAG 2는 query-to-triple 단계에서 Montebello passage를 끌어왔고 이어진 그래프 검색에서도 상위에 배치했다.

그래프 규모

Llama-3.3-70B-Instruct로 OpenIE를 수행한 경우의 KG 통계다.

어느 데이터셋에서도 synonym edge가 전체 edge의 압도적 다수를 차지한다. MuSiQue를 예로 들면 총 139만 9,367개 edge 중 synonym edge가 112만 5,951개로 약 80%다. 임계값 0.8이라는 설정이 그래프 규모를 결정하는 주된 변수임을 보여 준다.

OpenIE에 GPT-4o-mini를 쓰면 phrase node가 일관되게 늘어난다. MuSiQue에서 8만 5,288개가 10만 1,641개로, NarrativeQA에서 9,224개가 1만 5,365개로 늘어난다.

비용과 효율

MuSiQue corpus 1만 1,656개 passage 기준이다. 괄호 안은 HippoRAG 2를 100%로 놓은 비율이다.

모델 가중치가 차지하는 메모리는 모든 시스템이 공유하므로 제외했다. HippoRAG 2의 인덱싱 토큰은 HippoRAG와 같다. 그래프 구성 방식이 같고 passage node 추가에는 LLM 호출이 들지 않기 때문이다. GraphRAG와 비교하면 입력 토큰이 약 12분의 1, 질의당 시간이 약 9분의 1이다.

대신 GPU memory는 9.9GB로 비교 대상 중 가장 크다. triple 자체를 임베딩해 보관하기 때문이며, 논문은 성능 이득을 감안하면 받아들일 만한 절충이라고 본다. 시간과 메모리에서 표준 RAG보다 불리한 것은 모든 structure-augmented 방법에 공통되지만, 그중 성능으로 표준 RAG를 실질적으로 앞선 것은 HippoRAG 2뿐이라는 것이 논문의 정리다.

한계

오류 분석

recall@5가 1.0에 못 미친 샘플 100건을 분석했다. hop 분포는 2-hop 26%, 3-hop 41%, 4-hop 33%다.

필터 전 7%가 필터 후 26%로 늘어난다는 것은 recognition memory가 필요한 근거를 함께 걸러 냈다는 뜻이다. 필터 후 triple이 0개가 되는 18%는 필터의 오류라기보다 연결 시도 자체가 실패한 경우이고, 이때 HippoRAG 2는 dense retrieval 결과를 대신 쓴다.

그래프 구성 실패가 2%에 그친 점을 근거로, 저자들은 dense-sparse integration 덕분에 그래프가 활용 가능한 정보를 대체로 담고 있다고 판단한다. 남는 병목은 필터의 정밀도와 그래프 검색 두 가지다. 특히 마지막 항목이 크다. 연결까지는 제대로 됐는데도 절반의 경우에서 PPR이 정답 근거를 상위 5개 안에 올리지 못한다.

오류 사례 두 건

사례 1은 recognition memory가 관련 phrase를 모두 제거해 버린 경우다. 사례 2는 query-to-triple 단계에서 이미 엉뚱한 triple을 가져온 경우이며, 필터는 그중 두 개를 남겼지만 애초에 후보가 잘못돼 있었다. 원문은 사례 2에서 recognition memory가 핵심 phrase를 제대로 잡았음에도 그래프 검색이 상위 5개 안에 근거를 올리지 못했다고 서술한다.

비용 부담

인덱싱 99.5분과 QA GPU memory 9.9GB는 NV-Embed-v2의 12.1분과 1.7GB보다 크다. 질의당 시간도 1.2초로 NV-Embed-v2의 0.3초보다 네 배 길다. 실시간 응답이 필요한 환경에서는 이 차이가 제약이 된다.

associativity의 지속적 하락

corpus가 커질 때 MuSiQue 성능이 내려가는 흐름은 HippoRAG 2도 피하지 못한다. 그래프 구조가 절대 성능을 올리기는 하지만 corpus 확장에 따른 열화 속도 자체를 늦추지는 못한다.

자료 안의 불일치

원문 안에서 값이 어긋나거나 근거를 확인할 수 없는 대목이 두 군데 있다. 삭제하지 않고 기록해 둔다.

평가 조건의 제약

GraphRAG와 LightRAG 수치는 두 방법의 원논문 평가 설정이 아니라 이 논문이 정한 조건에서 나온 값이다. 두 방법 모두 Local 모드로 실행됐고, 응답은 HippoRAG에서 물려받은 QA 프롬프트로 다시 정형화됐다. LightRAG 평균 6.6처럼 극단적으로 낮은 값은 이 재정형화 과정을 함께 고려해 읽어야 한다.

핵심 용어

관련 페이지

• GraphRAG: From Local to Global: graph 기반 RAG의 원논문. 이 논문이 sense-making 계열 비교 대상으로 재현했고, Local 모드로 실행했다는 설정 차이를 함께 읽어야 한다.
• LightRAG: Simple and Fast Retrieval-Augmented Generation (EMNLP 2025): 그래프와 벡터 retrieval을 결합한 후속 연구. 이 논문의 재현 실험에서 QA 평균 6.6으로 가장 낮게 나온 방법이다.
• Graph-based RAG 세미나: LightRAG와 LeanRAG (DSBA, 2026): graph 기반 RAG 계보를 정리한 한국어 세미나. HippoRAG와 HippoRAG 2를 연구 흐름도에 배치하고 있으며, 계층 방법론인 HiRAG와는 별개 계보로 구분한다.
• Rethinking Retrieval: From Traditional Retrieval Augmented Generation to Agentic and Non-Vector Reasoning Systems in the Financial Domain for Large Language Models: retrieval을 도구 검색 관점에서 다시 본 논문. 검색 단위를 무엇으로 잡을 것인가라는 질문을 공유한다.