Stealing Reasoning Traces from Proprietary LLM APIs

요약

이 논문은 Anthropic, OpenAI, Google이 reasoning model의 chain-of-thought를 감추려고 도입한 암호화 reasoning 블록에 아키텍처 수준의 취약점이 있음을 보인 보안 연구다. chain-of-thought는 답을 내기 전 중간 추론을 텍스트로 펼쳐 test-time 연산을 늘리는 기법이다. provider는 이 사고를 서버에 저장하지 않고 암호화된 블록으로 클라이언트에 돌려준 뒤 다음 요청마다 되받는데, 저자들은 그 블록이 같은 provider 생태계 안에서 다른 세션, 다른 사용자, 다른 모델 사이에서 완전히 호환되고 교체 가능하다는 점을 밝힌다.

핵심 발상은 모델 계열 내부의 보안 비대칭을 이용하는 것이다. Claude Opus 4.8이나 GPT-5.6 Sol 같은 frontier 모델은 내부 사고 노출을 거부하도록 강하게 학습됐지만, Claude Haiku 4.5나 GPT-5.6 Luna 같은 약한 형제 모델은 비용과 속도에 맞춰 이런 방어가 얕다. 강한 모델이 만든 encrypted reasoning trace를 약한 모델에 주입하고 그대로 옮겨 적으라고 하면 약한 모델이 평문으로 받아 적는다. 즉 강한 모델을 한 번도 직접 jailbreak하지 않고 그 모델의 reasoning을 훔친다. jailbreak는 모델의 안전 거부를 우회해 원래 막힌 출력을 끌어내는 공격을 말한다.

저자들은 이 하나의 취약점이 네 가지 공격 벡터를 연다고 정리하고 세 provider에서 실증한다. proprietary reasoning의 distillation, 공개 trace에서 제3자가 credential과 개인정보를 빼내는 secret 추출, 최종 답변에는 없는 유해 정보를 reasoning에서 꺼내는 jailbreak, 암호화 블록에 악성 지시를 숨기는 prompt injection이다. 공개 저장소에서 수집한 agent trajectory 6,708개의 reasoning 블록 315,320개를 복호화해 PII artifact 367개와 credential 182개를 복원한 결과가 이 가운데 가장 구체적인 증거다. 책임 있는 공개 이후 저자들은 서버 저장 전환과 암호학적 contextual binding을 비롯한 완화책을 제안했고, 2026년 8월 시점에는 provider의 조치로 같은 공격이 재현되지 않는다.

배경

reasoning model과 숨겨진 chain-of-thought

frontier 대형 언어 모델은 점점 reasoning model로 진화했다. 사용자에게 보이는 응답을 내기 전에 긴 내부 chain-of-thought를 생성하는 방식이 성능과 복잡한 문제 해결에서 큰 도약을 이끌었다(Jaech 2024). 그런데 이 숨은 trace는 내부 독백처럼 동작해서 최종 출력보다 훨씬 밀도 높고 민감한 정보를 담는다. 중간 가설, 도구 출력, 사용자 데이터, 맥락상의 secret이 그 안에 들어 있다.

이 trace를 평문으로 노출하면 두 가지 위험이 생긴다. 첫째, 경쟁사가 reasoning을 수집해 model distillation에 쓸 수 있다(Muennighoff 2025). distillation은 큰 모델의 출력을 작은 모델이 흉내 내게 학습시키는 압축 기법이다. 내부 독백은 모델이 문제를 푸는 방법뿐 아니라 학습 기법까지 드러낼 수 있어서 경쟁 시스템 개발자에게 특히 가치가 크다. 둘째, 내부 안전 메커니즘과 refusal 메커니즘이 드러나거나 유해 정보가 노출될 수 있다(Green 2025, Mao 2026). 그래서 Anthropic, OpenAI, Google을 포함한 현대 API provider는 평문 reasoning을 폐기했다.

암호화 블록이라는 설계 선택

provider는 chain-of-thought를 불투명한 암호화 텍스트 블록으로 클라이언트에 돌려준다. 서버 저장 비용 없이 multi-turn 대화의 연속성을 유지하려고 클라이언트가 이 블록을 이후 모든 API 요청에 되돌려 보내게 한다. 이 stateless 설계가 저장 문제를 풀지만 동시에 치명적인 취약점을 만든다. 클라이언트 저장에 기대려면 암호화 블록이 맥락, 사용자, 모델을 넘어 이식 가능해야 하기 때문이다.

선행 관찰과 이 논문의 확장

Green(2026)은 2026년 5월 블로그 글에서 이 암호화 블록이 원래 맥락 밖에서도 이식 가능하다는 점을 보였다. 클라이언트가 블록을 순서를 바꾸거나 세션을 넘어 재생할 수 있다는 관찰이다. 이 논문은 그 관찰을 두 단계 더 밀어 같은 provider 생태계 안에서라면 다른 사용자와 다른 모델 사이에서도 블록이 완전히 호환되고 교체 가능함을 보인다. 그리고 그 호환성을 확장 가능한 복호화 jailbreak로 만든다.

논문은 본문 13페이지와 부록 다섯 개로 이뤄진 116페이지 분량이다. 본문이 취약점과 추출 공격을 다루고 부록이 실험 세부와 완화책을 담는다.

논문의 기여는 네 가지다.

핵심 개념

encrypted reasoning block과 AEAD envelope

모델이 reasoning을 생성하면 API는 사람이 읽는 부분을 통째로 숨기거나 크게 요약한 extended-thinking 블록을 돌려준다. 그러나 서버 저장을 피하기 위해 실제 chain-of-thought payload는 base64로 인코딩된 불투명 signature 또는 암호화 payload로 그 블록 안에 함께 담긴다. 이 문자열은 AEAD(Authenticated Encryption with Associated Data) envelope로 동작한다. AEAD는 내용을 암호화하면서 동시에 변조 여부를 검증할 수 있게 하는 암호 방식이다.

envelope의 구성은 provider에 따라 다르지만 대체로 다음을 담는다.

signature는 associated data 역할로 MAC(Message Authentication Code)에 해시된다. 이 덕분에 provider는 서버에 아무것도 저장하지 않고도 블록을 검증하고 재생할 수 있다. API 통합에 따라 이 envelope는 signature나 thinkingSignature 같은 필드로 다음 호출에 되돌아간다. 2026년 7월 기준 어떤 provider도 사용하는 암호 메커니즘을 상세히 공개하지 않았다.

세 가지 운영 기능

이 설계는 세 가지 운영 목표를 동시에 겨냥한다.

문제는 statelessness가 나머지 두 기능과 긴장 관계라는 점이다. 클라이언트 저장에 기대려면 블록이 맥락, 사용자, 모델을 넘어 이식 가능해야 한다. 이 이식성은 reasoning 토큰을 버리지 않고 모델을 매끄럽게 바꾸거나 자동으로 재라우팅하는 기능을 가능하게 한다. provider는 같은 대화 안에서 같은 모델만 복호화하도록 제한할 수도 있었지만, 대부분의 API는 더 넓은 호환성을 허용하는 단순한 전략을 택했다. 실험 결과 provider들은 모든 reasoning 블록을 하나의 global key로 암호화하고 인증하는 것으로 보인다.

세 층위의 호환성

논문은 허용 범위가 넓어지는 순서로 호환성을 셋으로 나눈다. 층위가 넓어질수록 더 넓은 공격 부류가 열린다.

보안 비대칭과 디코더 모델

취약점의 뿌리는 모델 계열 내부의 보안 비대칭이다. frontier 모델은 내부 chain-of-thought 공개를 막는 고급 refusal 학습을 받는다. refusal 학습은 모델이 특정 요청을 거부하도록 학습시키는 것을 뜻한다. 반면 같은 계열의 약한 형제 모델은 비용과 속도에 최적화되어 이런 엄격한 anti-distillation 방어가 없는 경우가 많다. 공격자는 유효하고 인증된 암호 블록을 이 보안 격차 너머로 옮긴다. 그러면 frontier 모델의 alignment를 통째로 우회하면서 더 약하고 순응적인 모델을 뜻하지 않은 복호화 oracle로 쓰게 된다. alignment는 모델 행동을 인간 의도에 맞추는 문제이고, oracle은 여기서 질문하면 답을 내주는 장치를 뜻한다.

이 논문에서 디코더 모델이라는 표현은 강한 모델의 암호 블록을 평문으로 풀어내는 데 동원되는 같은 provider의 약한 모델을 가리킨다. 저자들은 이를 "fuzzy" 디코더라고 부른다. 확률적으로 생성하므로 원문과 완전히 같다고 보장하지 못하기 때문이다.

두 공격자 프로필

공격자는 표준적인 비특권 API 사용자다. provider 인프라 내부 접근, 서버 상태 관찰, 모델 가중치 접근이 모두 없고 표준 API 사용 범위 안에서만 움직인다. 논문은 이 안에서 두 프로필을 구분한다.

두 프로필의 공통 전제 조건은 provider 생태계 안에 호환되는 디코더 모델이 있다는 것이다.

이 페이지에서 쓰는 공격 용어

prompt injection은 모델이 읽는 입력에 공격자의 지시를 숨겨 넣어 의도하지 않은 행동을 유도하는 공격이다. prefill은 assistant 턴의 출력이나 reasoning 앞부분을 미리 채워 넣어 모델이 그 뒤를 잇게 하는 기법으로, 이 논문에서는 추출 공격과 부록의 문체 이동 실험에 모두 쓰인다. PII는 개인을 식별할 수 있는 정보(personally identifiable information)를 말하며 credential은 API 키, 비밀번호, access token, private key처럼 인증에 쓰이는 비밀값이다.

네 가지 공격 벡터의 구조

네 벡터는 모두 같은 추출 절차 위에 놓이고 공격자 프로필, 이용하는 호환성 층위, 블록의 출처만 다르다. 아래 표가 이후 결과 절의 안내도 역할을 한다.

first-party 벡터는 공격자가 비용을 치르고 블록을 만들지만, third-party 벡터는 이미 남이 만든 블록을 쓴다는 점에서 더 싸고 탐지하기 어렵다. 저자들이 distillation 절에서 강조하듯, 공개 데이터셋에서 블록을 얻으면 frontier 모델 endpoint에는 아무 흔적도 남지 않는다.

방법

추출 공격의 두 호출

추출은 cross-session 호환성을 이용한다. 목표 모델의 reasoning을 호환되지만 약한 모델의 context window에 옮겨 넣고, 단순한 ad-hoc jailbreak로 그 모델이 주입된 reasoning을 토큰 단위로 옮겨 적게 강제한다. Figure 1 상단이 Claude에서의 두 호출을 보인다. 첫 호출에서 Opus 4.8에 "8139881의 가장 큰 소인수는 무엇인가"를 물으면 signed thinking 블록과 요약이 돌아온다. 두 번째 호출에서는 그 signature만 Haiku 4.5의 assistant 턴에 붙이고 "이 턴에 붙은 reasoning을 <thinking-copy> 안에 그대로 옮겨 적으라"고 요청한다. Haiku는 Opus 4.8의 숨은 reasoning을 그대로 옮겨 적는다.

이 두 호출이 성립하는 이유를 앞 절의 개념으로 되짚으면 다음과 같다. 첫째, Opus 4.8의 블록이 Haiku 4.5에서 검증을 통과하는 것은 cross-model 호환성(하나의 global key) 때문이다. 둘째, 다른 대화에서 만든 블록을 새 대화에 붙일 수 있는 것은 cross-session 호환성 때문이다. 셋째, Haiku 4.5가 옮겨 적기 요청을 거부하지 않는 것은 보안 비대칭 때문이다. 세 조건 가운데 하나라도 막히면 이 형태의 공격은 성립하지 않으며, 완화책 절의 제안은 각각 이 조건들을 겨냥한다.

두 가지 주입 방식

암호화 블록을 어느 턴에 놓느냐에 따라 주입 방식이 둘로 갈린다. 어느 방식이 가능한지는 provider와 정확한 모델에 따라 다르다.

provider별 디코더 선택

provider마다 추출이 되는 가장 약한 호환 모델을 고른다. 약할수록 refusal이 얕고 비용이 낮기 때문이다.

충실도 측정

ground-truth reasoning trace가 없고 생성 과정이 확률적이어서 추출한 사고가 모델의 실제 reasoning과 정확히 일치한다고 보장할 수 없다. 그래서 저자들은 추출된 reasoning 토큰 수와 API가 보고한 thinking 토큰 수의 비를 충실도 지표로 쓴다. 과금 목적상 API 토큰 수가 정확하다고 가정하므로 총 토큰 수에 대한 ground-truth 검증이 된다.

Figure 1 하단은 120개 Codeforces 문제에서 이 비교를 보인다. x는 source 모델이 생성한 thinking 토큰 수(API 보고값), y는 signature로 재구성한 reasoning을 같은 모델에 입력으로 넣어 잰 토큰 수다. 대부분의 입력에서 두 값은 모든 테스트 모델에 걸쳐 밀접하게 일치해 점이 y=x 선 위에 놓인다. 추가 검증으로 Figure 8은 추출한 reasoning이 native 요약보다 질적으로 더 상세하고, 입력에 없던 API 토큰과 개인정보 같은 민감 정보까지 드러냄을 보인다.

직접 jailbreak와의 비교

더 유능한 모델을 직접 추출 공격하는 것도 가능하다. 그러나 그 경우 공격자는 두 겹의 방어를 함께 뚫어야 한다.

호환되는 reasoning을 가진 덜 유능한 모델이 있으면 추출 난이도가 크게 낮아진다. Haiku 4.5 실험은 Figure 1의 모든 공격에 고정 추출 프롬프트 하나를 썼다. 반면 상대적으로 더 유능한 GPT-5.6 Luna는 reasoning 블록마다 다른 프롬프트 템플릿, best-of-n 샘플링, anti-distillation 안전장치를 피하기 위한 ad-hoc 우회가 필요했다. 우회의 예로 생성 토큰 50개 미만의 chunk로 추출을 나누는 방법이 있다.

평가 설정

모든 평가는 같은 기본 추출 절차를 쓴다. 암호화 reasoning 블록을 얻어 provider별 파이프라인으로 호환 디코더 모델에 재생한다. 평가는 블록을 어떻게 모으느냐만 다르다.

provider별 추출 절차

부록 C는 provider별 절차와 요청 템플릿(Figure 33~39)을 싣는다. 이 페이지는 템플릿 자체를 옮기지 않고 논문이 보고한 절차의 골격과 어려움만 정리한다.

reconciliation은 잡음 섞인 복호화 여러 개를 원본 signed thought와 함께 더 강한 모델에 주어 하나의 충실한 전사로 합치는 단계다. Claude의 경우 이 요청은 user 턴으로 끝나므로 assistant prefill에 기대지 않는다.

결과

cross-model 호환성

Table 1은 2026년 7월 기준 세 provider의 cross-model 호환성을 정리한다. 행이 암호화 블록을 만든 source 모델, 열이 주입받는 target 모델이며 체크는 target이 주입된 사고와 상호작용함을 뜻한다.

Claude는 Fable 5의 사고만 예외다. Fable 5가 만든 블록은 Fable 5만 재생하지만, Fable 5는 다른 모든 모델의 블록을 받는다. 나머지 모델의 사고는 서로 자유롭게 재생된다.

GPT는 세대 구조가 다르다. GPT-5.6 계열(Sol, Terra, Luna)은 이전 세대(GPT-5, GPT-5-mini, o4-mini)의 trace를 전부 재생하지만, 이전 세대 모델은 자기 자신과 5.6 계열의 trace만 받는다. 그래서 가장 약한 5.6 모델인 Luna가 모든 GPT 모델의 디코더가 될 수 있다.

Gemini는 가장 넓다. Gemini 3.1 Pro, 3 Pro, Robotics 1.6, 3.5 Flash, 3 Flash, 3.1 Flash Lite 어느 모델의 사고든 어느 모델에나 재생된다. Table 1에는 3.x 세대만 있지만 2.4절은 Robotics 1.6이 2.5 계열의 trace도 처리하는 반면 3.1 Flash Lite는 2.5 계열과 상호작용하지 않는다고 덧붙인다.

세 표를 디코더 선택과 함께 읽으면 공격의 경제성이 보인다. Claude에서는 Fable 5를 제외한 모든 모델의 블록을 가장 싼 Haiku 4.5가 받고, GPT에서는 5.6 계열이 이전 세대를 모두 받으므로 5.6 계열 중 가장 싼 Luna 하나가 o4-mini부터 Sol까지의 디코더가 되며, Gemini에서는 어떤 모델이든 디코더가 될 수 있어 저자들은 2.5 계열까지 처리하는 Robotics 1.6을 골랐다. 즉 provider마다 값싼 모델 하나가 계열 전체의 복호화 oracle이 된다.

추출 충실도와 요약 대비 정보량

Figure 1 하단의 산점도가 다루는 모델은 Anthropic 6종(Opus 4.8, Opus 4.6, Sonnet 5, Sonnet 4.6, Sonnet 4.5, Haiku 4.5), OpenAI 6종(GPT-5.6 Sol, Terra, Luna, GPT-5, o4-mini, GPT-5-mini), Google 5종(Gemini 3.5 Flash, 3.1 Pro, Robotics 1.6, 3 Flash, 3.1 Flash Lite)이다. 세 provider 모두에서 점 대부분이 y=x 대각선 위에 놓여, 복원한 reasoning의 길이가 API가 과금한 thinking 길이와 일치한다.

부록 C.4는 provider가 노출하는 요약이 얼마나 짧은지 잰다. Claude의 extended-thinking API는 짧은 요약만 돌려주고(display: summarized) OpenAI Responses API도 별도 summarizer의 출력만 보여준다(summary: auto). Figure 40은 Codeforces 문제별로 숨은 thinking 토큰 수(x, API 보고값) 대비 표시된 요약 토큰 수(y, API 입력 토큰으로 재계산)를 Claude 모델 6종에 대해 그린다. 모든 모델에서 요약이 y=x 선 훨씬 아래에 깔리고, 숨은 reasoning이 1만 2천 토큰의 생성 한계에 닿은 문제에서도 표시된 요약은 약 6천 토큰을 넘지 않는다. signature 복호화는 거의 전체 trace를 복원하므로 provider가 요약으로 노출하는 것보다 약 5배 많은 reasoning을 드러낸다.

공격 벡터 1 distillation

표준 black-box 모델 추출과 distillation 공격은 API 접근 권한을 가진 적대적 개발자가 관측 가능한 출력을 student 모델의 학습 데이터로 쓰는 상황을 가정한다(Tramèr 2016). reasoning model에서는 proprietary chain-of-thought까지 복원하려는 더 강한 공격자를 상정한다. 목표 모델에서 reasoning을 직접 끌어내는 것도 일부 설정에서 가능하지만(Anthropic 2026a) 비용이 크고 모델 수준 refusal과 시스템 수준 anti-distillation 완화로 점점 제약된다. 공격자는 대신 암호 payload를 잡아 refusal 능력이 약하고 모니터링이 덜한 작고 경제적인 디코더 모델에 재생한다.

암호화 블록을 기존 공개 데이터셋이나 개발자 세션 로그에서 수집할 수 있으면 공격은 훨씬 싸진다. 비싼 reasoning은 이미 다른 사용자가 생성했으므로 공격자는 frontier 모델에 한 번도 질의하지 않고 보조 디코더 모델만 호출한다. 따라서 frontier 모델 endpoint에서 의심스러운 질의나 추출 행동을 감시하는 방어는 추출 시도를 아예 관측하지 못할 수 있다.

reasoning이 있는 distillation이 왜 더 위험한지는 supervision 신호의 밀도로 설명된다. 출력만으로도 sequence-level distillation과 black-box 모방은 이미 가능하다(Kim and Rush 2016, Wallace 2020, Gudibande 2024, Ye 2025). 그러나 최종 답변은 teacher 연산의 끝점만 드러내는 반면 reasoning trace는 중간 풀이 trajectory를 드러낸다. student는 정답 뒤의 잠재 연산을 추론할 필요 없이 일반 next-token 학습만으로 teacher의 문제 분해, 중간 추론, 풀이 전략을 직접 모방한다. 이 차이가 answer-only distillation 대비 큰 하류 이득으로 이어지고(Zhang 2026a) student에서 원래 확률이 낮던 올바른 풀이 trajectory를 드러낼 수 있다(Javaheri 2026).

경제성도 높다. 현재 Claude Haiku 4.5 요금 기준으로 입력과 출력 창을 각각 1만 2천 토큰으로 잡고 trace 1만 개를 복호화하는 명목 비용은 표준 API 요율로 약 720달러다(Anthropic 2025).

복호화한 trace는 fine-tuning 데이터 외의 쓰임도 있다. 다른 모델이 proprietary 출처의 reasoning에 유난히 강하게 반응하는지 보는 행동 탐침이다. 탐색적 분석에서 Kimi-K3(Kimi Team 2026)에 복호화한 Opus 4.8 reasoning의 짧은 조각을 prefill하면 이후 reasoning 문체와 가시 답변 문체가 Claude 쪽으로 옮겨가고, 일부 경우에는 거의 같은 가시 답변이 나온다(Figure 3). 부록 B가 이를 정량화하며 아래 절에서 다룬다.

공격 벡터 2 jailbreak

이 벡터는 학습 목표의 틈을 이용한다. 모델은 사용자 대면 출력에서 유해 정보를 억제하도록 학습되지만 유해 주제를 reasoning하는 것 자체를 피하도록 학습되지는 않는다. chain-of-thought 내용을 직접 최적화하면 바람직하지 않은 chain-of-thought 압력이 생겨 monitorability가 떨어질 수 있기 때문이다(Baker 2025, Carroll 2026). 따라서 공격자는 모델이 유해 주제를 reasoning하되 출력 필터를 통과하는 무해하거나 정보 없는 최종 답변만 내도록 유도한 뒤, 추출한 reasoning trace에서 유해 정보를 복원한다.

개념 증명은 세 단계다.

Figure 4의 예시에서 가시 답변은 자동차 제조사가 도난 방지를 위해 무엇에 집중해야 하는지만 말하지만, 복호화한 reasoning은 특정 제조사와 연식, 구체적인 도난 수법을 담는다. 이는 open-weight reasoning 모델의 chain-of-thought에 대한 Zhou(2025)의 선행 관찰과 일치한다.

공격 벡터 3 secret 추출

reasoning trace가 재현성을 위해 공개되거나(예: PostTrainBench, Rank 2026) 맥락을 넘어 전달되면 다른 사용자가 접근할 수 있다. 한 사용자 세션에서 만든 암호화 trace를 다른 사용자가 별도 세션에서 재생할 수 있다는 성질이 이 공격을 실용적으로 만든다. trace를 공개하는 사용자가 익명화와 정제를 하더라도 평문 수준에서만 가능하고 암호화 블록 안의 reasoning은 놓친다. 더 나쁜 것은 민감 정보가 reasoning 블록에 숨어 있음을 알아도 사용자에게 복호화 수단이 없어서, 삭제 외에는 안전하게 정제해 공유할 방법이 없다는 점이다.

대규모 추출의 규모. GitHub와 Hugging Face에서 Claude, GPT, Gemini 모델이 만들었고 reasoning 블록을 아직 담고 있는 공개 agent trajectory 6,708개를 모았다. 서명된 모든 블록에 복호화 방식을 적용해 315,320개의 reasoning trace를 복원했고, 각 trace를 LLM-as-a-Judge로 라벨링해 개인정보 침해 가능성을 표시했다.

블록 기준 0.3%와 세션 기준 4.9%의 차이는 한 세션이 수십 개의 reasoning 블록을 담기 때문이다. 즉 블록 하나만 보면 드물어 보여도 세션 스무 개 중 하나꼴로 실제 민감 항목이 새어 나온다. 벤치마크 trace가 개인정보의 상당 부분을 차지하는 이유는 ClawBench(Zhang 2026b) 같은 agent rollout이 모델에 완전한 합성 페르소나를 주고 reasoning하게 하기 때문이다.

Figure 5는 두 실제 예시를 보인다. 저장소 정제를 요청받은 GPT-5.2 Codex agent가 제거해야 할 API 키(AWS secret, HuggingFace token)를 reasoning 안에 다시 적은 경우와, Claude Sonnet 4.6이 ClawBench 항공권 예매 과제에서 합성 페르소나 Alex Green의 이름, 이메일, 여권 번호, 생년월일, 신용카드 번호를 reasoning에 나열한 경우다. Alex Green은 실제 인물이 아니라 벤치마크의 합성 신원이다.

가시 이력에 없던 정보. 실제 사용자 세션에서 복원한 artifact 704개 중 64개는 가시 채팅 이력에 전혀 없었다. 이 항목은 모델의 메모리에서 조용히 암호화 reasoning에 들어갔거나, 사용자가 공유 전에 가시 텍스트를 지운 뒤 암호 payload에 갇혀 남은 것일 수 있다. 반복되는 유발 조건은 대화 정리다. 사용자가 agent에게 세션을 익명화하거나 "정리"해 달라고 하면, 모델이 숨은 reasoning에서 전체 이력을 다시 읽고 제거해야 할 민감값을 거기에 다시 적는다. 정제 요청 자체가 새로운 누출을 만드는 셈이다.

2단계 라벨링 파이프라인. 복원한 모든 reasoning 블록은 두 단계를 거친다.

1차 라벨러의 taxonomy는 meta 범주 다섯 개와 그 아래 하위 유형으로 고정되어 있다. 라벨러는 실제로 있는 값만 그대로 인용해 보고하고 추측하지 않도록 지시받는다.

2차 판정기는 값의 형태만 본다. 키가 폐기됐거나 만료됐거나 "테스트용"이라는 주장은 고려하지 않고, 잘 형성된 진짜 secret이면 그대로 센다.

한 블록에 비artifact와 진짜 artifact가 함께 있으면 전체를 REAL로, 판단이 정말 갈리면 REAL로 해소한다. Table 4는 범주별로 각 단계의 수를 따라간다.

Figure 6의 세 범주 합계 912개는 중복 제거 열에서 기타 29개를 뺀 값이다. 개인정보 7개 범주의 합이 367개, credential 4개 범주의 합이 182개, 기술 식별자 6개 범주의 합이 363개다. 비벤치마크 열에도 벤치마크 세션에 사용자가 실제로 들여온 artifact가 섞여 있을 수 있다는 점을 저자들은 명시한다.

reasoning에만 있는 artifact는 704개 중 64개로 약 9%지만 저자들은 이 비율이 핵심이 아니라고 본다. 암호화 reasoning의 cross-user 호환성은 평문만 정제하는 것을 무력화하므로, 모든 사용자가 가시 trace의 민감 정보를 전부 지웠더라도 분석에서 확인된 API 키 62개는 reasoning 블록에 그대로 노출됐을 것이다.

ground truth가 있는 합성 데이터. 같은 합성 브라우저 과제로 여러 모델을 평가하는 ClawBenchV2Trace에서 Claude Opus 4.7의 공개 run 75개와 GPT-5.5의 run 81개를 분석해 합성 페르소나의 어느 필드가 각 모델 reasoning에 드러나는지 확인했다(Table 5).

두 agent가 같은 과제를 풀더라도 같은 정보가 두 모델의 reasoning trace에 그대로 나타난다고 보장할 수 없으므로 완전히 통제된 비교는 아니다. 한 provider에서 복원되고 다른 쪽에서 안 됐다고 해서 복호화 실패를 뜻하지는 않는다.

정성 예시. 부록 D.3은 실제(비벤치마크) 세션에서 복원한 예시를 민감 부분을 XXXXX로 가려 싣는다.

실험의 범위. 이 실험은 공개 세션 trace에 대한 비전수 탐색이다. 로컬 trace 저장이나 프로덕션 서비스의 trace처럼 다른 시나리오에서는 PII와 secret 누출이 훨씬 넓게 퍼져 있다고 가정할 수 있으며, 발견된 취약점으로 악의적 제3자의 복호화가 가능해지면서 이런 시스템 운영자에게 상당한 컴플라이언스 위험이 생긴다.

공격 벡터 4 prompt injection

자동화 연구 과제(Rank 2026, Panfilov 2026) 같은 long-horizon agentic 워크플로는 처음부터 재현하기에 비용이 크다. 사용자는 이전 연산을 반복하지 않고 긴 trajectory에 쌓인 중간 상태를 보존하려고 공개되거나 공유된 run을 이어서 실행하고 싶어 한다. 암호화 reasoning trace가 이런 이어 실행을 가능하게 하지만 동시에 prompt injection 공격 표면을 연다.

공격 흐름은 다음과 같다. 공격자는 악의적 지시를 내재화한 불투명 reasoning 블록을 온라인 trace나 공유 세션에 심는다. 피해자는 모르고 그 블록을 다른 세션에서 재생한다. 내장된 지시는 데이터 유출이나 악성 trace의 다른 세션 전파를 명령할 수 있다. 일단 받아들여지면 서명된 reasoning 블록은 모델 자신의 이전 reasoning으로 해석되어 이후 행동에 큰 영향을 준다. 기존 prompt injection과 달리 payload가 가시 텍스트가 아니라 숨은 reasoning에 있어서 사용자와, 관측 가능한 대화만 검사하는 외부 모니터가 접근할 수 없다.

첫 실험은 악성 사고가 모델 규모(o4-mini에서 GPT-5.6 Sol)와 과제(백업 지시에서 슬라이드 편집)를 넘어 전파되면서 모니터가 잡을 평문 흔적을 남기지 않음을 보인다. 두 번째 실험은 공개 벤치마크의 실제 long-horizon trace에서 같은 일이 일어남을 보인다.

공개 모델의 distillation 의심 분석

부록 B는 공격으로 얻은 reasoning trace를 공개 모델의 trace와 비교해 distillation 우려에 대한 증거가 있는지 살핀다. 저자들은 이 분석이 distillation을 인과적으로 입증할 수 없다고 먼저 못 박는다. 분석은 provider가 취약점을 고친 뒤 수행됐고, 작고 벤치마크에 치우친 문제 집합, ground truth와 다를 수 있는 fuzzy 추출 trace, 저자들이 통제하지 못하는 서빙 구성에서 만든 생성물에 기댄다.

대부분의 실험은 reasoning prefill을 쓴다. 복호화한 Claude Opus 4.8 또는 GPT-5.6 Sol reasoning의 짧은 조각을 open-weight 모델 reasoning 앞에 넣고 자유롭게 잇게 한다. 비교 조건은 prefill 없음(native reasoning)과 self-prefill(자기 이전 reasoning의 접두)이다. 가시 답변은 항상 자유 생성이고 prefill하지 않는다.

세 가지 발견이 요약된다. 첫째, Kimi-K3는 Opus reasoning prefill로 가시 답변 문체까지 대응하는 Opus 답변 쪽으로 바뀐다. 둘째, 복호화한 Opus와 Sol 텍스트 구간의 perplexity를 Kimi-K3와 GLM-5.2로 평가하면 Inkling이나 DeepSeek-V4-Flash보다 훨씬 잘 모델링한다. 셋째, 짧은 Opus prefill이 Kimi-K3와 GLM-5.2의 reasoning 문체를 Opus식으로, Sol prefill이 Kimi-K3를 Sol 쪽으로 옮기며 DeepSeek-V3.1과 Inkling은 비슷한 변화를 보이지 않는다. 이 관찰은 시사적이지만 결정적이지 않다. 실험한 개입 아래에서 비정상적인 행동 호환성을 세우지만 암기나 distillation의 인과 주장은 세우지 못한다.

출력 문체 이동

Barbero(2026)를 따라 같은 문제에서 Kimi-K3와 대조 모델 Inkling의 best-of-k 답변이 Opus 4.8 답변과 얼마나 겹치는지 잰다. 문제마다 세 답변을 비교한다. Opus 4.8 참조 답변, prefill 없는 답변, 복호화한 Opus reasoning의 앞 1%를 prefill한 뒤의 답변이다. prefill 길이는 Kimi-K3 토크나이저로 잰다. k는 1, 10, 50, 100이고 각 배치에서 Opus 가시 답변 앞 100토큰과 공유하는 1-, 2-, 3-gram이 가장 많은 완성을 고른다. 100토큰 제한은 길이 편향을 통제한다. HLE 30문제(STEM 15, 비STEM 15)를 쓴다.

Figure 9에서 Kimi-K3의 prefill 곡선은 k가 커질수록 대조 곡선에서 멀어지는 반면 Inkling의 두 곡선은 거의 겹친다. Table 3이 범주별 값과 유의성을 준다. 차이 열은 prefill 조건과 대조 조건의 차이, p는 문제별 차이에 대한 양측 paired t-test 값이다.

Kimi-K3는 30문제 중 29문제에서 prefill 조건이 더 큰 n-gram 겹침을 보였고, k 평균 best-of-k 겹침이 STEM에서 0.15, 비STEM에서 0.09 올랐다. Inkling은 비슷한 효과가 없었다. 아래 블록의 대조 실험은 이 효과가 cross-model prefill 일반에서 오는지 Opus 4.8 reasoning에서 특별히 오는지 가른다. Kimi-K3에 Inkling reasoning 앞 1%를 넣고 Inkling 답변과 비교하거나 그 반대로 했을 때, 여덟 비교에 Bonferroni 보정을 하면 네 대조 비교 중 어느 것도 유의하지 않고 Opus prefill의 Kimi-K3 두 행만 세 자릿수 차이로 유의하게 남는다.

부록 B.2.2와 B.2.3은 STEM 8문제와 비STEM 5문제의 정성 예시(Figure 11~23)를 싣는다. 각 예시는 앞 100 가시 답변 토큰의 1-, 2-, 3-gram 겹침을 prefill 최선 완성과 대조 최선 완성으로 비교한다.

13개 예시 모두에서 prefill 겹침이 대조 겹침보다 크다. 가장 큰 차이는 Figure 11의 기하 문제(0.80 대 0.18)이고 가장 작은 차이는 Figure 22의 Beatles 문제(0.43 대 0.37)다. Figure 3의 예시(Bose-Hubbard ring 문제)에서는 prefill한 Kimi-K3의 가시 답변이 Opus의 "## Setting Up the Problem" 헤딩과 hard-core boson, Jordan-Wigner 변환 서술을 거의 그대로 재현한다.

확률적 추출

행동 유사성이 곧 암기를 뜻하지는 않는다. 그래서 저자들은 open-weight 모델이 복호화한 trace의 짧은 구간을 그대로 재현할 수 있는지 Hayes(2025)의 확률적 추출 틀로 잰다. k=16 토큰 구간 z에 대해 teacher-forcing 한 번으로 temperature 1 샘플이 그 구간을 정확히 재현할 확률 p_z를 얻고, n번 질의 안에 추출할 확률을 1-(1-p_z)^n으로 계산한다. 즉 모델을 실제로 수십억 번 샘플링하는 대신 토큰별 확률의 곱으로 "이 구간이 몇 번 만에 나올 것인가"를 계산하는 방식이라, 결과는 질의 수 n에 대한 누적 확률 곡선으로 나온다. 곡선이 왼쪽에 있을수록 적은 질의로 재현된다는 뜻이고, 10^15회 질의에도 0에 가까우면 실용적으로 재현 불가능하다.

native reasoning trace는 OpenRouter에서 temperature 1.0, 완성 예산 최대 13만 1천 토큰으로 샘플링했다. 서빙 차이가 중요한 한계다. 예를 들어 Kimi-K3를 full precision으로 실행하려면 B300 GPU 8개 노드가 필요해 모델 구현 차이와 provider별 효과를 통제하지 못하며, 이 차이가 보고된 perplexity에 크게 영향을 줄 수 있다. 데이터는 B.2의 HLE 30문제와 그 복호화 Opus 4.8 reasoning과 가시 답변, 그리고 GPT-5.6 Sol과 Opus 4.8 모두 재구성 오류가 낮은 AIME25 10문제다.

전체적으로 복호화 trace의 직접 verbatim 암기는 지지되지 않고, 짧은 reasoning prefill은 reasoning 채널을 조금만 움직인다. 효과는 가시 답변에 집중된다. 자기 reasoning 조건 대비 source trace를 context에 두면 Opus 4.8 답변 재현 비용이 Kimi-K3와 GLM-5.2에서 약 13자릿수, Kimi-K2.6에서 3자릿수 낮아진다. 즉 Kimi-K3와 GLM-5.2는 source 모델 trace가 유도하는 가시 답변 패턴을 이어 쓸 가능성이 유난히 높다.

perplexity

정확한 재현이 짧은 구간의 문제라면 perplexity는 어느 reasoning trace를 각 채점기가 native로 취급하는지 묻는 더 넓은 질문이다. perplexity는 모델이 다음 토큰을 얼마나 못 맞히는지 재는 지표로, 낮을수록 그 텍스트가 모델에게 자연스럽다. reasoning trace t와 문제 q에 대해 채점기의 native chat template을 reasoning 채널 시작까지 렌더링하고 t의 토큰을 붙인 뒤 reasoning 토큰에 대해서만 조건부 log 확률을 계산한다.

Figure 1과 같은 Codeforces 120문제를 쓴다. open-weight 모델마다 native trace를 만들어 다른 모든 채점기로 평가하고, proprietary 모델은 원 문제를 user 턴에, target trace를 채점기 chat template의 reasoning 채널에 넣는다. 복호화 대 과금 토큰 비 r이 |1-r|<0.05인 trace만 남기므로 모델별 trace 수가 54개(Sonnet 4.6)에서 120개까지 다르다.

저자들은 perplexity가 거친 지표라 미세한 분포 적합을 못 잡을 수 있으므로 모델 유사성의 확정 척도로 해석하지 말라고 적는다.

reasoning 문체 이동

distillation 탐지는 활발한 연구 분야다. Lee(2025)는 identity 누출과 응답 유사성으로, Rawat(2026)은 membership inference로 student의 teacher를 귀속하는데 후자는 토큰 확률과 student 계보의 이전 checkpoint가 필요하다. 저자들의 접근은 더 제한적이다. frontier 모델의 reasoning trace 90개라는 작은 데이터셋만 있어서 행동 탐침을 택했다.

세 대조는 자연 생성, 정해진 접두에서 생성하는 효과, 별개의 대조 모델(Kimi-K3에게는 가까운 형제)의 접두 효과를 각각 잡는다.

문체 분류기 분리도. 두 trace 집합을 문체만으로 구별할 수 있는지 n-gram 통계로 정량화한다. 비슷한 분류기가 텍스트를 source LLM에 귀속하는 데 쓰였다(Sun 2025). 쌍마다 해시한 문자 35-gram 카운트(2^18 특징)에 대한 logistic regression을 학습하고, 특징 벡터를 단위 길이로 정규화해 trace 길이를 직접 쓰지 못하게 하며, 문제 단위 5-fold 교차검증으로 AUC를 낸다. 1.0이 완전 분리, 0.5가 우연 수준이다. 실제로 360개를 둘로 나눈 경험적 우연 수준은 0.450.53이고 참조 행(90개)은 0.36~0.47이라 이 범위는 구별 불가로 읽는다.

Sol과 Opus prefill은 6개 모델 중 5개를 바꾼다. self-prefill 열은 모든 모델에서 within-model null 범위에 있거나 겨우 넘고, 그 참조 cell은 prefill 없는 것과 0.01 안에서 같다. 즉 어떤 self prefill도 모델을 어떤 참조 쪽으로 움직이지 않는다.

source 모델 쪽으로의 문체 이동은 소수의 cell에 한정된다. Sol과 Opus prefill 아래에서 정확히 세 참조 cell이 prefill 출처 대비 prefill 없는 기준선보다 내려간다.

그 밖의 참조 cell은 Kimi-K2.5 자기 비교(회색)를 빼면 모두 0.91~1.00에 있다. Kimi-K2.5 prefill 아래에서도 Opus 흔적이 약하게 나타나 Kimi-K3가 Opus 참조 대비 0.99에서 0.96으로 간다. Kimi-K3는 prefill 없는 reasoning이 Sol 참조 대비 천장(1.00)에 있지 않은 유일한 모델이라 Sol과의 근접성 일부는 어떤 개입 전에도 존재한다.

Kimi-K2.5 prefill은 모든 모델을 자기 대조에서 분리한다(Kimi-K3 0.91, Inkling 0.77, Kimi-K2.6과 GLM-5.2 0.69, DeepSeek-V3.1 0.66). DeepSeek-V3.1과 Inkling에게는 어떤 prefill보다 큰 변화다. Kimi-K2.6(0.920.96)과 GLM-5.2(0.910.97)는 prefill 없이도 Kimi-K2.5 참조와 가깝고, Kimi-K2.5 prefill에서 0.94에서 0.92로, 0.95에서 0.94로 조금 더 가까워진다. Kimi-K2.5 자신은 자기 teacher trace와 통계적으로 구별되지 않는다(prefill 없음 0.52, prefill 0.46, 참조 행 null 0.47).

특징 n-gram 겹침. 단어 n-gram(n=1, 2, 3)을 소문자 알파벳 단어로 토큰화해 숫자와 연산자를 제거하고, 행마다 최소 10회 등장한 n-gram을 Monroe(2008)의 informative Dirichlet prior를 쓴 log-odds z-score로 고정 배경(prefill 없는 open-weight 6개 모델의 pool) 대비 채점한다. 상위 40개가 행의 특징 목록이고 cell은 두 목록의 Jaccard 겹침이다.

공유 n-gram은 넓은 어휘가 아니라 소수의 반복 습관이다. Sol 쌍은 perhaps, likely, could, exact 같은 hedging 표현이고 Opus 쌍은 "hmm let me reconsider"와 "let me think about"의 변형이다. n-gram 길이가 겹치므로 습관 하나가 목록 항목 여럿에 기여하며, 겹침은 독립 행동의 수가 아니라 공유된 signature 습관으로 읽어야 한다. 놀랍게도 같은 4단어 prefill 아래에서 Kimi-K2.6이 Kimi-K2.5의 특징 n-gram을 얻는 정도(0.13)는 Kimi-K3와 GLM-5.2가 Opus 4.8의 것을 얻는 정도(0.18과 0.23)보다 작다.

prefill 길이 반응. prefill 길이를 0~16단어로 바꾸면 cue와 학습을 구분할 수 있다. cue라면 몇 단어 안에 효과가 나타나고 평탄해지지만, 조각에서 학습한다면 더 받을수록 계속 바뀐다. 세 움직임 모두 cue처럼 행동한다.

모든 점이 같은 90문제에 기대므로 이 추세는 잡음이 크다.

reasoning 길이. 길이는 모델이 얼마나 오래 숙고하는지를 잡으며 분류기의 정규화 특징에서 빠져 있어 앞의 분석을 보완한다. 4단어 prefill에는 reasoning 예산에 대한 진술이 없으므로 길이 반응은 prefill에서 복사할 수 없고 모델에서 나와야 한다. 참조 trace의 중앙값은 GPT-5.6 Sol 1,700토큰, Opus 4.8 1,100토큰으로 open-weight 6개 모델의 prefill 없는 중앙값 5,700~25,400토큰보다 훨씬 짧다.

DeepSeek-V3.1, Inkling, Kimi-K2.6은 어떤 prefill에서도 길이를 유지하지만 Kimi-K3와 GLM-5.2는 짧아진다. Opus prefill에서 Kimi-K3 중앙값은 source 중앙값의 약 2배인 2,500토큰까지 준다. Kimi-K2.5 prefill에서도 두 모델이 짧아지므로 단축의 일부는 generic하다. self 조건에서 다섯 모델은 길이를 유지하고 Kimi-K3만 5,700에서 5,100으로 약간 줄어드는데, Sol과 Opus에서의 단축(4,400과 2,500)은 이를 분명히 넘는다. Opus prefill에서 Kimi-K3의 문제별 길이는 source 길이와 Spearman 상관 0.86으로 prefill 없는 0.77보다 조금 강하게 상관한다. Kimi-K2.5 행은 자기 trace가 8,192토큰 서빙 상한에서 잘려 쌓이는 기계적 이유로 다르게 보인다.

요약의 불충실

reasoning 요약은 raw reasoning의 압축본으로, 보통 더 싸고 덜 유능한 모델이 만들어 API로 제공된다. 저자들은 복호화한 trace를 읽으면서 불충실한 요약을 상당수 발견했다. AIME 2025에서 복호화 길이가 API 보고 길이와 5% 안에서 일치하는 trace만 남겨 Opus 4.8 18개, GPT-5.6 Sol 15개(문제당 1개)를 얻고, LLM judge와 Claude Code로 후보를 골라 모든 요약과 reasoning 쌍을 수작업으로 검토했다.

이 artifact들은 덜 유능한 모델이 더 유능한 모델의 reasoning을 요약할 때 나타나는 것과 일치한다. 5.6절은 reasoning faithfulness가 확립된 우려(Lanham 2023)이며, 사용자가 reasoning을 직접 검사할 수 없을 때 충실한 요약이 scalable oversight와 AI control(Greenblatt 2024)의 몇 안 되는 실용적 인터페이스라고 지적한다. 판독 불가능한 reasoning을 세탁하거나(Figure 7) 사후 합리화를 담은(Figure 8) 불충실한 요약은 투명성 메커니즘으로서의 가치를 의심하게 한다. Figure 8의 AIME 2025 14번 예시에서 복호화 reasoning은 "This is a known AIME problem. Answer 60"으로 시작하지만 요약은 법칙과 좌표를 차근차근 세우는 것처럼 적는다.

복호화한 reasoning에서 관찰된 현상

부록 E는 복호화한 reasoning에서 이전에 보고된 현상을 모은다. 저자들에 따르면 이는 평가 환경이 아닌 실사용 환경에서 이런 행동을 기록한 첫 완전 독립 보고다.

완화책

defense-in-depth 다섯 층

취약점은 주로 암호화 reasoning trace의 cross-session과 cross-model 이식성에서 나온다. 저자들은 아키텍처, 암호, 모델 수준에 걸친 defense-in-depth 전략을 제안한다.

저자들은 사용자 식별자나 대화 식별자가 왜 envelope에 직접 들어가지 않는지 불분명하다고 적는다. 현재 구현에서 trace는 매우 이식성이 높다.

호환성 문제 너머에는 더 근본적인 한계가 있다. 질의받는 모델은 반드시 이전 reasoning 토큰을 복호화해 처리해야 한다. 모델 자체가 프롬프트 기반 추출에 완전히 강건하다고 가정하지 않는 한 암호화 reasoning 블록은 semi-hidden 이상이 될 수 없다. 전송 수준 암호화를 어떻게 구현하든 내용은 복호화 키를 (암묵적으로) 가진 모델을 통해 닿을 수 있다. 따라서 사용자는 암호화 reasoning 블록을 기밀 저장 수단으로 취급해서는 안 된다.

context-bound envelope 설계

부록 A는 완화책을 구체화한다. 세 공격(cross-session, cross-user, cross-model replay)은 같은 구조적 틈을 이용한다. AEAD envelope가 reasoning 블록의 내용은 인증하지만 그 블록이 생성되거나 나중에 재생되는 맥락은 인증하지 않는다는 점이다. 제안은 모든 envelope를 originating 사용자, 세션, 대화 위치에 다시 묶고, legacy 데이터, 하위 호환, 학습 시점 강화를 위한 운영 조치로 보완한다. Table 2가 누출 벡터 6종과 완화책을 대응시킨다.

Table 2의 마지막 행인 nonce 예측 가능성은 다른 다섯 행의 전제다. 논문의 관찰대로 모든 사용자의 블록이 하나의 global key로 암호화된다면, nonce가 예측 가능하거나 재사용될 때 서로 다른 사용자의 블록 사이에서 충돌과 위조 가능성이 생긴다. 그래서 블록마다 CSPRNG에서 고엔트로피 nonce를 뽑고 발급 전에 서버에서 유일성을 강제하는 것이 위의 모든 결속이 서는 암호학적 기반이 된다.

cross-user 결속. 가장 단순하고 값싼 수정이 문제 1을 직접 다룬다. 모든 reasoning envelope의 AEAD associated data에 originating user_id(또는 동등한 안정적 계정 식별자)를 넣고, replay 시 API가 결속된 식별자를 이미 인증된 호출자와 비교해 불일치면 블록을 거부한다. stateful 백엔드 없이 cross-user 공격 벡터를 완전히 닫는다.

chained context-bound envelope. cross-session replay(문제 2)는 더 어렵다. 정당한 워크플로가 바로 그 이식성에 의존하기 때문이다. 사용자는 대화를 fork하고, 긴 세션에서 오래된 턴을 compaction으로 걷어내고, 대화 중에 더 싼 모델로 downgrade할 수 있어야 한다. compaction은 길어진 대화 이력을 요약으로 접어 context 한계 안에서 세션을 이어가는 처리다. 모든 블록을 완전한 이전 대화록에 곧이곧대로 묶으면 세 가지가 모두 깨진다. 그래서 각 user 턴과 reasoning 블록을 세션과 직전 블록에만 묶는 가벼운 hash chain을 제안한다.

τ(n+1) = H(user_id ∥ session_id ∥ H(τ(n) ∥ salt2) ∥ salt1) (식 1)

τ(n)은 블록 n의 reasoning 내용이고, 결과 해시는 다음 블록 envelope의 associated data에 들어간다. chaining만으로는 이전 대화 전체를 순서대로 replay해 호환 디코더에 전사를 강제하는 공격자를 막지 못한다. 그러나 공격 비용을 크게 올리고(signature 하나가 아니라 전체 세션이 필요) 피해 범위를 훨씬 작고 감사 가능한 수준으로 줄여, 확장 가능한 단일 signature 추출 공격을 무력화하기에 충분하다.

실용적인 chained 방식은 네 가지 보완적 속성을 만족할 수 있다.

P1과 P2는 compaction 요구와 긴장 관계라 P2를 전역으로 보장하지 않는다. 대신 세션 블록에 대한 Merkle tree 구조를 권한다. leaf가 개별 reasoning envelope이고 provider는 leaf를 가지치기한 뒤 tree root(또는 소수의 subtree root)만 보관한다. 이렇게 하면 P1은 어디서나 싸게, P2는 살아남은 연속 구간에 대해 필요할 때 얻으며 가지치기 전 전체 이력을 replay할 필요가 없다. 모델 downgrade와 fork는 세션이 tree를 분기하도록 허용해 통일해 처리한다. fork는 분기점까지의 chain 상태를 물려받고 이후 독립적으로 이어지므로, envelope의 맥락 결속이 무관한 분기의 이전 구간을 만든 모델 버전을 참조할 필요가 없다.

legacy 데이터와 하위 호환. 어떤 결속도 이미 생성되고 공개된 데이터, 예를 들어 조사한 공개 trajectory 6,708개를 보호할 수 없다. 옛 envelope는 사용자도 세션 맥락도 인코딩하지 않는 키로 서명됐으므로 유일한 소급 대책은 키 무효화다. 수정 전 서명 키를 모두 회전하고 폐기된 키 ID로 인증된 envelope의 복호화를 거부하면 이미 공개된 signature가 영구히 복호화 불가능해지지만, 옛 세션의 정당한 이어 실행도 함께 무효가 되는 비용이 따른다. 기업 고객은 재개해야 할 대량의 저장 대화록(예: 일시 중지된 agentic 워크플로)을 갖고 있으므로, 기한이 있는 이중 형식 수용 창과 opt-in 일괄 재서명 endpoint를 권한다. 요청 계정이 원 세션 소유자임을 신원 검증한 뒤 새 방식으로 재발급하고, deprecation 창이 닫히면 legacy envelope를 곧바로 거부한다.

학습 시점 방어. 암호학적 결속은 어느 모델에게 주어진 envelope의 복호화를 요청할 수 있는지를 제약하지만, 순응적인 디코더가 정당하게 자기 이전 reasoning을 처리하라고 요청받았을 때 무엇을 하는지는 제약하지 못한다. 이 잔여 틈을 닫는 것은 학습 문제다. 주변 요청이 아무리 무해해 보여도 <thinking-copy> 같은 전사형 jailbreak를 인식하고 거부하도록 모델을 명시적으로 학습시켜야 한다. 저자들은 이를 현재 제안의 해결된 요소가 아니라 향후 post-training 과제로 둔다.

데이터 공유 관행

아키텍처와 모델 수준 방어 외에 사용자와 데이터 공개자의 행동 변화가 필요하다.

암호화 여부에 대한 논의

저자들은 reasoning trace를 애초에 암호화해야 하는지 묻고 양쪽 증거를 모두 본다. 모델이 유해 정보를 사고 안에서 고려하되 누설하지 않게 하는 것은 유익해 보인다. 반면 암호화 trace가 사용자에게 불투명하기 때문에 injection 공격과, 거의 탐지할 수 없고 막기 어려운 개인정보 침해가 가능해진다.

결론에서 저자들은 두 가지 최소 요구를 적는다. provider는 개인 식별 정보가 숨은 chain-of-thought에 흡수되는 시점을 명시적으로 공개하고 누출 방지에 쓰는 암호학적 보장을 정확히 설명해야 하며, 생태계의 보안은 가장 약한 고리만큼만 강하므로 가장 덜 유능한 모델과 legacy 모델에 주의를 기울여야 한다. 사용자 자신의 데이터를 사용자에게는 숨기면서 제3자 추출에는 완전히 노출하는 설계는 프라이버시도 보안도 제공하지 않는다.

책임 있는 공개

공개 전 저자들은 영향을 받는 주요 모델 API provider, Microsoft, Hugging Face에 취약점과 추출 방법, 공개 데이터셋 스캔의 예비 결과를 전체 기술 세부와 함께 알렸다. Green(2026)은 교체 가능한 reasoning trace라는 원 취약점을 2026년 5월에 공개했는데, Green에 따르면 provider들은 "side channel이나 replay 공격에서 생기는 어떤 보안 함의"도 인정하지 않았다. 모든 provider가 이 논문의 보고 접수를 확인했고 이후 저자들은 같은 공격을 실행할 수 없었다. 재현성 진술은 2026년 8월 시점에 Figure 1의 결과가 2.4절과 부록 C의 공격으로는 더 이상 재현되지 않는다고 적는다.

논문과 참고문헌에서 확인되는 시간 순서는 다음과 같다.

윤리 절차도 명시된다. PII artifact 367개와 credential 182개의 추출과 라벨링은 격리된 보안 환경에서 수행됐고, 복원한 secret은 자동 LLM-as-a-Judge 분류와 집계 단계 직후 안전하게 삭제됐다. 공개 전 데이터셋 플랫폼과 provider와 조율해 영향받는 사용자의 즉각적 위험을 완화하게 했다. 전체 실험은 open과 closed 모델을 API로 접근해 수행했고 API 크레딧 약 3만 달러가 들었다.

한계

저자가 명시한 한계

• 경험적 평가는 테스트 기간(2026년 7월 초)에 Anthropic, OpenAI, Google이 제공한 특정 API 버전과 reasoning model에 한정된다. provider의 내부 암호 구현은 비공개이고 예고 없이 바뀌므로 공격 효과도 달라진다. 실제로 2026년 8월에는 같은 공격이 재현되지 않는다.
• 추출은 디코더 모델의 확률적 생성 능력에 기댄다. 토큰 수 비교는 높은 충실도를 시사하지만 ground-truth 평문 reasoning이 없어 추출한 모든 토큰을 완전히 검증하지는 못한다.
• 공개 trace 스캔은 모든 공개 agent 데이터셋의 전수 감사가 아니라 즉각적인 실세계 개인정보 위험의 표적 시연이다. 로컬 agent 기록과 서비스가 민감 정보를 더 다루므로 비공개 데이터셋이 더 영향받는다고 가정한다.
• 부록 B의 distillation 분석은 인과를 세울 수 없다. 작은 문제 집합, fuzzy 추출, 통제하지 못한 서빙 구성이라는 한계를 저자들이 스스로 명시하며, perplexity는 거친 지표라 확정 척도로 쓰지 말라고 적는다.
• 부록 E.2의 비영어 reasoning은 복호화 artifact인지 실제 reasoning인지 판정할 수 없다.

자료 안의 표기 불일치

• 본문 2.4절은 Gemini 디코더를 "Gemini Robotics 1.6"으로, 부록 C.3은 "Gemini Robotics ER-1.6"으로 적는다. 같은 모델의 표기 차이로 보이지만 논문 안에서 통일되어 있지 않다.
• 4.1절은 공개 trajectory가 Claude, GPT, Gemini 모델이 만든 것이라고 적지만, 부록 D.1의 1차 라벨링 집계는 GPT 출처 237,209개와 Claude 출처 78,111개로 315,320개 전부를 나눈다. Gemini 출처 블록의 수는 논문에 나오지 않는다.

자료에서 확인할 수 없는 것

• provider가 실제로 어떤 암호 메커니즘과 키 관리 방식을 쓰는지는 논문도 확인하지 못했다. "하나의 global key"는 실험 결과에서 추론한 것이다.
• 공개 이후 provider가 어떤 완화책을 적용했는지는 논문에 없다. 같은 공격이 더 이상 통하지 않는다는 사실만 적혀 있다.
• 공개 trajectory 6,708개를 어떤 저장소에서 어떤 검색 기준으로 모았는지는 논문에 없다.
• Table 1의 각 cell을 어떤 요청으로 판정했는지, 즉 "상호작용한다"의 판정 절차는 본문에 적혀 있지 않다.
• 게재 학회나 심사 여부는 raw에 없다. arXiv v1 preprint다.
• 부록 C의 요청 템플릿 자체는 이 페이지에 옮기지 않았다. 필요하면 원 논문 52~56페이지를 참고한다.

핵심 용어

관련 페이지

• UnUnlearning: Unlearning is not sufficient for content regulation in advanced generative AI: 이 논문의 공동 1저자 Ilia Shumailov가 1저자인 position paper. unlearning만으로는 콘텐츠 규제가 충분하지 않다는 주장으로, 같은 배치의 모델 보안 계열 페이지다
• OpenAI, GPT-5.6 Sol·Terra·Luna 프리뷰 공개: 새 네이밍 체계와 강화된 안전 스택: 이 논문이 GPT 디코더로 쓰는 GPT-5.6 Luna와 목표 모델 GPT-5.6 Sol이 속한 GPT-5.6 계열의 공개 소식. 그 글은 Sol과 Terra의 prompt injection 방어 벤치마크 점수를 전하고, 이 논문은 숨은 reasoning 채널을 통한 injection 사례를 보여 두 페이지를 함께 읽으면 공격 표면의 차이가 드러난다
• Looped Transformer: 가중치를 공유하는 깊이 반복과 GPT-6 Astra 논쟁: OpenAI가 reasoning trace를 사용자에게 숨겨 온 맥락과, looped transformer가 추론을 latent 상태로 옮긴다는 CoT monitorability 논쟁을 다룬 페이지
• The Agent Loop: A Survey of Control Strategies, Skills, and Harnesses for LLM Agents: agent loop의 공격면과 prompt injection 벤치마크를 다루는 survey. 이 논문의 prompt injection 벡터가 실행되는 long-horizon agent 워크플로의 맥락을 준다
• 용어집: LLMs (Terminology Glossary): chain-of-thought, distillation, alignment, perplexity 등 용어의 canonical 표기
• 용어집: Agents (Terminology Glossary): prompt, compaction, scaffold, trajectory 등 agentic 용어