UnUnlearning: Unlearning is not sufficient for content regulation in advanced generative AI

요약

이 논문은 LLM에서 unlearning으로 지식을 제거하는 방식이 콘텐츠 규제(content regulation)에는 충분하지 않다고 주장한다. unlearning은 학습된 모델에서 특정 지식을 제거하는 기법이고, 콘텐츠 규제는 모델이 생물무기나 핵 지식처럼 허용되지 않는 내용을 생성하지 못하게 통제하는 것을 뜻한다. Google DeepMind 소속 저자 9명이 2024년 6월 arXiv에 올린 7쪽 분량의 논문으로, 정량 실험 없이 정의와 예시와 논증으로 구성된 position paper 성격이다.

핵심 주장은 in-context learning 때문에 unlearning이 무력화된다는 것이다. in-context learning은 가중치 갱신 없이 프롬프트 안의 설명만으로 새 과제를 배우는 LLM의 능력이다. 모델에서 어떤 개념을 지워도 공격자(adversary)가 모델에 남아 있는 지식을 조합해 그 개념을 프롬프트 안에서 다시 정의하면, 모델은 지운 적 없는 것처럼 동작한다. 저자들은 이 현상을 ununlearning이라 이름 붙인다.

이 논증은 exact unlearning에도 적용된다. 어떤 unlearning 방법도 "그 지식을 처음부터 학습하지 않은 모델"보다 지식을 더 잘 제거할 수 없는데, 그 이상적인 모델조차 남은 지식으로 금지된 개념을 다시 추론할 수 있기 때문이다. 따라서 저자들은 unlearning을 만능 해법(one-size-fits-all)으로 보는 관점을 재고하고, 입력과 출력을 걸러내는 content filtering을 함께 운영해야 한다고 결론짓는다.

배경

unlearning의 기원과 용도 변화

unlearning은 원래 privacy 메커니즘으로 제안됐다. 사용자가 요청하면 자신의 데이터를 기계학습 모델에서 철회할 수 있게 하는 것이 목적이었고, exact unlearning이 먼저 등장했다(Bourtoule et al., 2021). exact unlearning은 비용이 비현실적으로 커서 곧이어 inexact 방식이 제안됐다.

최근에는 unlearning이 impermissible knowledge를 제거하는 접근으로 자주 논의된다. impermissible knowledge는 모델이 보유해서는 안 되는 지식으로, 초록은 무허가 저작권 정보, 부정확한 정보, 악의적 정보를 예로 든다. 이 용도의 전제는 "모델에 특정 악의적 능력이 없으면 그 능력을 악용할 수 없다"는 것이다.

서론은 unlearning이 실제로 시도된 응용을 다음과 같이 정리한다.

논문의 범위

이 논문은 unlearning을 콘텐츠 규제 목적으로 쓰는 경우만 다룬다. 즉 모델 개발자가 "내 모델이 X를 할 수 없어야 한다"고 정한 문제 설정이며, X의 예로 생물무기 개발(Li et al., 2024)을 든다. 모델을 배포하는 주체는 그 모델이 무기 개발 같은 위험한 용도로 악용될 위험이 없기를 기대한다. 저자들은 이 용도가 정책 논의에서 자주 거론된다고 적고, 생물학과 핵 지식 제거를 그 예로 인용한다.

반면 unlearning의 원래 용도인 privacy 목적은 명시적으로 범위 밖이다. privacy용 unlearning은 제거 대상이 학습 데이터의 부분집합으로 정의되는데 콘텐츠 규제용은 그렇지 않다는 점이 이 논문 논증의 출발점이 된다.

핵심 개념

일곱 가지 비공식 정의

저자들은 Nomenclature 절에서 여섯 개의 비공식 정의(Informal Definition)를 두고, UnUnlearning 절에서 일곱 번째를 추가한다. 이 논문의 논증은 모두 이 정의 위에서 진행된다.

Definition 1이 지식의 범위를 넓게 잡는다는 점이 중요하다. 파라미터에 저장된 정보만이 아니라 프롬프트로 들어온 입력도 지식이므로, 파라미터에서 지운 지식을 프롬프트로 다시 넣는 일이 정의상 가능해진다. Definition 7의 ununlearning은 바로 그 경로를 이름 붙인 것이다.

지식의 세 가지 형태

Definition 1은 지식이 놓이는 자리를 세 가지로 든다. unlearning 연산 $u$는 모델을 입력받아 모델을 내놓으므로 이 중 파라미터 쪽 지식에 작용하고, ununlearning은 in-context 입력 경로를 쓴다.

privacy용과 콘텐츠 규제용 unlearning의 차이

두 unlearning은 제거 대상을 지정하는 방식과 성공 기준이 다르다.

privacy용 unlearning은 다시 exact와 inexact로 나뉜다. 콘텐츠 규제용 unlearning도 이 두 방식을 도구로 쓰지만, 성공 기준이 "재학습 모델과의 구별 불가능성"이 아니라 "impermissible 콘텐츠를 만들지 않음"이라는 점이 뒤의 논증에서 결정적이다. 구별 불가능성을 완벽히 달성해도 후자의 기준은 만족되지 않을 수 있기 때문이다.

공격 수단으로서의 in-context learning

in-context learning은 학습 데이터에 없는 과제를 과제 설명만으로 일반화해 푸는 언어 모델의 창발적 능력이다(Brown et al., 2020; Kossen et al., 2024; Milios et al., 2023). 저자들은 집필 시점에 이 능력이 보편적이라고 보되, 설명만으로 완벽히 풀리지 않는 과제도 있다고 단서를 단다. 이 논문에서 in-context learning은 모델의 유용한 능력이 아니라 공격자가 지식 복원에 쓰는 수단으로 등장한다.

방법

이 논문은 경험적 평가 없이 정의, 예시, 논증만으로 구성된다. 본문은 Introduction, Nomenclature, Types of Knowledge, UnUnlearning, Discussion, Conclusion 순서로 전개되며, Figure 1과 Figure 2가 각각 지식 구조와 공격 과정을 그린다.

지식의 두 유형

저자들은 ununlearning의 직관을 설명하기 위해 모델의 지식을 두 범주로 나눈다. axiom은 주어진 사실과 가정이고, theorem은 axiom의 조합으로 정의되는 파생 지식이다. Figure 1의 예시는 axiom 6개(Ear, Eye, Tail, Big, Striped, Gallops)를 지식의 최소 단위로 두고 theorem 3개를 정의한다.

이 구조에서 일부 axiom은 여러 theorem이 공유한다. Big과 Striped는 Tiger와 Zebra 양쪽의 정의에 들어가고, Cat은 그 자체로 theorem이면서 Tiger의 정의에 쓰인다. 그림의 점선 상자가 이 포함 관계를 나타내며, Tiger 상자는 Cat 상자 전체와 Big, Striped를 감싼다.

Tiger 시나리오

이제 Tiger 개념이 impermissible이라 Tiger에 관한 어떤 질의도 허용되지 않는다고 가정한다. 즉 모델 개발자는 모델이 Tiger에 대해 추론하는 데 쓰이지 않기를 명시적으로 기대한다. exact unlearning이나 매우 강한 approximate unlearning으로 Tiger 개념을 완벽히 지웠다고 하자.

Tiger 개념이 사라져도 밑에 깔린 axiom 지식은 모델 안에 전부 남는다. 그 axiom이 모델 안의 다른 theorem에 쓰이기 때문이다. 저자들은 그 다른 theorem으로 "Zebra와 Big"을 든다. 이 axiom까지 unlearning하면 Zebra 추론 같은 허용된 과제의 유용성이 떨어지기 시작한다.

따라서 axiom을 남기면 ununlearning에 노출되고, axiom을 지우면 허용된 기능이 손상된다. 저자들은 같은 방식의 상충 목표가 여럿 있다고 보고, 고등학교 화학 서술형 문제에는 답하되 폭탄 제조 지식은 갖지 않기를 바라는 경우를 예로 든다. Figure 2가 그 사례를 그린다.

형식화

UnUnlearning 절은 설정을 기호로 적는다.

저자들의 주장은 공격자가 in-context learning에 기대어 지식을 되돌릴 수 있어서, 특수한 컨텍스트를 붙여 프롬프트한 $\hat{M}$이 $\hat{X}$에 대해 $M$과 같은 결과를 낸다는 것이다.

$$M(\hat{X}) \approx \hat{M}(\text{prompt} + \hat{X})$$

이 관계가 Definition 7의 ununlearning이다. $\mathcal{X}$가 학습 데이터와 추론 단계 데이터를 모두 포함하도록 정의된 점에 주목할 만하다. unlearning은 학습 데이터 쪽의 $\hat{X}$를 지우지만, 공격자는 추론 단계 쪽 입력으로 같은 $\hat{X}$를 다시 넣는다. 저자들은 ununlearning이 impermissible 기능 제거용 unlearning 기법을 쓰거나 설계할 때, 그리고 모델을 공개 배포할 때 고려해야 할 문제이며 exact unlearning에도 적용된다고 명시한다.

bomb 시나리오

Figure 2는 ununlearning을 폭탄 제조 지식으로 예시한다. 학습 데이터에서 bomb이라는 용어의 의미를 전부 지우면, 폭탄을 만들어 달라는 요청에 모델이 실패할 것이라 기대하는 것이 자연스럽다. 그러나 bomb을 다른 이름으로 "특정 속성을 가진 물질"이라고 정의해 주고 모델에 추론 능력(reasoning)이 있으면, 모델에 충분한 화학 지식이 남아 있는 한 폭탄 제조법을 유도할 수 있다.

1단계에서 방어자는 bomb이라는 용어가 무엇을 가리키는지에 대한 지식을 없앴으므로 모델은 폭탄 제조법을 내놓지 못한다. 2단계에서 공격자는 모델에 아직 남아 있는 지식으로 그 개념을 서술하고, 모델은 이를 기존 지식 위에 정의된 새 개념으로 받아들여 응답을 내놓는다. 그림은 이 단계를 "공격자가 기존 지식에 의존하는 새 개념으로 지식을 ununlearning한다"고 적는다.

Tiger 시나리오와 대응시키면 bomb이 theorem이고 화학 지식이 axiom이다. 고등학교 화학 문제에 답하려면 화학 지식이라는 axiom을 남겨야 하므로, bomb이라는 theorem만 지운 모델은 XXX라는 새 이름으로 같은 theorem을 다시 조립할 수 있다.

이상적 unlearning의 상한

저자들은 bomb 예시에서 exact unlearning조차 impermissible 행위를 막지 못한다고 강조한다. 모델이 bomb을 정의하는 데이터를 본 적이 없더라도 폭탄을 구성하는 데 필요한 지식은 모두 갖고 있기 때문이다. 이 관찰에서 상한 논증이 나온다.

• 어떤 unlearning 방법도 그 지식을 처음부터 학습하지 않은 모델보다 impermissible knowledge를 더 잘 제거할 수 없다.
• 그 이상적 모델은 고전적 unlearning 정의로는 구성상 완벽한 unlearning이다.
• 그런데 in-context로 Tiger 개념을 받은 모델은 Tiger에 대해 추론하므로, "Tiger에 대해 전혀 추론하지 않는다"는 목표에 부합하지 않는다.
• 따라서 이상적 unlearning 설정에서 ununlearning이 문제라면, 불완전한 unlearning에서는 문제가 더 커질 수밖에 없다.

이 논증의 구조는 unlearning 알고리즘의 품질과 무관하게 성립한다. 알고리즘을 아무리 개선해도 도달할 수 있는 최선이 "학습하지 않은 모델"이고, 그 최선이 이미 목표를 만족하지 못하기 때문이다.

여기에 knowledge compositionality, 즉 지식이 모델 안의 다른 지식과 상호작용하는 방식을 따져 보기 어렵다는 점이 덧붙는다. 무해한 지식이 어떤 논리적 추론을 가능하게 할지 항상 분명하지 않으므로, 사용자가 넣은 특정 지식에 모델 행동을 귀속시키는 일도 단순하지 않다.

논의

Discussion 절은 ununlearning의 파급 효과를 네 논점으로 다룬다.

filtering의 계산 한계

ununlearning은 unlearning이 효과를 유지하려면 지식 제거뿐 아니라 지속적이고 능동적인 억제 과정이 필요함을 뜻한다. 그러나 저자들은 근본적인 계산 한계 때문에 이런 filtering도 제한적일 가능성이 크다고 본다. 질의가 등장하는 컨텍스트에 따라 같은 질의의 판정이 달라지는 것이 그 예다(Glukhov et al., 2023). 즉 content filtering은 필요조건으로 제시된 것이지 충분한 해법으로 제시된 것은 아니다.

unlearning의 정의 재검토

고전적 unlearning 정의를 받아들이면 Tiger 지식을 한 번도 학습하지 않은 모델이 구성상 완벽한 unlearning이고, 어떤 unlearning 방법도 그보다 나을 수 없다. 그런데 in-context로 Tiger 개념을 받은 모델은 Tiger에 대해 추론하므로 "Tiger에 대해 전혀 추론하지 않는다"는 목표에 부합하지 않는다. 저자들은 그래서 ununlearning의 정확한 정의와 메커니즘을 더 탐구해야 하며, 프롬프트와 다른 학습 방식에 불변하게 모델의 추론 능력을 명시적으로 제한할 방법을 찾아야 한다고 적는다. 이 방법이 무엇인지는 제시하지 않는다.

책임 귀속

작은 무해한 axiom이 공격자로 하여금 악의적 theorem을 발견하게 했다면 누구에게 책임을 물어야 하는지가 문제가 된다. 저자들은 이를 오래된 철학 논쟁에 견준다. 행위의 책임을 다음 중 누구에게 귀속할지 논하는 문제다(Fischer and Ravizza, 1998; Owen, 1992).

• 행위를 직접 실행한 사람
• 명령을 내린 사람
• 도구 제조자
• 원래 도구 설계자

지식을 여러 당사자가 넣을 수 있으므로, 저자들은 unlearning을 콘텐츠 정책 집행의 유일한 메커니즘으로 가정하면 안 된다고 주장한다. 논문은 네 후보 중 어느 쪽이 맞는지 답하지 않는다.

forbidding knowledge와 그 한계

데이터를 걸러내는 대신 특정 지식이 금지 대상임을 모델에 명시적으로 가르치는 편이 나을 수 있다(Henderson et al., 2023). 그러나 저자들은 이 접근의 한계를 네 가지로 든다.

메커니즘의 존재가 만드는 누출

마지막 한계와 이어서 저자들은 privacy 문헌의 알려진 사실을 끌어온다. privacy 메커니즘의 존재 자체가 privacy 누출을 늘릴 수 있고(Wang et al., 2022), 비슷한 효과가 unlearning에서도 관찰됐다(Hayes et al., 2024). 콘텐츠 규제에 옮기면, 특정 화학 합성 레시피 요청을 거절하는 모델은 악의적 사용자에게 어떤 레시피가 악용 가능한지 알려 주는 셈이 된다. 거절 자체가 신호가 되는 것이다.

결과

이 논문에는 벤치마크, 실험 표, 정량 수치가 없다. 결과에 해당하는 것은 논증으로 도출한 결론이다.

이 결론이 unlearning 연구 전체를 부정하는 것은 아니다. 저자들은 unlearning이 학습 단계의 통제 수단으로는 유효하다고 인정하며, privacy 목적의 unlearning은 애초에 논의 범위 밖에 둔다. 부정되는 것은 "impermissible knowledge를 지우면 그 능력을 악용할 수 없다"는 콘텐츠 규제 용도의 전제다.

한계

저자가 명시한 열린 문제

자료에 기술이 없어 확인할 수 없는 것

• 실제 LLM에서 ununlearning이 얼마나 쉽게 성공하는지에 대한 정량 측정이나 재현 실험은 없다. 초록은 "현대 LLM에서의 ununlearning 실현 가능성을 논의한다"고 적지만, 본문의 논의는 정성적이다.
• mosaic attack은 Glukhov et al. (2023)을 인용해 이름만 언급하며 본문에 정의가 없다.
• 게재 학회나 peer review 여부는 raw에 표기가 없다.

자료 내적 표기 불일치

두 불일치 모두 논증의 방향을 바꾸지는 않는다. 어느 theorem을 지우든 공유 axiom이 남는다는 구조는 같다.

관련 연구

이 논문은 자체 실험 대신 기존 문헌을 논증의 근거로 쓴다. 인용 문헌을 역할별로 나누면 다음과 같다.

Wang et al. (2022)과 Hayes et al. (2024)도 이 논문의 공저자들이 참여한 문헌이다. 즉 privacy 메커니즘의 부작용에 관한 논거는 저자들 자신의 선행 연구에서 가져온 것이다.

핵심 용어

관련 페이지

• Stealing Reasoning Traces from Proprietary LLM APIs: Ilia Shumailov가 공저한 모델 보안 연구. 이 논문이 unlearning만으로 지식 통제가 안 된다고 보듯, 그 페이지는 암호화만으로 추론 과정(reasoning trace)의 노출을 막지 못한다는 문제의식을 다룬다
• 용어집: LLMs (Terminology Glossary): unlearning과 in-context learning의 canonical 표기
• 용어집: Agents (Terminology Glossary): 프롬프트와 컨텍스트 표기