LLMs · ARTICLE · 2026

Jev - 문장 대신 판단과 확률을 반환하는 AI 모델 (GeekNews)

GN⁺ (@neo) · news.hada.io ↗ · ↳ 5 links

요약

TypeSafe AI가 공개한 Jev를 GeekNews가 요약하고 국내 댓글과 Hacker News 의견을 덧붙인 자료다. Jev는 텍스트를 생성하지 않고 타입이 정해진 판단과 보정된 확률을 병렬로 반환하는 첫 System One model이다.

자료가 전하는 수치는 두 층으로 나뉜다. 가격과 속도는 입력 100만 토큰당 0.042달러, 출력 무료, 종단 간 70~500ms로 비교적 단순하다. 반면 193.6배 빠름과 444.6배 저렴이라는 비교 수치는 평가 설계에 따라 달라지며, TypeSafe 스스로 개선 폭의 상단에 가깝다고 인정한다.

GeekNews 요약의 특징은 이 단서를 앞쪽에 배치한 점이다. 댓글에서는 환각 불가능이라는 표현이 정확한지를 두고 의견이 갈린다.

배경

TypeSafe AI의 출발점은 대화 능력이 뛰어난 모델이 등장했는데도 자동화가 충분히 확산하지 않았다는 문제의식이다. 회사는 2년간의 비공개 개발을 거쳐 System One model이라는 모델 범주를 공개했다.

목표는 소프트웨어가 의존할 수 있는 AI 인터페이스다. 기존 LLM은 문자열을 자유롭게 생성하므로, 그 출력을 코드가 쓰려면 파싱과 검증이 필요하고 결과를 얼마나 믿을지에 대한 정보도 따로 얻기 어렵다.

이 목표를 위해 세 가지를 함께 개발했다. 새 모델 아키텍처, 병렬 샘플러, 그리고 RLCD(Reinforcement Learning for Calibrated Decisions)라는 강화학습 기법이다.

이름에는 관점이 담겨 있다. System One model은 Daniel Kahneman의 Thinking, Fast and Slow에서 빠르고 직관적인 System 1 사고와 느리고 숙고하는 System 2 추론을 구분한 데서 왔다. Jev는 경제학자 William Stanley Jevons에서 따왔는데, 증기기관 효율 향상이 오히려 석탄 수요를 늘렸듯 지능의 비용이 한 자릿수 규모씩 낮아질 때마다 활용처는 여러 자릿수 규모로 늘어날 것이라는 기대를 담았다.

핵심 개념

보정은 모델이 낸 확률값이 실제 정답률과 일치하도록 맞추는 성질이다. 신뢰도 0.9로 낸 답이 실제로 약 90% 맞아야 보정되었다고 본다. RLCD가 겨냥하는 목표가 바로 이 성질이다.

System One 과제는 확장된 추론 없이 빠르게 내릴 수 있는 판단 과제를 가리킨다. 분류, 라우팅, 점수화, 추출, 조건 분기가 여기에 속한다.

noul은 참과 거짓 사이의 값 하나를 반환하는 질문 타입이다. Bernoulli의 줄임말이며, CEO의 설명에 따르면 코드의 if 문에 대응한다. 같은 방식으로 choice는 match 문에, score는 정렬에 대응한다.

파레토 프런티어는 여러 지표를 동시에 볼 때 어느 한쪽을 희생하지 않고는 더 나아질 수 없는 경계다. TypeSafe는 Jev가 속도와 비용 지표에서 이 경계를 차지한다고 주장한다.

방법

기존 LLM과 다른 학습 목표

RLCD가 기존 정렬 기법과 다른 지점은 최적화 대상에 있다.

기법	최적화 대상
RLHF	사람이 선호하는 응답
RLVR	프로그램으로 검증 가능한 보상
RLCD	System One 과제에서 모델의 지식과 불확실성을 정직하게 반영하는 보정된 확률

RLHF와 RLVR이 답의 내용을 겨냥한다면, RLCD는 답에 붙는 확률값의 정직함을 겨냥한다.

입출력 구조의 차이

두 모델 계열의 차이는 입력보다 출력에서 크다. 입력은 양쪽 모두 텍스트 같은 비정형 데이터를 받지만, 기존 LLM은 순차적 메시지에 중점을 두고 Jev는 구조화된 프로그램 상태에 중점을 둔다.

항목	기존 LLM	Jev
출력 범위	대화, 코드, 환각, 거부 응답, 타입 안전한 값 등 무엇이든 문자열	미리 정의한 출력과 구조 안의 타입 안전한 값
사용 전 처리	파싱과 검증이 필요	그대로 사용
생성 방식	이전 토큰을 조건으로 한 토큰씩 생성	한 번의 질의에서 모든 출력을 병렬 생성
신뢰도	물어도 과신하거나 일관되지 않을 수 있음	모든 답에 보정된 확률과 신뢰도 점수를 동반

자료는 신뢰도를 자동화의 핵심 조건으로 든다. 과제를 95% 수행하더라도 실패하는 5%를 구분하지 못하면 자동화하기 어렵기 때문이다.

Jev는 매 출력에서 불확실성을 전달한다. 높은 신뢰도가 높은 정확도에 대응하도록 보정하며 유사한 입력에 더 일관된 답을 반환한다고 설명한다.

가격과 속도

항목	Jev	비교 대상
입력 가격	100만 토큰당 0.042달러 (10억 토큰당 42달러)	비교표의 기존 LLM은 100만 토큰당 0.20~10달러
출력 가격	무료	입력보다 약 5배 비쌈
종단 간 응답 시간	70~500ms	프런티어 모델 응답 시간 자료 기준 3~329초

비교표는 System One 형태의 질의에서 같은 수준의 지능을 기준으로 40~200배 빠르다고 명시한다. 즉 모든 작업에서의 속도 차이가 아니라 특정 질의 형태로 한정한 비교다.

TypeSafe는 가격의 장기 지속 가능성은 시간이 지나야 입증할 수 있으며, 향후 가격은 상승보다 하락할 것으로 예상한다고 밝힌다. 공개 평가 대부분은 서비스가 위치한 미국 서부 해안에서 노트북으로 실행했다.

적합한 활용처의 구분

자료는 기존 LLM이 잘 맞는 영역을 먼저 인정하고 시작한다.

챗봇, 코파일럿, 코딩 에이전트는 강력하고 범용적이지만 자유로운 출력 때문에 사람의 감독이 필요하다.
수학 증명과 커널 최적화처럼 정답을 저렴하게 자동 검증할 수 있는 작업은 생성, 테스트, 반복에 적합하다.
문자열의 유연성은 항상 작동하지는 않는 빠른 프로토타입 제작에도 유용하다.

Jev가 겨냥하는 영역은 AI 워크플로와 유연한 조건 분기다.

수작업 규칙이 취약한 분류, 라우팅, 점수화, 추출, 분기에 구조화된 출력을 쓰고 주변 코드가 모델의 자유도를 제한한다.
페타바이트 규모 데이터의 맵리듀스 처리로 특징과 인사이트를 추출한다.
약 100ms 속도가 필요한 실시간 사용자 경험에 활용한다.
LLM 프롬프트, reasoning trace, 출력의 점수화와 판정과 검증에 쓴다. 가드레일 적용과 jailbreak 탐지도 같은 범주다.

마지막 항목은 Jev를 LLM의 대체재가 아니라 LLM 주변의 검사 층으로 쓰는 용법이다.

워크플로 평가 설계

평가 설계의 핵심은 모델마다 harness를 바꾸지 않는 것이다. harness는 모델을 감싸 도구와 검증과 상태를 제공하는 실행 환경을 말한다.

정답 분류에 맞춰 모델과 harness를 바꾸는 대신, 올바른 계산 그래프인 동일한 코드 워크플로를 모든 모델에 적용했다. harness 엔지니어링을 통한 과적합 가능성을 피하려는 설계다.

참조 확률은 크고 성능이 높으며 비싼 외부 모델의 예측을 쓴다. 참조 답은 GPT-6 Astra와 Fable 5.1의 평균이다.

공개한 워크플로는 4개이며 나란히 실행한 데모보다 복잡하고, 실제 비즈니스 자동화의 프로덕션 작업을 더 잘 반영한다고 설명한다. 신뢰성 높은 실제 워크플로는 독립적으로 분해한 여러 질문을 쓰고, 개별적인 확정 판단보다 확률에 따라 세밀하게 동작하는 경향이 있다.

최종 결과는 이산적인 분기지만 그 결과에 도달하는 과정에는 높은 일관성이 필요한 도메인별 엔지니어링이 들어간다. 이 관찰은 앞서 나온 질문 분해 지침과 같은 방향을 가리킨다.

비교 LLM은 System One LLM 래퍼(typesafe-ai/system-one-adapter-python)를 써서 API와 호환되는 구조화된 판단을 출력한다. TypeSafe는 이 방식이 LLM에서 가장 정확하게 판단을 얻는 방법이라고 봤지만, 확률 없이 판단만 출력하는 것보다 느리고 비싼 경향이 있다고 덧붙인다.

나란히 실행한 데모

데모 질의는 Jev가 확률을 병렬 출력하고 LLM은 토큰을 자기회귀적으로 생성하는 차이를 보여 준다. 조건은 다음과 같다.

얼리 액세스 사용자가 접근할 수 있다. questions의 키는 화면에서 이해하기 쉬운 이름으로 구성했다.
state는 짧고 정보 밀도가 높은 문단으로 작성했다. 짧은 입력은 Jev에 유리한 조건이다.
비교 대상은 기본 추론 설정의 GPT-5.6 Terra다. TypeSafe가 평균적으로 Jev와 가장 비슷한 지능 수준이라고 판단한 모델이다.
녹화된 실행에서 유일한 불일치는 고객 이탈 가능성 수준이었고, TypeSafe는 해당 답 자체가 실제로 모호하다고 본다.

비슷한 초기 데모가 System One model 개발에 집중하기로 결정하는 계기가 되었다고 밝힌다.

Doom과 Wikiracing 데모

데모	구성	관찰점
Doom	초당 10회 질의, 시간당 약 7달러. 입력은 이미지가 아니라 텍스트를 포함한 구조화된 상태 데이터	AI를 쓰지 않는 Doom 봇이 더 잘 플레이할 수 있지만, 목표는 다양한 상태 표현에 반응하고 지시를 따르는 봇이다
Wikiracing	Wikipedia 페이지에서 출발해 탐색 중 만나는 링크만 따라 목표 페이지에 도달	한 단계에서 수백에서 수천 개 링크 중 선택하므로, 초당 지능뿐 아니라 많은 선택지에서 환각 없이 판단하는 효과를 보여 준다

Wikiracing의 속도 개선 폭은 다른 데모보다 작았고 비교 설정에 주의가 필요하다. 비교 LLM은 비추론 모드로 실행했고 Astra만 가장 낮은 추론 설정을 썼다.

시청하기 편하도록 설정한 조건이며, LLM은 추론을 켰을 때 이 작업을 훨씬 잘 수행한다. 이 설정 차이는 Jev가 더 적은 단계로 완료한 경향의 이유이기도 하다.

Jev는 최대 255개 선택지를 지원한다. 선택지가 더 많으면 독립적인 점수화 후 명시적으로 선택하는 2단계 방식을 쓰며, 이 때문에 가끔 느려진다.

결과

자료에 등장하는 비교 수치는 출처와 조건이 서로 다르다.

수치	출처와 조건
193.6배 빠름, 444.6배 저렴	홈페이지 수치이며 워크플로 평가에서 나왔다. TypeSafe 스스로 실제 개선 폭의 상단에 가까운 결과일 것으로 예상한다
40~200배 빠름	비교표가 System One 형태 질의, 같은 수준의 지능을 기준으로 명시한 범위
20~~200배 빠름, 40~~400배 저렴	CEO Diogo Almeida가 소개 스레드에서 밝힌 자체 비교 수치
약 100배 효율 개선	System One 과제에서 비슷한 판단 능력을 유지하면서 속도와 효율을 높였다는 주장
타입 오류 0%	관측된 실험 결과가 아니라 스키마 일치 보장에 근거한 수치다. TypeSafe는 타입 오류 발생이 수학적으로 불가능하다고 밝힌다

Jev는 워크플로 평가에서 거의 두 자릿수 규모에 걸쳐 파레토 프런티어를 차지한다. 워크플로의 모든 로직을 추론 과정에서 처리하도록 생성한 프롬프트와도 비교했는데, 이 방식은 워크플로 자체를 쓰는 것보다 대체로 성능이 크게 낮았다.

환각 방지의 근거는 미리 정의한 출력 형식과 타입을 벗어나지 않는다는 보장이다. 반환한 판단이 항상 정확하다는 뜻은 아니다.

비교 LLM의 수치는 OpenRouter에서 가져왔다. 복잡한 질의가 더 좋은 모델로 라우팅됐을 가능성 때문에 편향이 있을 수 있다.

국내 댓글

작성자	요지
winterjung	이 작업에 추론이 필요한지를 판단해 주는 레이어가 될 수 있어 보인다. reranking 용도로도 쓸 수 있다. 공식 문서의 use case map을 참고하면 감을 잡기 좋다
shw00	요청 분할처럼 더 지능적인 처리를 별도 Anthropic 모델로 넘겨야 했다는 HN 지적을 오히려 장점으로 본다. 외부로 넘길 것을 쉽게 분류하고 쉽게 넘길 수 있게 해 둔 구조라 쓰기 편할 것으로 본다
xguru	CEO Diogo Almeida의 소개 스레드를 인용해, 더 빠른 챗봇이 아니라 코드 안에서 빠르게 판단하는 AI로 이해하는 편이 쉽다고 정리한다. 목표는 기존 코드와 AI의 판단을 조합하는 것이며, 범용 LLM을 모든 용도에서 대체한다는 뜻은 아니라고 덧붙인다

Hacker News 의견

제목이 오해를 부를 수 있다는 지적이 가장 길게 다뤄진다. 튜링 완전 언어로 코드를 출력하는 생성 모델은 컴퓨터가 할 수 있는 모든 일을 표현할 수 있는데, 구조화된 출력만 만드는 Jev와 속도를 비교하면 성격이 다른 두 대상을 견주게 된다는 논지다.
환각이 불가능하다는 표현도 부정확하다는 반론이 나온다. 잘못된 타입은 출력하지 않더라도 타입만 유효한 완전히 틀린 값은 낼 수 있고, LLM도 적절한 실행과 검증 장치를 붙이면 구조화된 출력을 강제할 수 있다는 것이다. 이에 대해 결과마다 신뢰도를 제공하므로 신뢰도 0.1인 결과는 무시할 수 있고, 틀린 답을 맞다고 확신하는 환각과는 다르다는 재반박이 붙는다.
아키텍처를 두고 디코더가 언어 대신 신뢰도 점수를 출력하는 Transformer일 수 있다는 추정이 나온다.
로봇 제어 적합성을 묻는 의견이 있다. 팔다리 제어, 전반적인 계획 수립, 경로 탐색에 잘 맞지 않겠냐는 질문이다.
최신 LLM의 작업 능력을 저렴하게 distillation하는 구조로 보는 해석이 있다. Jev가 GPT-6 Astra와 Fable 5.1 같은 느낌이고 학습 데이터 상당량이 이전 모델에서 왔을 것이며, 새 모델이 나오면 RLCD로 가중치를 갱신할 수 있으리라는 추정이다.
LLM용 능동적 기억 생성과 검색 시스템의 기반으로 쓰는 구상이 제시된다. 최근 3만 2천 토큰 분량의 컨텍스트와 현재 작업 요약을 넣어 유용한 내용을 배웠는지 참과 거짓으로 판단한 뒤 저장 분류를 정하고, 검색할 때는 어떤 기억 분류가 유용할지 항목별 확률을 구하는 방식이다.
계약 기반 설계와 결합하려는 시도가 소개된다. 제어 흐름에서 매우 빠른 의미 기반 분기를 쓸 수 있다는 점 때문이며, 계약을 위해 설계한 데이터 모델을 Jev 형식으로 변환하거나 사후 조건에서 Jev를 쓰는 방향이다.
발표문보다 문서가 제품을 더 잘 설명한다는 평가가 반복된다. 홈 어시스턴트 데모 영상이 홍보 영상보다 제품을 잘 설명한다는 의견도 있다.
CEO가 직접 답한 대목에서 choice는 match 문에, score는 정렬에, noul은 if 문에 대응한다고 정리한다. 입력뿐 아니라 판단 기준과 지시도 JSON으로 구조화할 수 있으며, 멀티모달은 아직 아니고 JSON만 지원한다.
검증을 통과하고 1만 6천 토큰 이상의 context window를 제공한다면 프로젝트가 실현 가능으로 바뀔 수 있다는 실무 반응도 있다.

한계

워크플로는 모델에 유리하도록 의도적으로 고르거나 구성하지 않았고 학습 분포에도 없지만, 모델 역량 팀 구성원이 만들었으므로 편향 가능성이 있다.
참조 답이 OpenAI와 Anthropic 모델 쪽으로 치우치므로, TypeSafe는 Jev와 DeepSeek의 상대적 성능이 과소평가됐을 가능성이 있다고 본다.
홈페이지의 193.6배와 444.6배는 실제 개선 폭의 상단에 가까운 값이며, 비교 모델의 출력 방식과 평가 구성에 영향을 받는다.
타입 오류 0%는 값의 정확성을 보장하지 않는다. 타입만 유효한 완전히 틀린 값을 낼 수 있으므로 환각이 불가능하다는 표현이 부정확하다는 지적이 있다.
입력은 아직 멀티모달이 아니며 JSON만 지원한다.
텍스트 생성에 최적화된 모델이 아니다. 길고 일관된 텍스트를 만들려면 mode dropping이 필요하다는 설명이 붙는다.
얼리 액세스 단계이며 대기 명단으로 접근 권한을 순차 제공한다. 자동화하려는 판단, Jev가 잘 작동하는 영역과 부족한 영역에 대한 피드백을 받고 있다.
GeekNews 요약과 댓글 번역을 거친 2차 자료다. 원문 발표 글과 공식 문서에서 확인할 필요가 있다.

핵심 용어

용어	뜻
System One model	빠르고 구조화된 판단을 소프트웨어에 직접 전달하도록 설계한 모델 범주. Kahneman의 System 1 사고에서 이름을 가져왔다
Jev	TypeSafe의 첫 System One model. 경제학자 William Stanley Jevons에서 따온 이름이다
RLCD	Reinforcement Learning for Calibrated Decisions. 보정된 확률을 목표로 삼는 강화학습 기법
보정	모델이 낸 확률값이 실제 정답률과 일치하도록 맞추는 성질. 신뢰도 0.9의 답이 실제로 약 90% 맞아야 보정되었다고 본다
noul	참과 거짓 사이의 값 하나를 반환하는 질문 타입. Bernoulli의 줄임말이며 if 문에 대응한다
Jevons paradox	효율 향상이 오히려 총 수요를 늘리는 현상. 증기기관 효율과 석탄 수요의 관계에서 나왔고 모델 이름의 근거가 되었다
mode dropping	생성 모델이 가능한 출력 분포의 일부 모드만 남기고 나머지를 버리는 현상

요약

배경