Jev AI 모델 이해하기: 선택지, 확률과 신뢰도를 구분하는 방법

Jev(제브)는 타입세이프 AI(TypeSafe AI)가 2026년 9월 15일 공개한 모델입니다. 글자를 만들지 않고 미리 정해 둔 선택지 가운데 하나를 고른 뒤 그 확률을 함께 돌려줍니다. 창업자 디오고 알메이다(Diogo Almeida)는 오픈AI에서 InstructGPT와 RLHF 연구에 참여했습니다. RLHF는 사람의 피드백으로 모델의 답변을 개선하는 학습 방식입니다. 알메이다는 2년 동안 회사를 외부에 알리지 않다가 시드 4,000만 달러 유치와 함께 Jev를 내놓았습니다.

문장을 생성하는 대형 언어 모델(LLM)도 정해진 항목에 맞춰 답하게 할 수 있습니다. JSON은 항목 이름과 값을 짝지어 적는 데이터 형식이고, 스키마는 어떤 항목과 자료형을 허용할지 정한 규칙입니다. 이 규칙에 맞춘 답을 구조화 출력이라고 부릅니다.

그런데 그 답에 붙은 확신도가 믿을 만한지는 다른 문제입니다. 어떤 작업을 95% 맞히는 모델이 나머지 5%가 어느 경우인지 말해 주지 않으면 잘못된 결과를 그대로 처리할 위험이 남습니다. 타입세이프가 문제 삼은 것이 바로 이것이고, 그래서 이 모델은 문장 대신 확률을 내놓습니다. 아래에서는 발표 당시 평가와 외부 실험, 2026년 10월 4일 기준 공식 문서를 나눠 정리합니다.

Jev 발표 내용 한눈에 보기

Jev 기본 조건(2026년 10월 4일 공식 문서 기준)

• 0.042달러입력 100만 토큰당출력 토큰 요금은 없음
• 6.4만 토큰요청당 컨텍스트상태와 가장 긴 질문은 합쳐 3만 2천 토큰까지
• 255개Choice 한 문항의 선택지 한도
• 70~500밀리초발표 응답 속도미국 서해안 평가 환경

토큰은 모델이 입력을 나눠 처리하는 단위이고, 한 글자가 항상 한 토큰은 아닙니다. 컨텍스트는 한 요청에서 모델이 참고하는 입력의 양입니다. 발표 당시에는 사전 이용 신청을 받았고, 투자는 DCVC가 주도했습니다. 입력은 텍스트만 받으며 이미지, 오디오, 비디오는 지원하지 않습니다.

모델 이름은 jev-1.13.0이고 별칭 jev-latest도 있습니다. jev-latest는 새 버전이 나오면 가리키는 모델이 바뀌므로, 결과를 반복 비교할 때는 jev-1.13.0처럼 버전을 지정하고 응답에 기록된 모델 이름을 함께 저장합니다.

가장 큰 제약은 이 모델이 답을 쓰지 못한다는 점입니다. 문장 생성, 코드 작성, 추론 과정 설명은 하지 못하고, 왜 그렇게 판정했는지도 말하지 않습니다.

Jev가 글자 대신 답안 카드를 채우는 구조

API 호출은 프로그램이 모델에 요청을 보내는 방식입니다. 상태(state)에 판단 재료를 넣고, 질문(questions)에 물어볼 것과 선택지를 적습니다. 아래는 고객 문의를 부서별로 나누는 요청 본문의 예입니다. 실제로 호출하려면 API 키가 필요합니다.

서술형 답안지에는 무엇이든 쓸 수 있어서 채점하려면 사람이 읽어야 하지만, 객관식 답안 카드는 정해진 칸만 칠할 수 있어 기계가 바로 읽습니다. Jev의 응답도 API가 돌려준 JSON을 읽는 처리는 필요하지만, 자유로운 문장에서 선택지 이름을 찾아낼 필요는 없습니다. 회사가 보장하는 것은 출력의 형식입니다. 잘못 보낸 요청, 통신 실패, 선택지 안의 오답은 그대로 생길 수 있습니다.

한 장에 문항 여러 개를 한꺼번에 채우는 것도 답안 카드와 같습니다. 질문들은 같은 상태를 놓고 병렬로 평가되고, 앞 질문의 결과가 뒤 질문의 입력으로 넘어가지 않습니다. 앞 답을 참조해야 하는 질문은 코드에서 두 번째 요청으로 나눕니다.

회사가 권하는 사용법은 판단을 잘게 쪼개는 것입니다. 위 그림은 발표 자료에 실린 보안 경보 처리 흐름입니다. 하나의 큰 질문 대신 예/아니오와 점수와 선택 질문 열몇 개로 나누고 그 사이를 코드가 잇습니다. 해당 확률이 0.75를 넘으면 대응을 시작하고 0.15에서 0.60 사이면 사용자에게 알리는 식으로, 분기 조건을 코드에 그대로 적어 둡니다. 0.75와 0.60은 회사 보안 예제의 값이고, 문의 분류라면 자기 업무 자료로 기준값을 다시 정합니다.

확률 0.85와 신뢰도 0.8은 다릅니다

Jev가 돌려주는 값은 질문 유형마다 다릅니다.

질문 유형별로 돌려받는 값

유형	돌려주는 값	confidence
Choice	선택지 하나 선택지별 확률 분포	제공
Score	척도 점수 점수별 확률 분포	제공
Noul	예일 확률 하나	제공하지 않음

Choice의 probabilities는 각 선택지의 확률입니다. confidence는 그중 가장 큰 확률이 균등 분포보다 얼마나 높은지 계산한 값입니다. 네 선택지에 각각 1/4씩 주면 신뢰도는 0이고, 하나에 전부 몰리면 1입니다. 위 요청에서 네 선택지의 확률이 예를 들어 아래와 같다면 선택된 답은 technical입니다.

예를 든 선택지별 확률

• technical(기술)0.85선택된 답
• billing(결제)0.10
• sales(영업)0.04
• unknown(정보 부족)0.01

신뢰도 0.8은 '이 답이 80% 확률로 맞는다'는 뜻이 아닙니다. 실제로 얼마나 맞는지는 사람이 기준 답을 매긴 자료와 비교해야 알 수 있습니다.

Noul은 별도의 confidence를 반환하지 않습니다. '긴급한가요?'에 0.1이 나왔다면 '예일 확률이 낮다'는 뜻이고, 불확실함은 0.5에 가까운 값에 나타납니다. '숫자가 낮으면 사람에게 보낸다'는 규칙을 Choice와 Noul에 똑같이 걸면, Noul에서는 '아니오'가 분명한 답까지 사람에게 갑니다.

자동 처리와 사람 검토를 나누는 기준값을 임계값이라고 합니다. 처음에는 모든 예제를 사람이 보고, 기준값을 정하는 자료와 나중에 검증할 자료를 나눠 둡니다. 문서 종류나 선택지, 모델 버전이 바뀌면 임계값도 다시 정합니다.

Jev가 실제로 빨라지고 싸지는 이유

Jev가 빠른 것은 토큰을 하나씩 만들지 않기 때문입니다. 기존 LLM은 답을 앞 글자부터 차례로 생성하므로 {"department": "technical"}이라는 답을 내려면 중괄호와 따옴표와 필드 이름까지 전부 만들어야 합니다. Jev는 그 과정을 건너뛰고 선택지 위 확률만 한 번에 내놓고, 회사는 출력 토큰 요금을 받지 않습니다.

회사가 공개한 평가 사이트에서 4개 워크플로를 평균한 건당 시간과 비용은 이렇습니다.

건당 시간(4개 워크플로 평균, 회사 평가)

• 클로드 소네트 578.1초건당 0.1174달러
• 클로드 오퍼스 537.8초건당 0.1761달러
• GPT-5.6 솔23.3초건당 0.0836달러
• GPT-5.6 루나12.9초건당 0.0033달러
• GPT-5.6 테라10.1초건당 0.0304달러
• Jev0.4초건당 0.0004달러

Jev와 솔을 비교하면 속도는 약 58배, 비용은 약 209배 차이입니다. 홈페이지의 193.6배와 444.6배는 비교 대상이 적혀 있지 않습니다. 공개된 평가 수치로 역산하면 속도 배수는 가장 느린 소네트 5(78.1 ÷ 0.4 ≈ 195), 비용 배수는 가장 비싼 오퍼스 5(0.1761 ÷ 0.0004 ≈ 440)와 견준 값에 가깝습니다. 항목마다 가장 유리한 상대를 따로 고른 것으로 보입니다. 발표문 본문이 적은 범위는 40배에서 200배이고, 회사도 발표문 각주에 이 수치가 현실에서 기대할 수 있는 최대치에 가깝다고 적었습니다.

Jev 정확도는 중위권이라는 회사 자체 평가 결과

빠르고 저렴해도 원하는 분류를 맞히지 못하면 쓸 수 없습니다.

9월 19일 기준 회사 자체 평가에서 '정확도'는 사람이 검증한 정답률이 아니라 기준 모델들의 응답으로 만든 답안과의 일치도입니다. 네 업무 흐름의 평균이며, 각 모델은 제공사 기본 추론 설정을 썼습니다.

정확도(기준 답안과의 일치도, 4개 워크플로 평균)

• GPT-5.6 솔74.1%
• 클로드 오퍼스 573.1%
• GPT-5.6 테라67.9%
• 클로드 소네트 567.8%
• Jev67.8%
• GPT-5.6 루나66.8%

Jev는 소네트 5와 동률이고 솔보다 6.3%포인트 낮으며, 값싼 루나보다 1.0%포인트 높습니다. 워크플로별로는 고객 서비스가 76.0%로 가장 좋고, 보안 사고 61.7%와 인보이스 처리 61.8%가 가장 낮습니다. 솔과의 격차는 인보이스에서 17.3%포인트로 가장 크게 벌어집니다.

발표문은 이 결과를 "차트 밖으로 나갔다"고 표현했지만, 차트 밖으로 나간 것은 비용과 속도입니다. 이 비교 조건에서 정확도는 중간 수준입니다.

Jev가 환각하지 않는다는 말이 보장하는 범위

발표문에는 구조화 출력 오류율과 도구 호출 오류율을 비교한 차트가 실려 있습니다.

Jev는 양쪽 다 0%입니다. 같은 발표문 각주에 따르면 이 0%는 실측한 수치가 아니라 스키마가 형식을 보장하므로 적어 넣은 값입니다. 비교 대상 LLM의 수치는 오픈라우터에서 가져와 편향이 있을 수 있다는 단서도 함께 달려 있습니다.

회사 홈페이지의 자주 묻는 질문은 범위를 더 좁혀 놓았습니다. 답의 모양은 보장하지만 모든 판정이 옳다는 뜻은 아니며, 선택지 목록 밖의 항목을 지어내지는 못해도 목록 안에서 틀린 것은 고를 수 있다고 적혀 있습니다. 칸 밖에 칠하지 못할 뿐 엉뚱한 칸을 칠하는 일은 그대로 남습니다.

막아 주는 오류와 남는 오류

오류	Jev에서 생길 수 있나
정한 형식을 벗어난 출력	제공하지 않음
선택지 목록 밖의 항목	제공하지 않음
목록 안에서 틀린 선택지	제공
선택지 자체가 현실과 맞지 않음	제공

논쟁이 길게 이어진 대목도 여기였고, 창업자가 직접 스무 건 넘는 댓글에 답했습니다. 선형 분류기도 환각하느냐는 반문에는 한 사용자의 설명이 많이 인용됐습니다. 빨간 공과 노란 공을 구분하도록 학습한 분류기에 파란 공을 줘도 둘 가운데 하나를 고릅니다. 이를 환각이라고 부를지는 정의에 따라 다르지만, 확률이 높아도 주어진 선택지 자체가 현실에 맞지 않는 문제는 남습니다. 환각률이 모델마다 어떻게 측정되는지는 준이아빠블로그의 할루시네이션 뜻과 실제 사례에 정리해 두었습니다.

회사 자체 평가 설계를 두고 나온 지적

가장 많이 나온 지적은 정답을 무엇으로 삼았느냐였습니다. 이 평가의 기준 답안은 GPT-6 아스트라와 클로드 페이블 5.1에게 같은 질문을 던져 얻은 답의 평균입니다. 즉 점수는 정답과의 일치도가 아니라 두 대형 모델과의 일치도입니다.

회사는 이 설계를 숨기지 않았고 한계도 함께 밝혔습니다. 정답을 두 모델의 평균으로 잡았으므로 결과가 오픈AI와 앤트로픽 쪽으로 기울고, 딥시크 모델의 상대 성능을 낮게 평가했을 가능성이 있다는 것이 회사 설명입니다. 워크플로를 자기네 모델 역량팀이 만들어 편향이 있을 수 있다는 것도 인정했습니다.

문제는 그다음입니다. 기준 답안을 만든 아스트라와 페이블 5.1은 채점 대상에 들어가 있지 않습니다. 그래서 이 평가로는 Jev가 최상위 모델과 비교해 얼마나 정확한지 알 수 없습니다.

심판을 바꾸면 결론이 뒤집힌다는 것을 실험으로 보여 준 사례도 나왔습니다. 한 개발자는 검색 재순위 작업에서 심판만 바꿔 측정한 결과를 데이터와 함께 공개했습니다.

같은 비교에서 심판만 바꿨을 때(검색 재순위 실험)

1. 1심판이 JevJev 방식이
   앞섬
2. 2심판 둘차이가
   줄어듦
3. 3다른 모델만 심판결과가
   뒤집힘

회사는 공개 벤치마크 성적을 아예 내지 않기로 했고, 그 이유를 별도 글로 설명했습니다. 벤치마크에 최적화하는 관행을 비판하면서 앞서 있을 때도 벤치마크를 덜 강조하겠다고 적었습니다. 이 태도 자체는 일관되지만, 그만큼 외부에서 검증할 근거도 줄어듭니다. 목표를 정하는 방식이 결과를 어떻게 바꾸는지는 AI에게 테스트를 통과시키라고 시켜 봤습니다에서 다뤘습니다.

기존 분류 모델과 비교할 때

Jev는 미리 정한 질문과 선택지를 요청에 담아 분류합니다. 과제마다 학습 데이터를 따로 모아 모델을 다시 학습시키는 과정을 줄일 수 있다는 점이 기존 분류 모델과 다릅니다. 이미 라벨이 붙은 자료가 있는 고정 업무라면 기존 분류 모델과 규칙 코드도 함께 견줘 볼 만합니다.

Jev에 맡길 일과 코드로 처리할 일

작업	Jev	규칙 코드
문의 문장의 의미 판단	제공	제공하지 않음
합계와 날짜 차이 계산	제공하지 않음	제공
과제별 학습 데이터 준비	줄일 수 있음	–

공식 약점 문서는 숫자 계산, 날짜 비교, 관련 없는 내용이 많은 긴 입력, 선택지 순서의 영향을 다룹니다. 합계나 날짜 차이는 코드로 계산하고 모델은 의미 판단에 쓰는 편이 맞습니다. 문의 안에 모델을 다른 답으로 끌고 가는 문장이 들어 있어도 분류 결과가 흔들릴 수 있으므로, 실제 업무에 붙이기 전에 이런 예외 문의를 시험 자료에 넣어 둡니다.

외부 실측이 뒷받침한 신뢰도 보정

외부 실험 두 건은 신뢰도가 사람이 검토할 대상을 고르는 데 쓸모가 있다는 결과를 보여 줍니다.

Ben Greenberg는 해커톤 심사의 한 판정 단계에서 자료 102개를 설정마다 세 번 평가했습니다. 그래서 306건은 서로 다른 자료 306개가 아니라 반복 평가 횟수입니다.

해커톤 심사 판정 306건(외부 실측)

항목	Jev선택 질문 하나	클로드 소네트 5
정확도	99.3%	99.0%
오답	2건	3건
오답의 신뢰도	0.2~0.3	0.9~1.0

정확도는 큰 차이가 없었지만 틀린 답이 떨어진 곳이 달랐습니다. Jev는 틀릴 때 낮은 신뢰도를 냈고, 소네트는 틀린 답도 높은 신뢰도로 냈습니다. 신뢰도 0.5를 기준으로 잘랐다면 전체의 98%를 자동 처리하면서 자동 처리분의 정확도를 100%로 유지할 수 있었다는 계산도 함께 나왔습니다.

노르웨이어 자료의 실측도 방향이 같습니다. 한 개발자가 2022년 연어 양식 과세 공청회 답변서 24건에서 예/아니오 판정 192건을 모았습니다. 기준 답안은 사람이 직접 판정한 정답이 아니라 Claude Fable 5.1이 두 번 분류한 결과입니다.

Jev의 예 확률 구간별로 기준 답안이 예였던 비율

• 0.0~0.1(14건)0%
• 0.1~0.3(56건)4%
• 0.3~0.7(41건)34%
• 0.7~0.9(38건)97%
• 0.9~1.0(43건)98%

Jev가 '예'일 확률을 높게 낼수록 기준 답안도 실제로 '예'인 비율이 높았습니다. 같은 실험에서 딥시크 V4.1 플래시와 견준 값도 나왔습니다. 입장 분류는 24건 가운데 20건으로 추론을 끈 딥시크와 같았고 추론을 켠 쪽이 22건으로 앞섰습니다. 1,000건당 비용은 Jev 0.22달러, 추론을 끈 딥시크 1.31달러, 켠 딥시크 3.08달러였고, 중앙값 지연은 0.32초, 2.7초, 26초였습니다. 이 작은 표본에서는 기준 답안 일치도보다 비용과 시간의 차이가 훨씬 컸습니다.

Jev를 한국에서 쓸 때 확인할 두 가지

국내에서 쓴다면 응답 시간과 한국어 성능을 먼저 봅니다.

• 응답 시간: 발표의 70~500밀리초는 미국 서해안 평가 환경에서 측정한 값입니다. 한국에서는 이용 경로와 네트워크를 포함한 실제 시간을 따로 측정합니다.
• 한국어 성능: 회사 문서에는 영어가 주 학습 언어이고, 한중일 문자를 포함한 다른 언어는 처리는 되지만 성능이 영어와 같지 않다고 적혀 있습니다. 자기 데이터로 시험하고 신뢰도를 주의해서 보라는 안내도 함께 붙어 있습니다. 앞의 노르웨이어 실측에서는 영어가 아닌 자료에서도 확률 구간의 방향이 맞았습니다.

Jev는 공식 중개 서비스인 버셀 AI 게이트웨이에서도 쓸 수 있습니다.

Jev를 부르는 두 경로

항목	TypeSafe 직접 API	버셀 AI 게이트웨이
모델 이름	jev-1.13.0 jev-latest	typesafe-ai/jev
입력 100만 토큰당	0.042달러	0.04달러대
출력 요금	없음	없음

버셀 공식 예제는 experimental_evaluate와 typesafe-ai/jev를 씁니다. 직접 API의 요청 본문을 그대로 옮기기보다 버셀 경로라면 버셀 예제를 따르고, 한 경로를 정해 시험합니다.

자주 묻는 질문

Jev 가격은 얼마인가요?

입력 100만 토큰당 0.042달러이고 출력 토큰에는 요금을 받지 않습니다. 10억 토큰 기준으로 42달러입니다. 버셀 AI 게이트웨이에 올라온 표시 단가도 입력 100만 토큰당 0.04달러대입니다. 회사는 이 가격이 보조금이 아니라는 것은 증명할 수 없다고 발표문에 적어 두었습니다.

예를 들어 한 요청의 전체 입력이 2,000토큰이고 20번 호출하면 40,000토큰입니다. 직접 API 단가로 계산하면 40,000 ÷ 1,000,000 × 0.042 = 0.00168달러입니다. 실제 청구액에는 질문까지 포함한 입력 전체와 재시도 횟수가 반영됩니다.

Jev로 챗봇이나 코딩 도구를 만들 수 있나요?

Jev 하나만으로 대화문이나 코드를 생성하는 도구를 만들기는 어렵습니다. 이 모델은 문장을 생성하지 못하고 미리 정한 선택지 가운데 하나와 확률만 돌려줍니다. 회사가 상정한 사용법도 LLM을 대체하는 것이 아니라, LLM이 만든 결과를 판정하거나 분기를 결정하는 곳에 Jev를 끼워 넣는 방식입니다.

기존 구조화 출력과 무엇이 다른가요?

형식만 보면 겹칩니다. 오픈AI와 앤트로픽의 구조화 출력도 스키마를 지킨 답을 돌려줍니다. 차이는 확률입니다. 제약을 걸어 디코딩한 토큰 확률이 보정된 조건부 확률이 아니라는 것은 연구로 알려져 있고, 타입세이프는 Jev가 보정된 조건부 확률 자체를 학습 목표로 삼았다고 설명합니다.

지금 바로 써 볼 수 있나요?

TypeSafe에 이용을 신청하거나, 공식 제공 경로인 버셀 AI 게이트웨이에서 호출할 수 있습니다. 개발자용 SDK는 API 호출을 돕는 코드 묶음입니다.

Sources

• Introducing System One Models and Jev (타입세이프 공식 발표)
• TypeSafe AI 홈페이지, 자주 묻는 질문 포함
• Workflow evals (타입세이프 공식 평가 사이트)
• Models: 가격과 한도 (타입세이프 공식 문서)
• Jev 1.13 jaggedness: 알려진 약점 (타입세이프 공식 문서)
• Confidence: 신뢰도 사용법 (타입세이프 공식 문서)
• Lies, Damned Lies, and Benchmarks (타입세이프 공식 블로그)
• 해커뉴스 발표 스레드
• Jev vs Claude: Who Wins? (외부 실측, 판정 306건)
• A first look at TypeSafe's Jev (외부 실측, 노르웨이어 자료 24건 분석)
• Jev's Architecture Unmasked (외부 역추정)
• Jev means structured output is interesting again (외부 분석)
• A new kind of AI model from a ChatGPT inventor is thrilling developers (TechCrunch)
• TypeSafe AI Jev now available on AI Gateway (버셀 공식)
• Jev 모델 페이지와 단가 (버셀 AI 게이트웨이)
• TypeSafe emerges from stealth with a new way of doing AI (DCVC 투자 발표)
• jev-search-rerank-eval (외부 실측, 심판 편향 데이터 공개)
• Grammar-Aligned Decoding (제약 디코딩의 분포 왜곡, NeurIPS 2024)

3줄 요약

1. Jev는 자유로운 문장 대신 미리 정한 선택지나 점수와 확률을 반환하므로 문의 분류와 조건 판단에 사용할 수 있습니다.

2. 형식 보장은 정답 보장이 아니며 Choice의 confidence와 Noul의 예 확률은 서로 다른 숫자입니다.

3. 회사 자체 평가의 정확도는 67.8%로 중위권이지만 외부 실측에서는 Jev의 오답이 신뢰도 0.2에서 0.3 구간에 몰려 검토 대상을 고르기 쉬웠습니다.