Jev(제브) AI 모델 정리: 글자 대신 선택지와 확률만 내놓는 구조와 실제 성적

Jev(제브)는 타입세이프 AI(TypeSafe AI)가 2026년 9월 15일 공개한 모델입니다. 글자를 만들지 않고 미리 정해 둔 선택지 가운데 하나를 고른 뒤 그 확률을 함께 돌려줍니다. 만든 사람은 오픈AI에서 챗GPT의 바탕이 된 InstructGPT 연구와 RLHF에 참여한 디오고 알메이다(Diogo Almeida)입니다. 알메이다는 2년 동안 회사를 외부에 알리지 않다가 시드 4,000만 달러 유치와 함께 Jev를 내놓았습니다.

LLM에게 JSON 형식으로 답하라고 시켜 본 분이라면 구조화 출력이 새 이야기가 아니라는 것을 이미 알고 계실 겁니다. 오픈AI와 앤트로픽 모두 스키마를 지켜 답하게 하는 기능을 이미 제공합니다.

그런데 그 답에 붙은 확신도가 믿을 만한지는 다른 문제입니다. 어떤 작업을 95% 맞히는 모델이 나머지 5%가 어느 경우인지 말해 주지 않으면 그 작업은 자동화할 수 없습니다. 타입세이프가 문제 삼은 것이 바로 이것이고, 그래서 이 모델은 문장 대신 확률을 내놓습니다. 발표 자료와 공식 문서, 그리고 공개 나흘 동안 나온 외부 실측을 근거로 2026년 9월 19일 기준으로 정리하겠습니다.

Jev 발표 내용 한눈에 보기

표에서 먼저 볼 것은 마지막 줄입니다. 이 모델은 답을 쓰지 못합니다. 챗봇도 코딩 도구도 될 수 없고, 왜 그렇게 판정했는지도 설명하지 않습니다.

Jev가 글자 대신 답안 카드를 채우는 구조

호출 방식은 간단합니다. 상태(state)에 판단 재료를 넣고, 질문(questions)에 물어볼 것과 선택지를 적어 보냅니다.

돌아오는 답은 technical과 그 확률 0.85, 신뢰도 0.82 같은 값입니다. 서술형 답안지에는 무엇이든 쓸 수 있어서 채점하려면 사람이 읽어야 하지만, 객관식 답안 카드는 정해진 칸만 칠할 수 있어 기계가 바로 읽습니다. 이 모델의 답도 코드가 파싱 없이 그대로 받습니다. 모델은 칸 밖을 칠할 수 없으므로 타입 오류도 생기지 않습니다.

한 장에 문항 여러 개를 한꺼번에 채우는 것도 답안 카드와 똑같습니다. 질문을 여러 개 보내도 같은 상태를 놓고 서로 독립해 병렬로 평가되므로 응답 시간이 거의 늘지 않습니다. 앞 질문의 답이 뒤 질문에 섞이지 않아 맥락이 오염되는 일도 없습니다. 대신 앞 답을 참조해야 하는 질문은 코드에서 두 번째 요청으로 나눠야 합니다.

회사가 권하는 사용법은 판단을 잘게 쪼개는 것입니다. 위 그림은 발표 자료에 실린 보안 경보 처리 흐름입니다. 하나의 큰 질문 대신 예/아니오와 점수와 선택 질문 열몇 개로 나누고 그 사이를 코드가 잇습니다. 임계값 0.75를 넘으면 대응을 시작하고 0.15에서 0.60 사이면 사용자에게 알리는 식으로, 분기 조건을 코드에 그대로 적어 둡니다.

Jev가 실제로 빨라지고 싸지는 이유

Jev가 빠른 것은 토큰을 하나씩 만들지 않기 때문입니다. 기존 LLM은 답을 앞 글자부터 차례로 생성하므로 {"department": "technical"}이라는 답을 내려면 중괄호와 따옴표와 필드 이름까지 전부 만들어야 합니다. Jev는 그 과정을 건너뛰고 선택지 위 확률만 한 번에 내놓습니다.

출력 토큰을 받지 않는 이유도 여기서 나옵니다. 해외 개발자 커뮤니티에서는 회사가 값이 싸서 안 받는 것이 아니라 애초에 디코더가 없어서 받을 것이 없다고 정리했습니다.

회사가 공개한 평가 사이트에서 4개 워크플로를 평균한 값은 건당 0.4초, 0.0004달러입니다. 같은 작업에서 GPT-5.6 솔은 23.3초에 0.0836달러, 클로드 오퍼스 5는 37.8초에 0.1761달러가 들었습니다. 속도와 비용만 놓고 보면 두 자릿수에서 세 자릿수 배수가 맞습니다.

다만 홈페이지의 193.6배와 444.6배는 비교 대상이 적혀 있지 않습니다. 공개된 평가 수치로 역산하면 속도 배수는 가장 느린 소네트 5, 비용 배수는 가장 비싼 오퍼스 5와 견준 값에 가까워, 각 항목에서 가장 유리한 상대를 따로 골라 붙인 것으로 보입니다. 발표문 본문이 적은 범위는 40배에서 200배입니다. 회사도 발표문 각주에 이 수치가 현실에서 기대할 수 있는 최대치에 가깝다고 적어 두었습니다.

Jev 정확도는 중위권이라는 회사 자체 평가 결과

발표 자료를 끝까지 읽어야 보이는 내용은 여기서부터입니다.

같은 평가의 정확도 열을 옮기면 이렇습니다.

Jev는 소네트 5와 동률이고 솔보다 6.3%포인트 낮으며, 값싼 루나보다 1.0%포인트 높습니다. 워크플로별로는 고객 서비스가 76.0%로 가장 좋고, 보안 사고 61.7%와 인보이스 처리 61.8%가 바닥입니다. 솔과의 격차는 인보이스에서 17.3%포인트로 가장 크게 벌어집니다.

발표문은 이 결과를 "차트 밖으로 나갔다"고 표현했는데, 정확도를 기준으로 읽으면 그렇지 않습니다. 밖으로 나간 것은 비용과 속도이고 정확도는 중간에 머뭅니다.

Jev가 환각하지 않는다는 말이 보장하는 범위

발표문에는 구조화 출력 오류율과 도구 호출 오류율을 비교한 차트가 실려 있습니다.

Jev는 양쪽 다 0%입니다. 그런데 이 0%가 어떻게 나온 값인지는 같은 발표문 각주에 적혀 있습니다. 실측한 수치가 아니라 스키마가 보장되므로 넣은 값입니다. 비교 대상인 LLM 수치는 오픈라우터에서 가져온 것이라 편향이 있을 수 있다는 단서도 함께 달려 있습니다.

회사 홈페이지의 자주 묻는 질문은 범위를 더 좁혀 놓았습니다. 답의 모양은 보장하지만 모든 판정이 옳다는 뜻은 아니며, 선택지 목록 밖의 항목을 지어내지는 못해도 목록 안에서 틀린 것은 고를 수 있다고 적혀 있습니다. 칸 밖에 칠하지 못할 뿐 엉뚱한 칸을 칠하는 일은 그대로 남습니다.

논쟁이 길게 이어진 대목도 여기였고, 창업자가 직접 스무 건 넘는 댓글에 답했습니다. 선형 분류기도 환각하느냐는 반문에는 한 사용자의 설명이 많이 인용됐습니다. 빨간 공과 노란 공을 구분하도록 학습한 분류기에 파란 공을 줘도 둘 가운데 하나를 고르는데, 그 답이 곧 환각이고 확률은 높은데 현실과는 맞지 않을 수 있다는 것입니다. 환각률이 모델마다 어떻게 측정되는지는 준이아빠블로그의 할루시네이션 뜻과 실제 사례에 정리해 두었습니다.

회사 자체 평가 설계를 두고 나온 지적

가장 많이 나온 지적은 정답을 무엇으로 삼았느냐였습니다. 이 평가의 기준 답안은 GPT-6 아스트라와 클로드 페이블 5.1에게 같은 질문을 던져 얻은 답의 평균입니다. 즉 점수는 정답과의 일치도가 아니라 두 대형 모델과의 일치도입니다.

회사는 이 설계를 숨기지 않았고 한계도 함께 밝혔습니다. 정답을 그 둘의 평균으로 잡았으므로 결과가 오픈AI와 앤트로픽 쪽으로 기울고, 딥시크 모델의 상대 성능은 낮게 나왔을 것입니다. 워크플로를 자기네 모델 역량팀이 만들어 편향이 있을 수 있다는 것도 인정했습니다.

문제는 그다음입니다. 기준 답안 역할을 한 아스트라와 페이블 5.1은 채점 대상에 들어가 있지 않습니다. 그래서 Jev가 최상위 모델 대비 실제로 얼마나 정확한지는 이 평가로 알 수 없습니다.

심판을 바꾸면 결론이 뒤집힌다는 것을 실험으로 보여 준 사례도 나왔습니다. 한 개발자는 검색 재순위 작업에서 심판만 바꿔 가며 잰 결과를 데이터와 함께 공개했습니다. Jev를 심판으로 쓰면 Jev 방식이 앞서고, 심판을 둘로 늘리면 차이가 줄고, 다른 모델만 심판으로 쓰면 오히려 뒤집혔습니다. 같은 비교인데 심판 선택이 결론을 바꿔 놓았습니다.

회사는 공개 벤치마크 성적을 아예 내지 않기로 했고, 그 이유를 별도 글로 설명했습니다. 벤치마크에 최적화하는 관행을 비판하면서 앞서 있을 때도 벤치마크를 덜 강조하겠다고 적었습니다. 이 태도 자체는 일관되지만, 그만큼 외부에서 검증할 근거도 줄어듭니다. 목표를 정하는 방식이 결과를 어떻게 바꾸는지는 AI에게 테스트를 통과시키라고 시켜 봤습니다에서 다뤘습니다.

공개 직후 쏟아진 재현물과 커뮤니티가 든 비교 대상

반응은 빨랐습니다. 해커뉴스 발표 스레드는 1,890점에 댓글 495개를 받았고, 발표 몇 시간 뒤에는 같은 학습법 이름을 붙인 재현 모델이 허깅페이스에 올라왔습니다. 그 뒤로도 재현 시도가 이어져 나흘 사이에 오픈소스 프로젝트 목록이 따로 정리될 정도가 됐습니다.

커뮤니티에서 자주 나온 비교 대상은 인코더 계열 분류 모델입니다. BERT 같은 인코더 모델도 출력 형태는 같지만, 과제마다 라벨을 모아 학습시켜야 쓸 수 있습니다. Jev는 그 준비 없이 아무 질문이나 바로 받는다는 점이 다르다는 정리가 많았습니다. 창업자도 제로샷 분류기라는 요약에 그대로 맞다고 답했습니다.

자기 과제에 맞춰 파인튜닝한 소형 모델이 Jev보다 정확했다는 사례도 커뮤니티에 올라왔습니다. 라벨이 이미 있고 과제가 고정된 작업이라면 기존 방법이 여전히 유리할 수 있다는 뜻입니다.

외부 실측이 뒷받침한 신뢰도 보정

정확도와 배수 주장은 근거가 약해졌지만 신뢰도 주장은 남았습니다.

한 개발자가 해커톤 심사 게이트에서 판정 306건을 돌려 비교한 결과에서는 차이가 뚜렷했습니다. 선택 질문 하나만 쓴 Jev가 99.3%, 클로드 소네트 5가 99.0%로 정확도는 큰 차이가 없었지만, 틀린 답이 어디에 떨어졌는지는 달랐습니다. Jev의 오답 두 건은 모두 신뢰도 0.2에서 0.3 구간에 있었고, 소네트의 오답 세 건은 모두 0.9에서 1.0 사이에 몰려 있었습니다. 신뢰도 0.5를 기준으로 잘랐다면 전체의 98%를 자동 처리하면서 자동 처리분의 정확도를 100%로 유지할 수 있었다는 계산도 함께 나왔습니다.

노르웨이어 자료로 잰 실측도 방향이 같습니다. 한 개발자가 2022년 연어 양식 과세 공청회 답변서 24건에서 예/아니오 판정 192건을 모았는데, Jev가 말한 확률과 실제로 답이 '예'였던 비율이 이렇게 나왔습니다.

같은 실험에서 딥시크 V4.1 플래시와 견준 값도 함께 나왔습니다. 입장 분류는 24건 가운데 20건으로 추론을 끈 딥시크와 같았고 추론을 켠 쪽이 22건으로 앞섰는데, 1,000건당 비용은 0.22달러 대 1.31달러 대 3.08달러, 중앙값 지연은 0.32초 대 2.7초 대 26초였습니다. 정확도를 조금 내주고 비용과 시간을 크게 줄이는 그림이 여기서도 반복됩니다.

정리하면 Jev가 더 똑똑해서 쓸 만한 것이 아니라, 오답일 때 확신도를 낮게 주기 때문에 자동화에 넣기 쉽다는 이야기입니다. 다만 회사는 이 주장의 근거가 될 보정 곡선이나 오차 수치를 공개한 적이 없습니다. 위 수치는 전부 외부 개인이 잰 것입니다.

Jev를 한국에서 쓸 때 확인할 두 가지

지역 차단은 없지만 실무 제약이 두 가지 있습니다.

• 서비스가 미국 서해안에만 있습니다. 리전 선택지가 없고, 70밀리초에서 500밀리초라는 값도 현지에서 잰 것입니다. 한국에서는 왕복 네트워크 지연이 그대로 더해지므로 실시간 분기 용도에서는 이 지연 시간을 따로 계산해야 합니다.
• 한국어 정확도가 영어와 같지 않습니다. 회사 문서에는 영어가 주 학습 언어이고 한중일 문자를 포함한 다른 언어는 처리는 되지만 성능이 영어와 같지 않다고 적혀 있습니다. 자기 데이터로 시험하고 신뢰도를 주의해서 보라는 안내도 함께 붙어 있습니다. 찾을 수 있는 범위에서는 한국어 성능을 잰 공개 자료가 보이지 않습니다. 다만 위에서 본 노르웨이어 실측처럼 비영어 자료에서도 확률 구간은 방향이 맞았습니다.

대기자 명단에서 순서를 기다리지 않고 시험해 보는 우회로가 하나 있습니다. Jev가 버셀 AI 게이트웨이에 typesafe-ai/jev로 올라와 있고, 표시 단가도 입력 100만 토큰당 0.04달러대에 출력 요금은 없습니다.

국내 반응은 조용한 편입니다. 며칠 사이에 전문 매체 기사와 개발자 커뮤니티 소개 글이 올라왔지만, 국내 검색량은 아직 거의 잡히지 않습니다.

자주 묻는 질문

Jev 가격은 얼마인가요?

입력 100만 토큰당 0.042달러이고 출력 토큰에는 요금을 받지 않습니다. 10억 토큰 기준으로 42달러입니다. 버셀 AI 게이트웨이에 올라온 표시 단가도 입력 100만 토큰당 0.04달러대입니다. 다만 회사도 이 가격이 보조금이 아니라는 것은 증명할 수 없다고 발표문에 적어 두었습니다.

Jev로 챗봇이나 코딩 도구를 만들 수 있나요?

만들 수 없습니다. 이 모델은 문장을 생성하지 못하고 미리 정한 선택지 가운데 하나와 확률만 돌려줍니다. 회사가 상정한 사용법도 LLM을 대체하는 것이 아니라 LLM이 만든 결과를 판정하거나 분기를 결정하는 곳에 끼워 넣는 방식입니다.

기존 구조화 출력과 무엇이 다른가요?

형식만 보면 겹칩니다. 오픈AI와 앤트로픽의 구조화 출력도 스키마를 지킨 답을 돌려줍니다. 차이는 확률입니다. 제약을 걸어 디코딩한 토큰 확률이 보정된 조건부 확률이 아니라는 것은 연구로 알려져 있고, 타입세이프는 Jev가 보정된 조건부 확률 자체를 학습 목표로 삼았다고 설명합니다. 다만 그 주장을 뒷받침할 보정 수치는 아직 공개되지 않았습니다.

지금 바로 써 볼 수 있나요?

공식 경로는 대기자 명단 등록입니다. 버셀 AI 게이트웨이를 쓰면 대기자 명단 없이 공식 가격과 비슷한 단가로 호출할 수 있습니다. 파이썬과 자바스크립트 SDK가 함께 제공됩니다.

3줄 요약

1. Jev는 타입세이프 AI가 2026년 9월 15일 공개한 모델이고, 글자를 만드는 대신 미리 정한 선택지 하나와 그 확률을 돌려주며 입력 100만 토큰당 0.042달러에 출력 토큰은 받지 않습니다.
2. 회사 자체 평가에서 4개 워크플로 평균 정확도는 67.8%로 GPT-5.6 솔의 74.1%에 6.3%포인트 뒤지고 소네트 5와 같으며, 앞서는 것은 건당 0.4초와 0.0004달러라는 속도와 비용입니다.
3. 외부 실측이 비교적 일관되게 뒷받침한 주장은 신뢰도 보정이고, 판정 306건을 비교한 실험에서 Jev의 오답 두 건은 모두 신뢰도 0.2에서 0.3 구간에 있었던 반면 비교 모델의 오답 세 건은 모두 0.9 이상 구간에 있었습니다.

Sources

• Introducing System One Models and Jev (타입세이프 공식 발표)
• TypeSafe AI 홈페이지, 자주 묻는 질문 포함
• Workflow evals (타입세이프 공식 평가 사이트)
• Models: 가격과 한도 (타입세이프 공식 문서)
• Jev 1.13 jaggedness: 알려진 약점 (타입세이프 공식 문서)
• Confidence: 신뢰도 사용법 (타입세이프 공식 문서)
• Lies, Damned Lies, and Benchmarks (타입세이프 공식 블로그)
• 해커뉴스 발표 스레드
• Jev vs Claude: Who Wins? (외부 실측, 판정 306건)
• A first look at TypeSafe's Jev (외부 실측, 노르웨이어 자료 24건 분석)
• Jev's Architecture Unmasked (외부 역추정)
• Jev means structured output is interesting again (외부 분석)
• A new kind of AI model from a ChatGPT inventor is thrilling developers (TechCrunch)
• TypeSafe AI Jev now available on AI Gateway (버셀 공식)
• Jev 모델 페이지와 단가 (버셀 AI 게이트웨이)
• TypeSafe emerges from stealth with a new way of doing AI (DCVC 투자 발표)
• jev-search-rerank-eval (외부 실측, 심판 편향 데이터 공개)
• Grammar-Aligned Decoding (제약 디코딩의 분포 왜곡, NeurIPS 2024)