Jev AI 모델 이해하기: 선택지, 확률과 신뢰도를 구분하는 방법

Jev(제브)는 타입세이프 AI(TypeSafe AI)가 2026년 9월 15일 공개한 모델입니다. 글자를 만들지 않고 미리 정해 둔 선택지 가운데 하나를 고른 뒤 그 확률을 함께 돌려줍니다. 창업자 디오고 알메이다(Diogo Almeida)는 오픈AI에서 InstructGPT와 RLHF 연구에 참여했습니다. RLHF는 사람의 피드백으로 모델의 답변을 개선하는 학습 방식입니다. 알메이다는 2년 동안 회사를 외부에 알리지 않다가 시드 4,000만 달러 유치와 함께 Jev를 내놓았습니다.

문장을 생성하는 대형 언어 모델(LLM)도 정해진 항목에 맞춰 답하게 할 수 있습니다. JSON은 항목 이름과 값을 짝지어 적는 데이터 형식이고, 스키마는 어떤 항목과 자료형을 허용할지 정한 규칙입니다. 이 규칙에 맞춘 답을 구조화 출력이라고 부릅니다.

그런데 그 답에 붙은 확신도가 믿을 만한지는 다른 문제입니다. 어떤 작업을 95% 맞히는 모델이 나머지 5%가 어느 경우인지 말해 주지 않으면 잘못된 결과를 그대로 처리할 위험이 남습니다. 타입세이프가 문제 삼은 것이 바로 이것이고, 그래서 이 모델은 문장 대신 확률을 내놓습니다. 발표 당시 평가와 외부 실험, 2026년 10월 4일 확인한 공식 문서를 구분해 정리합니다. 이 글에서 Jev를 직접 호출해 성능을 측정한 것은 아닙니다.

첫 연습: 문의 세 건에 분류 기준 붙이기

모델을 쓰기 전에 가상 문의를 직접 분류해 봅니다. 분류 기준은 ‘환불이나 청구 문의는 결제’, ‘작동 실패는 기술’, ‘가격 비교는 영업’, ‘판단 재료가 없으면 정보 부족’입니다.

메모나 스프레드시트에 문의 / 기준 답 / 근거 / 모델의 답 / 확인 결과를 적고 문의 분류 연습으로 저장합니다. 지금은 모델의 답 칸을 비워 둡니다. 다시 열어 각 기준 답을 문의 문장으로 설명할 수 있는지 확인하면 첫 연습은 끝입니다.

반복할 때 마지막 문의를 “요금제별 가격을 비교하고 싶습니다”로 바꿉니다. 이제는 영업으로 바뀌어야 합니다. “결제 버튼이 작동하지 않습니다”라면 결제라는 낱말보다 작동 실패가 핵심이므로 이 연습에서는 기술로 정합니다. 기준이 애매하면 모델을 호출하기 전에 기준 문장부터 고칩니다.

나중에 Jev를 시험할 때도 처음에는 같은 가상 문의의 분류 결과만 확인합니다. 자동 환불이나 고객 발송까지 연결하지 않습니다. 높은 신뢰도로 틀린 답을 골랐는지도 기록해야 사람이 확인할 범위를 정할 수 있습니다.

Jev 발표 내용 한눈에 보기

토큰은 모델이 입력을 나눠 처리하는 단위입니다. 한 글자가 항상 한 토큰은 아니므로 한국어 글자 수를 그대로 요금 계산에 쓰지는 않습니다.

jev-latest는 새 버전이 나오면 가리키는 모델이 바뀔 수 있습니다. 반복 비교에서는 jev-1.13.0처럼 버전을 지정하고 응답에 기록된 모델 이름을 함께 저장합니다.

표에서 먼저 볼 것은 마지막 줄입니다. 이 모델은 답을 쓰지 못합니다. 혼자서 대화문이나 코드를 생성하는 역할은 맡지 못하고, 왜 그렇게 판정했는지도 설명하지 않습니다.

Jev가 글자 대신 답안 카드를 채우는 구조

API 호출은 프로그램이 모델에 요청을 보내는 방식입니다. 상태(state)에 판단 재료를 넣고, 질문(questions)에 물어볼 것과 선택지를 적습니다. 아래 JSON은 요청 본문을 이해하기 위한 예시이며 채팅창에 붙여 넣는 사용법이나 실행 명령은 아닙니다. 실제 호출에는 이용 가능한 계정과 API 키가 필요합니다.

네 선택지의 확률이 가령 기술 0.85, 결제 0.10, 영업 0.04, 정보 부족 0.01이라면 선택된 답은 technical이고 현재 공식 식으로 계산한 confidence는 0.8입니다. 설명을 위한 가상 숫자이며 실제 응답을 기록한 값이 아닙니다. 서술형 답안지에는 무엇이든 쓸 수 있어서 채점하려면 사람이 읽어야 하지만, 객관식 답안 카드는 정해진 칸만 칠할 수 있어 기계가 바로 읽습니다. 이 모델의 응답도 API의 JSON을 읽는 처리는 필요하지만, 자유로운 문장에서 선택지 이름을 찾아낼 필요가 없습니다. 회사가 보장하는 것은 모델 출력의 형식이며 잘못된 요청, 통신 실패와 선택지 안의 오답까지 없애는 보장은 아닙니다.

한 장에 문항 여러 개를 한꺼번에 채우는 것도 답안 카드와 똑같습니다. 질문들은 같은 상태를 놓고 병렬로 평가됩니다. 실제 시간은 입력 길이와 호출 환경의 영향을 받으므로 질문을 늘려도 언제나 시간이 같다고 보장할 수는 없습니다. 앞 질문의 결과가 뒤 질문의 입력으로 자동 전달되지는 않습니다. 대신 앞 답을 참조해야 하는 질문은 코드에서 두 번째 요청으로 나눠야 합니다.

회사가 권하는 사용법은 판단을 잘게 쪼개는 것입니다. 위 그림은 발표 자료에 실린 보안 경보 처리 흐름입니다. 하나의 큰 질문 대신 예/아니오와 점수와 선택 질문 열몇 개로 나누고 그 사이를 코드가 잇습니다. 자동 처리 여부를 가르는 기준값을 정해 해당 확률이 0.75를 넘으면 대응을 시작하고 0.15에서 0.60 사이면 사용자에게 알리는 식으로, 분기 조건을 코드에 그대로 적어 둡니다. 이는 회사의 보안 예제 조건이며 모든 문의에 쓸 공통 기준값이 아닙니다.

확률 0.85와 신뢰도 0.8은 다릅니다

Choice의 probabilities는 각 선택지의 확률입니다. confidence는 그중 가장 큰 확률이 균등 분포보다 얼마나 높은지 계산한 값입니다. 네 선택지에 각각 1/4씩 주면 신뢰도는 0이고, 하나에 전부 몰리면 1입니다.

앞의 가상 예시는 (0.85 - 1/4) ÷ (1 - 1/4) = 0.8입니다. 따라서 신뢰도 0.8을 ‘이 답이 80% 확률로 맞는다’고 그대로 읽지 않습니다. 실제로 얼마나 맞는지는 사람이 기준 답을 확인한 자료와 비교해야 합니다.

Noul은 별도의 confidence를 반환하지 않습니다. ‘긴급한가요?’에 0.1이 나왔다면 ‘예일 확률이 낮다’는 뜻입니다. 불확실함은 0.5에 가까운 값에 나타납니다. ‘숫자가 낮으면 모두 사람에게 보낸다’는 규칙을 Choice와 Noul에 똑같이 적용하면 안 됩니다.

자동 처리와 사람 검토를 나누는 기준값을 임계값이라고 합니다. 처음에는 모든 예제를 사람이 확인하고, 기준을 정하는 자료와 나중에 확인할 자료를 나눕니다. 문서 종류나 선택지, 모델 버전이 바뀌면 같은 임계값이 맞는지 다시 확인합니다.

Jev가 실제로 빨라지고 싸지는 이유

Jev가 빠른 것은 토큰을 하나씩 만들지 않기 때문입니다. 기존 LLM은 답을 앞 글자부터 차례로 생성하므로 {"department": "technical"}이라는 답을 내려면 중괄호와 따옴표와 필드 이름까지 전부 만들어야 합니다. Jev는 그 과정을 건너뛰고 선택지 위 확률만 한 번에 내놓습니다.

회사의 요금 정책은 출력 토큰 무료입니다. 이 정책과 내부에 특정 구성 요소가 없다는 주장은 구분해야 합니다. 공개 발표만으로 모델 내부 구조 전체를 확정하지 않습니다.

회사가 공개한 평가 사이트에서 4개 워크플로를 평균한 값은 건당 0.4초, 0.0004달러입니다. 같은 작업에서 GPT-5.6 솔은 23.3초에 0.0836달러, 클로드 오퍼스 5는 37.8초에 0.1761달러가 들었습니다. 속도와 비용만 놓고 보면 두 자릿수에서 세 자릿수 배수가 맞습니다.

다만 홈페이지의 193.6배와 444.6배는 비교 대상이 적혀 있지 않습니다. 공개된 평가 수치로 역산하면 속도 배수는 가장 느린 소네트 5, 비용 배수는 가장 비싼 오퍼스 5와 견준 값에 가까워, 각 항목에서 가장 유리한 상대를 따로 골라 붙인 것으로 보입니다. 발표문 본문이 적은 범위는 40배에서 200배입니다. 회사도 발표문 각주에 이 수치가 현실에서 기대할 수 있는 최대치에 가깝다고 적어 두었습니다.

Jev 정확도는 중위권이라는 회사 자체 평가 결과

빠르고 저렴하더라도 원하는 분류를 맞히는지는 별도로 봐야 합니다.

아래는 9월 19일 확인한 회사 자체 평가의 수치입니다. 여기서 ‘정확도’는 사람이 검증한 모든 사실의 정답률이 아니라 기준 모델들의 응답을 바탕으로 만든 답안과의 일치도입니다. 네 업무 흐름의 평균이며 각 모델은 제공사 기본 추론 설정을 사용했습니다.

Jev는 소네트 5와 동률이고 솔보다 6.3%포인트 낮으며, 값싼 루나보다 1.0%포인트 높습니다. 워크플로별로는 고객 서비스가 76.0%로 가장 좋고, 보안 사고 61.7%와 인보이스 처리 61.8%가 바닥입니다. 솔과의 격차는 인보이스에서 17.3%포인트로 가장 크게 벌어집니다.

발표문은 이 결과를 "차트 밖으로 나갔다"고 표현했는데, 정확도를 기준으로 읽으면 그렇지 않습니다. 밖으로 나간 것은 비용과 속도이며, 이 비교 조건의 정확도는 중간 수준입니다.

Jev가 환각하지 않는다는 말이 보장하는 범위

발표문에는 구조화 출력 오류율과 도구 호출 오류율을 비교한 차트가 실려 있습니다.

Jev는 양쪽 다 0%입니다. 그런데 이 0%가 어떻게 나온 값인지는 같은 발표문 각주에 적혀 있습니다. 실측한 수치가 아니라 스키마가 보장되므로 넣은 값입니다. 비교 대상인 LLM 수치는 오픈라우터에서 가져온 것이라 편향이 있을 수 있다는 단서도 함께 달려 있습니다.

회사 홈페이지의 자주 묻는 질문은 범위를 더 좁혀 놓았습니다. 답의 모양은 보장하지만 모든 판정이 옳다는 뜻은 아니며, 선택지 목록 밖의 항목을 지어내지는 못해도 목록 안에서 틀린 것은 고를 수 있다고 적혀 있습니다. 칸 밖에 칠하지 못할 뿐 엉뚱한 칸을 칠하는 일은 그대로 남습니다.

논쟁이 길게 이어진 대목도 여기였고, 창업자가 직접 스무 건 넘는 댓글에 답했습니다. 선형 분류기도 환각하느냐는 반문에는 한 사용자의 설명이 많이 인용됐습니다. 빨간 공과 노란 공을 구분하도록 학습한 분류기에 파란 공을 줘도 둘 가운데 하나를 고를 수 있습니다. 이를 환각이라고 부를지는 정의에 따라 다르지만, 확률이 높아도 주어진 선택지 자체가 현실에 맞지 않는 문제는 남습니다. 환각률이 모델마다 어떻게 측정되는지는 준이아빠블로그의 할루시네이션 뜻과 실제 사례에 정리해 두었습니다.

회사 자체 평가 설계를 두고 나온 지적

가장 많이 나온 지적은 정답을 무엇으로 삼았느냐였습니다. 이 평가의 기준 답안은 GPT-6 아스트라와 클로드 페이블 5.1에게 같은 질문을 던져 얻은 답의 평균입니다. 즉 점수는 정답과의 일치도가 아니라 두 대형 모델과의 일치도입니다.

회사는 이 설계를 숨기지 않았고 한계도 함께 밝혔습니다. 정답을 그 둘의 평균으로 잡았으므로 결과가 오픈AI와 앤트로픽 쪽으로 기울고, 딥시크 모델의 상대 성능을 낮게 평가했을 가능성이 있다는 것이 회사 설명입니다. 워크플로를 자기네 모델 역량팀이 만들어 편향이 있을 수 있다는 것도 인정했습니다.

문제는 그다음입니다. 기준 답안 역할을 한 아스트라와 페이블 5.1은 채점 대상에 들어가 있지 않습니다. 그래서 Jev가 최상위 모델 대비 실제로 얼마나 정확한지는 이 평가로 알 수 없습니다.

심판을 바꾸면 결론이 뒤집힌다는 것을 실험으로 보여 준 사례도 나왔습니다. 한 개발자는 검색 재순위 작업에서 심판만 바꿔 측정한 결과를 데이터와 함께 공개했습니다. Jev를 심판으로 쓰면 Jev 방식이 앞서고, 심판을 둘로 늘리면 차이가 줄고, 다른 모델만 심판으로 쓰면 오히려 뒤집혔습니다. 같은 비교인데 심판 선택이 결론을 바꿔 놓았습니다.

회사는 공개 벤치마크 성적을 아예 내지 않기로 했고, 그 이유를 별도 글로 설명했습니다. 벤치마크에 최적화하는 관행을 비판하면서 앞서 있을 때도 벤치마크를 덜 강조하겠다고 적었습니다. 이 태도 자체는 일관되지만, 그만큼 외부에서 검증할 근거도 줄어듭니다. 목표를 정하는 방식이 결과를 어떻게 바꾸는지는 AI에게 테스트를 통과시키라고 시켜 봤습니다에서 다뤘습니다.

기존 분류 모델과 비교할 때

Jev의 특징은 미리 정한 질문과 선택지를 요청에 담아 분류한다는 점입니다. 과제마다 별도 학습 데이터를 모아 모델을 다시 학습시키는 과정을 줄일 수 있습니다. 다만 ‘아무 질문이나 정확히 답한다’는 뜻은 아닙니다. 이미 라벨이 있는 고정 업무라면 기존 분류 모델과 규칙 코드도 함께 비교할 수 있습니다.

공식 약점 문서는 숫자 계산, 날짜 비교, 관련 없는 내용이 많은 긴 입력과 선택지 순서의 영향을 다룹니다. 합계나 날짜 차이는 코드로 계산하고 모델은 의미 판단에 쓰는 편이 맞습니다. 문의 안에 모델을 다른 답으로 유도하는 문장이 있어도 분류 결과가 영향을 받을 수 있으므로 실제 연결 전 예외 입력을 확인합니다.

외부 실측이 뒷받침한 신뢰도 보정

외부 실험은 신뢰도가 검토 대상을 고르는 데 도움이 될 가능성을 보여줍니다. 모든 데이터에서 같은 결과가 나온다는 증명은 아닙니다.

Ben Greenberg는 해커톤 심사의 한 판정 단계에서 자료 102개를 설정마다 세 번 평가했습니다. 그래서 306건은 서로 다른 자료 306개가 아니라 반복 평가 횟수입니다. 선택 질문 하나만 쓴 Jev가 99.3%, 클로드 소네트 5가 99.0%로 정확도는 큰 차이가 없었지만, 틀린 답이 어디에 떨어졌는지는 달랐습니다. Jev의 오답 두 건은 모두 신뢰도 0.2에서 0.3 구간에 있었고, 소네트의 오답 세 건은 모두 0.9에서 1.0 사이에 몰려 있었습니다. 신뢰도 0.5를 기준으로 잘랐다면 전체의 98%를 자동 처리하면서 자동 처리분의 정확도를 100%로 유지할 수 있었다는 계산도 함께 나왔습니다. 이 자료에서 관측된 결과이며, 새로운 자료에서도 오류가 0건이라는 보장은 아닙니다.

노르웨이어 자료의 실측도 방향이 같습니다. 한 개발자가 2022년 연어 양식 과세 공청회 답변서 24건에서 예/아니오 판정 192건을 모았는데, 기준 답안은 사람이 직접 판정한 정답이 아니라 Claude Fable 5.1이 두 번 분류한 결과입니다. 아래는 Jev의 예 확률 구간별로 그 기준 답안이 예였던 비율입니다.

같은 실험에서 딥시크 V4.1 플래시와 견준 값도 함께 나왔습니다. 입장 분류는 24건 가운데 20건으로 추론을 끈 딥시크와 같았고 추론을 켠 쪽이 22건으로 앞섰는데, 1,000건당 비용은 0.22달러 대 1.31달러 대 3.08달러, 중앙값 지연은 0.32초 대 2.7초 대 26초였습니다. 이 작은 표본에서는 기준 답안 일치도 차이보다 비용과 시간 차이가 크게 나타났습니다.

위 결과는 외부 작성자가 측정한 해당 자료의 수치입니다. 높은 신뢰도의 오답이 다른 작업에도 없다고 결론 낼 수는 없습니다. 현재 공식 문서는 confidence 계산식을 공개하지만, 계산식이 있다는 것과 각 업무에서 확률이 실제 정답 비율에 잘 맞는다는 것은 별개의 문제입니다.

Jev를 한국에서 쓸 때 확인할 두 가지

국내에서 이용을 검토할 때는 다음 조건을 먼저 확인합니다.

• 발표 당시 성능은 미국 서해안에서 측정했습니다. 공식 발표의 70~500밀리초를 한국의 응답 시간으로 보장할 수 없습니다. 이용 경로와 네트워크를 포함한 실제 시간을 따로 측정해야 합니다.
• 한국어 정확도가 영어와 같지 않습니다. 회사 문서에는 영어가 주 학습 언어이고 한중일 문자를 포함한 다른 언어는 처리는 되지만 성능이 영어와 같지 않다고 적혀 있습니다. 자기 데이터로 시험하고 신뢰도를 주의해서 보라는 안내도 함께 붙어 있습니다. 찾을 수 있는 범위에서는 한국어 성능을 측정한 공개 자료가 보이지 않습니다. 다만 위에서 본 노르웨이어 실측처럼 비영어 자료에서도 확률 구간은 방향이 맞았습니다.

버셀 AI 게이트웨이라는 공식 중개 서비스에서도 제공됩니다. Jev가 버셀 AI 게이트웨이에 typesafe-ai/jev로 올라와 있고, 표시 단가도 입력 100만 토큰당 0.04달러대에 출력 요금은 없습니다.

버셀과 TypeSafe 직접 API는 요청 형식이 같다고 가정하지 않습니다. 버셀 공식 예제는 experimental_evaluate와 typesafe-ai/jev를 사용합니다. 계정의 이용 가능 여부와 과금 조건을 확인한 뒤 하나의 경로로 시험하며, 이 글의 가상 분류 연습에는 유료 호출이 필요하지 않습니다.

자주 묻는 질문

Jev 가격은 얼마인가요?

입력 100만 토큰당 0.042달러이고 출력 토큰에는 요금을 받지 않습니다. 10억 토큰 기준으로 42달러입니다. 버셀 AI 게이트웨이에 올라온 표시 단가도 입력 100만 토큰당 0.04달러대입니다. 다만 회사도 이 가격이 보조금이 아니라는 것은 증명할 수 없다고 발표문에 적어 두었습니다.

한 요청의 전체 입력이 2,000토큰이라고 가정하고 20번 호출하면 40,000토큰입니다. 직접 API의 위 단가로 계산하면 40,000 ÷ 1,000,000 × 0.042 = 0.00168달러입니다. 가상 계산이며 실제 청구액은 요청의 질문까지 포함한 사용량, 재시도와 이용 경로의 조건으로 확인합니다.

Jev로 챗봇이나 코딩 도구를 만들 수 있나요?

Jev 하나만으로 대화문이나 코드를 생성하는 도구를 만들기는 어렵습니다. 분류 담당으로 결합하는 것은 가능하지만 이 모델 자체는 문장을 생성하지 못하고 미리 정한 선택지 가운데 하나와 확률만 돌려줍니다. 회사가 상정한 사용법도 LLM을 대체하는 것이 아니라 LLM이 만든 결과를 판정하거나 분기를 결정하는 곳에 끼워 넣는 방식입니다.

기존 구조화 출력과 무엇이 다른가요?

형식만 보면 겹칩니다. 오픈AI와 앤트로픽의 구조화 출력도 스키마를 지킨 답을 돌려줍니다. 차이는 확률입니다. 제약을 걸어 디코딩한 토큰 확률이 보정된 조건부 확률이 아니라는 것은 연구로 알려져 있고, 타입세이프는 Jev가 보정된 조건부 확률 자체를 학습 목표로 삼았다고 설명합니다. 정해진 형식과 보정된 확률은 다른 목표이며, 자신의 자료에서의 일치도는 따로 확인해야 합니다.

지금 바로 써 볼 수 있나요?

TypeSafe의 이용 신청과 계정 상태를 확인하거나 공식 제공 경로인 버셀 AI 게이트웨이를 확인할 수 있습니다. 개발자용 SDK는 API 호출을 돕는 코드 묶음입니다. 계정이나 결제를 준비하기 전에는 앞의 가상 문의 연습으로 분류 기준부터 정하면 됩니다.

8컷 만화로 정리한 Jev의 작동 방식

기존 만화는 답안 카드 비유를 보여줍니다. 4컷의 낮은 확률만 사람이 보면 된다는 대사는 조건을 생략했습니다. Choice의 신뢰도와 Noul의 예 확률은 구분하고, 높은 신뢰도의 오답도 확인해야 합니다. 5컷의 306건은 자료 102개의 세 차례 반복 평가입니다.

기존 만화 펼치기

그림은 DGX Spark에서 Qwen-Image-2.1로 그렸고, 대사는 글과 대조해 따로 얹었습니다. 수치는 2026년 9월 19일 기준 공개 자료입니다. 회색 로봇은 Jev를 사람처럼 그린 것입니다.

만화 대사 전문

1. 민준: AI로 문의 수천 건을 분류하는데, 어떤 답을 믿어야 할지 모르겠어요. / 준이아빠: 95% 맞혀도 틀린 5%가 어디인지 모르면 자동화하기 어렵죠.
2. (2026년 9월 15일 공개, Jev) 준이아빠: Jev는 문장을 쓰지 않고, 정해 둔 선택지 가운데 하나를 골라요. / 민준: 그 답을 얼마나 확신하는지 확률도 같이 줘요?
3. (문장 대신 답안 카드) 준이아빠: 네. 글자를 하나씩 만들지 않으니 빠르고, 출력 토큰 요금도 없어요. / 민준: 입력 요금만 내면 되는군요.
4. (확신이 낮은 답만 사람에게) 준이아빠: 확률이 낮은 답만 사람이 보고, 나머지는 자동으로 넘기면 돼요. / 민준: 틀린 답은 정말 확률이 낮게 나와요?
5. (외부 실측 306건) 준이아빠: 한 실험에서 Jev의 오답 두 건은 모두 신뢰도 0.2에서 0.3 사이였어요. / 민준: 비교 모델은 틀린 답도 0.9 이상으로 확신했고요.
6. (회사 자체 평가, 4개 워크플로 평균) 준이아빠: 정확도만 보면 67.8%로 중위권이에요. / 민준: 대신 건당 0.4초, 0.0004달러로 빠르고 싸네요.
7. (환각하지 않는다는 말의 범위) 준이아빠: 선택지 밖 답은 못 내지만, 목록 안에서 틀린 칸을 고를 수는 있어요. / 민준: 틀릴 일이 아예 없다는 뜻은 아니군요.
8. (한국에서는 미국 서해안 서버와 한국어 성능을 먼저 확인) 준이아빠: 한국어는 영어만큼 정확하지 않다고 문서에 적혀 있어요. / 민준: 그럼 한국어 문의로 먼저 시험해 볼게요.

Sources

• Introducing System One Models and Jev (타입세이프 공식 발표)
• TypeSafe AI 홈페이지, 자주 묻는 질문 포함
• Workflow evals (타입세이프 공식 평가 사이트)
• Models: 가격과 한도 (타입세이프 공식 문서)
• Jev 1.13 jaggedness: 알려진 약점 (타입세이프 공식 문서)
• Confidence: 신뢰도 사용법 (타입세이프 공식 문서)
• Lies, Damned Lies, and Benchmarks (타입세이프 공식 블로그)
• 해커뉴스 발표 스레드
• Jev vs Claude: Who Wins? (외부 실측, 판정 306건)
• A first look at TypeSafe's Jev (외부 실측, 노르웨이어 자료 24건 분석)
• Jev's Architecture Unmasked (외부 역추정)
• Jev means structured output is interesting again (외부 분석)
• A new kind of AI model from a ChatGPT inventor is thrilling developers (TechCrunch)
• TypeSafe AI Jev now available on AI Gateway (버셀 공식)
• Jev 모델 페이지와 단가 (버셀 AI 게이트웨이)
• TypeSafe emerges from stealth with a new way of doing AI (DCVC 투자 발표)
• jev-search-rerank-eval (외부 실측, 심판 편향 데이터 공개)
• Grammar-Aligned Decoding (제약 디코딩의 분포 왜곡, NeurIPS 2024)

3줄 요약

1. Jev는 자유로운 문장 대신 미리 정한 선택지나 점수와 확률을 반환하므로 문의 분류와 조건 판단에 사용할 수 있습니다.

2. 형식 보장은 정답 보장이 아니며 Choice의 confidence와 Noul의 예 확률은 서로 다른 숫자입니다.

3. 회사 평가와 소규모 외부 실험의 수치를 그대로 적용하지 말고 한국어 예제의 정답, 보류 비율과 높은 신뢰도의 오답을 함께 확인해야 합니다.