Jev (타입세이프 AI 판정 모델) 이해하기

🤔 Jev에 코딩을 맡길 수 있을까요?

고객 문의를 읽고 담당 팀을 고르는 일과 문의 관리 프로그램을 만드는 일은 다릅니다. Jev는 앞의 분류 판단을 맡는 모델입니다. 타입세이프 AI(TypeSafe AI)가 공개했으며, 설명문이나 프로그램 코드를 작성하는 용도로 만든 모델은 아닙니다.

코딩 에이전트가 프로그램을 만들고, 그 프로그램이 문의를 분류할 때 Jev를 호출하는 조합은 가능합니다. 이 글에서는 설치보다 먼저 무엇을 맡길 수 있고 어떤 오류를 확인해야 하는지 알아봅니다.

🔑 문장을 쓰는 대신 정한 형태로 판단합니다

일반적인 대형 언어 모델은 토큰이라는 텍스트 단위를 이어서 답변을 만듭니다. Jev는 판단할 재료와 질문을 받아 미리 정한 답의 형태로 결과를 돌려줍니다. 회사는 이런 판정용 모델을 System One 모델이라고 부릅니다.

예를 들어 재료는 고객 문의 내용이고, 질문은 “이 문의를 어느 팀에 전달할까?”입니다. 질문에는 담당 기준과 선택지도 함께 넣습니다. 팀 이름만 나열하면 결제 오류를 결제팀과 기술팀 중 어디로 보내야 할지 기준이 모호할 수 있습니다.

🧾 선택, 점수, 예/아니오의 차이

Choice와 Score에는 confidence라는 신뢰도 값도 있습니다. 이 값은 선택지별 확률 분포로 계산한 값이며 실제로 맞힐 확률을 별도로 측정한 수치는 아닙니다. Noul은 별도 신뢰도 필드를 반환하지 않습니다.

가상 선택 결과에서 한 항목의 확률이 0.9라고 해도 “이런 문의 100건 중 90건이 맞는다”고 바로 해석할 수는 없습니다. 실제 문의와 사람이 확인한 답을 대조해야 맞는 비율을 알 수 있습니다. Score의 긴급도 점수도 정답률이 아닙니다.

여러 질문을 한 요청에 넣어도 앞 질문의 답이 뒤 질문의 입력으로 자동 연결되지는 않습니다. 첫 판정에 따라 다음 질문이 달라져야 한다면 프로그램에서 결과를 받은 뒤 다음 요청을 만듭니다. 이런 데이터 형식이 낯설다면 JSON과 데이터 구조를 참고합니다.

🔗 프로그램에서 다음 작업을 고르는 방법

분류 모델을 고객 문의 처리에 붙인다고 가정해 봅니다.

1. 문의 내용과 담당 기준을 보내 분류 결과를 받습니다.
2. 프로그램이 결과를 읽고 담당 팀 후보를 표시합니다.
3. 담당자가 원문과 분류를 비교한 뒤 전달 여부를 결정합니다.

판정 뒤에 다음 작업을 고르는 흐름을 단순화한 그림입니다. 불확실한 결과는 사람이 확인하고, 신뢰도가 높게 나온 결과도 정답 여부를 점검해야 합니다.

실제 자동 전달을 시작하려면 잘못 배정된 문의를 되돌리는 방법도 필요합니다. 신뢰도에 기준값을 정하는 것만으로 판단 오류가 사라지지는 않습니다. 환불 승인이나 계정 차단처럼 영향이 큰 행동은 분류 결과만으로 바로 실행하지 않도록 업무 절차를 따로 설계합니다.

🧭 오류율 0%가 정확도 100%는 아닙니다

발표문의 구조화 출력 오류율 0%는 스키마, 즉 미리 정한 답의 형식을 지킨다는 뜻입니다. 실제 문의에서 모든 판단이 맞았다는 측정값이 아닙니다.

선택지가 결제, 기술, 확인 필요라면 정해진 답 필드에서는 그 밖의 이름을 고르지 않습니다. API는 프로그램끼리 요청과 결과를 주고받는 연결 방식입니다. 연결 실패나 잘못된 요청으로 생기는 API 오류까지 없어진다는 뜻은 아닙니다. 그래도 기술 문의에 결제를 고르면 형식은 맞고 내용은 틀립니다. 선택지에 맞는 항목 자체가 없는 경우에도 오류가 생깁니다. 그래서 기준이 불분명하거나 자료가 부족한 문의를 받을 ‘확인 필요’ 항목이 유용합니다.

회사 평가 사이트의 비교 수치는 여러 작업과 특정 기준 답을 사용한 결과입니다. 그 기준 답에는 다른 AI 모델의 판단이 사용됐으므로 실제 고객 업무에서 사람이 확인한 정답률과 같다고 볼 수 없습니다. 속도와 비용 비교도 입력 길이, 비교 모델 및 접속 환경이 달라지면 달라집니다.

⚠️ 실제 사용 전에 확인할 조건

공식 문서는 계산과 날짜 비교, 모호한 지시, 관련 없는 긴 입력 등에서 생길 수 있는 약점을 설명합니다. 정확한 합계나 날짜 계산은 코드로 처리하고, 분류 기준은 짧고 분명하게 적습니다. 영어와 한국어의 성능도 같다고 가정하지 않습니다.

모델은 텍스트를 입력받습니다. 질문이 여러 개라면 전체 요청 길이뿐 아니라 판단할 재료와 가장 긴 질문을 합친 길이에도 별도 한도가 있습니다. 모델 이름, 입력 한도와 비용은 공식 모델 문서에서 실제 사용할 버전을 기준으로 봅니다.

Jev를 제공하는 서비스에 계정이 있다고 호출 권한까지 자동으로 생기는 것은 아닙니다. 타입세이프나 버셀 AI 게이트웨이를 사용하려면 해당 계정의 이용 가능 여부, 인증 방법과 요금을 확인합니다. 버셀 AI 게이트웨이는 여러 AI 모델을 한 연결 방식으로 호출하는 서비스입니다. 아래 연습에는 가입이나 유료 API 호출이 필요하지 않습니다.

❓ 자주 묻는 질문

Jev가 분류한 이유도 설명해 주나요?

일반 챗봇처럼 자유로운 설명문을 생성하는 용도로 만든 모델이 아닙니다. 판단을 확인할 때는 원래 문의와 미리 정한 기준을 대조합니다. 다른 AI가 나중에 설명을 만들더라도 그 설명이 Jev의 실제 판단 과정을 증명하는 것은 아닙니다.

신뢰도가 높은 결과만 쓰면 되나요?

높은 값에서도 오답이 생길 수 있습니다. 사람이 확인한 예제와 대조하고, 잘못된 분류가 어떤 영향을 주는지에 따라 자동 처리 범위를 정합니다. 새로운 문의 유형이 들어오면 기존 확인 결과만으로 성능을 보장하지 않습니다.

문의 세 건으로 분류 기준 확인하기

메모장에 아래 기준을 적습니다. 모두 가상 문의이며 모델을 실행한 결과가 아닙니다.

• 결제: 환불이나 중복 청구를 문의한 경우
• 기술: 로그인이나 화면 오류를 문의한 경우
• 확인 필요: 두 기준이 함께 해당하거나 어느 쪽에도 해당하지 않거나 내용이 부족한 경우

세 번째 문의는 청구 문제인지 화면 오류인지 구분할 정보가 없습니다. 기술로 단정하기보다 어떤 화면에서 어떤 일이 있었는지 추가로 확인합니다.

이제 가상의 모델 결과가 순서대로 결제, 결제, 확인 필요라고 가정합니다. 답의 형식은 세 건 모두 맞지만 두 번째 분류가 틀렸습니다. “틀렸다”라고만 적지 말고 “로그인 화면 오류는 기술로 분류한다”는 기준과 해당 문의를 함께 남깁니다.

다시 연습할 때는 세 번째 문의를 로그인 버튼을 누르면 오류가 표시됩니다로 바꿉니다. 이번 기준에서는 기술입니다. 바뀐 원문과 답을 나란히 비교합니다. 이 세 건을 설명할 수 있으면 형식 오류와 판단 오류의 차이를 확인한 것입니다. 실제 성능을 평가하려면 기준을 만들 때 쓰지 않은 다양한 문의에서도 따로 확인해야 합니다.

📋 3줄 요약

1. Jev는 프로그램 안에서 글을 정해 둔 선택지나 척도로 분류하는 판정용 AI 모델입니다.

2. 답의 형식이 맞아도 분류는 틀릴 수 있으며 신뢰도 값은 실제 정답률과 다릅니다.

3. 담당 기준과 확인 필요 항목을 정하고 원문 및 사람이 확인한 답과 결과를 대조합니다.

참고 자료

• 타입세이프의 Jev 소개와 출력 형식 보장
• 선택, 점수와 Noul의 반환값
• 신뢰도의 의미
• 현재 모델과 입력 조건
• Jev 1.13의 알려진 약점
• 회사 평가의 기준과 비교 조건

공식 안내 확인: 2026년 10월 3일. 문의 분류는 가상 예제입니다.