Jev, 소프트웨어의 작은 판단을 빠르게 처리하는 AI

고객 문의를 어느 부서로 보낼지, 긴급한 알림인지, 환불을 요청하는 내용인지. 소프트웨어 안에는 이런 작은 판단이 반복해서 등장합니다.

TypeSafe AI의 Jev는 이러한 판단을 빠르고 저렴하게 처리하려는 모델입니다. 자연어로 된 정보를 읽고, 프로그램이 바로 사용할 수 있는 선택 결과·점수·확률을 반환합니다.

이미지 출처: TypeSafe AI 공식 홈페이지

01. Jev는 무엇을 하는 모델일까?

고객의 문의를 읽고, 접수 화면의 항목을 자동으로 채워주는 AI라고 생각하면 이해하기 쉽습니다.

고객센터에 다음 문의가 들어왔다고 해보겠습니다.

“같은 주문이 두 번 결제됐어요. 중복 결제된 금액을 돌려주세요.”

사람이라면 문의를 읽고 다음과 같이 분류할 것입니다.

접수 항목	분류 결과 예시
문의 종류	결제 문제
환불 요청 여부	예
전달할 부서	결제 담당팀

Jev는 이런 분류 작업을 대신합니다. 개발자가 “문의 종류를 결제·배송·계정 중에서 골라줘”라고 설정하면, Jev는 문의를 읽고 결제라는 값을 반환합니다. 프로그램은 그 결과에 따라 결제 담당팀으로 문의를 전달할 수 있습니다.

다만 환불을 요청했다는 판단과 실제 환불 가능 여부는 별개입니다. 정말 중복 결제됐는지는 거래 내역으로 확인하고, 환불은 별도의 업무 절차를 거쳐야 합니다.

TypeSafe는 이렇게 범위가 명확한 판단을 수행하는 모델을 System One이라고 부릅니다. 위 사례는 공식 문서의 고객 문의 예시를 쉽게 재구성한 것입니다. 공식 개념 설명

02. LLM과는 무엇이 다를까?

LLM은 다양한 내용을 생성하고 추론하는 데 활용되고, Jev는 정해진 질문에 대한 판단을 반환하는 데 특화돼 있습니다.

구분	일반적인 생성형 LLM	Jev
대표적인 역할	대화, 글쓰기, 코드 생성, 추론	분류, 평가, 선택
출력	문장·코드·구조화된 데이터	정해진 형식의 결과와 확률
생성 방식	일반적으로 토큰을 순차적으로 생성	여러 판단을 병렬로 처리
고객센터 활용	고객에게 보낼 답변 작성	담당 부서와 요청 유형 판단
판단 이유 설명	설명문 생성 가능	설명문 생성 미지원

LLM도 분류와 구조화된 출력을 할 수 있습니다. 차이는 기능의 유무보다, 해당 업무를 위해 어떤 처리 방식과 학습 목표를 채택했느냐에 있습니다.

TypeSafe는 Jev의 모델 구조와 병렬 처리, 확률 보정 학습을 통해 반복적인 판단의 비용과 시간을 줄이려 합니다. 공식 출시 발표

03. 세 가지 질문으로 일을 나눈다

Jev에 요청할 수 있는 기본 질문은 세 종류입니다.

유형	쉬운 설명	고객 문의에 적용하면
Choice	보기 중 하나 고르기	결제·배송·계정 중 담당 부서 선택
Score	정해진 척도로 평가하기	고객이 표현한 불만 수준 평가
Noul	‘예’일 확률 구하기	환불을 명시적으로 요청했는지 판단

중요한 원칙은 질문 하나에 판단 하나를 담는 것입니다. “이 문의를 알아서 처리해”처럼 넓게 요청하기보다, 필요한 판단을 나눠 묻고 프로그램이 결과를 조합합니다.

같은 자료로 답할 수 있는 독립적인 질문들은 한 요청에 함께 담습니다. 앞선 답을 알아야 다음 질문을 구성할 수 있는 경우에는 요청을 나눠야 합니다. 질문 유형과 사용법

04. 확률을 함께 주는 이유는 무엇일까?

자동화에서는 답뿐 아니라 얼마나 불확실한지도 중요합니다.

TypeSafe가 사용하는 RLCD는 판단 결과와 함께 내놓는 확률이 실제 결과에 부합하도록 학습하는 방식입니다. 이를 ‘확률 보정’이라고 합니다.

예를 들어 잘 보정된 모델이 여러 사건에 각각 80%의 확률을 부여했다면, 그 사건들은 전체적으로 약 80%의 빈도로 발생해야 합니다. 특정 답변 하나가 반드시 맞는다는 의미는 아닙니다. 공식 학습 방식 설명

프로그램은 이런 불확실성을 바탕으로 처리 경로를 나눌 수 있습니다.

• 충분히 확실한 분류는 자동 처리합니다.
• 애매한 사례는 추가 정보를 확인합니다.
• 불확실하거나 영향이 큰 판단은 사람이 검토합니다.

자동 처리 기준은 실제 업무 데이터와 오류의 영향을 고려해 정해야 합니다. 신뢰도 활용 문서

05. 실제로는 LLM과 함께 쓸 수 있다

공식 스마트홈 데모에서는 “집 안의 조명을 모두 꺼줘”라는 요청을 여러 질문으로 나눕니다.

요청 종류는? → 스마트홈 명령
대상 공간은? → 집 전체
대상 기기는? → 조명
원하는 동작은? → 끄기

이 질문들을 한 번에 평가한 뒤, 프로그램이 필요한 결과를 골라 실행합니다. 요청과 관계없는 질문의 결과는 사용하지 않습니다.

한 문장에 여러 명령이 들어오면, 이를 개별 명령으로 나누는 작업은 LLM에 맡깁니다. 일반적인 대화나 정보 요청에도 LLM이 답변을 작성합니다.

이 데모는 빠른 판단과 자유로운 문장 생성을 나눠 맡기는 구조를 보여줍니다. 공식 스마트홈 데모

06. 속도와 비용 수치는 어떻게 봐야 할까?

항목	공식 공개 내용
입력 가격	100만 토큰당 0.042달러
출력 가격	무료
응답 시간	70~500밀리초 — 출시 발표 기준
자체 업무 평가	193.6배 빠르고, 444.6배 저렴

가격은 공식 모델 문서, 성능 수치는 출시 발표에 근거합니다.

성능 배수는 회사가 설계한 평가에서 나온 결과입니다. 회사도 실제 업무에서의 개선 폭은 그보다 작을 수 있다고 설명합니다. 비용·속도와 함께 내 업무에서의 정확도를 비교해야 합니다.

07. ‘환각이 없다’는 표현은 구분해서 읽어야 한다

Jev의 타입 안전성은 미리 정한 출력 형식을 벗어나지 않도록 설계됐다는 의미입니다.

예를 들어 결제·배송·계정 중에서만 답하도록 제한할 수 있습니다. 하지만 결제 문의를 배송으로 잘못 분류하는 판단 오류는 여전히 가능합니다. 공식 문서도 개별 답변의 정확성을 보장하지 않습니다. 공식 개념 설명

현재는 텍스트 입력만 지원하며, 한국어를 포함한 다른 언어의 정확도는 영어와 같지 않다고 안내합니다. 한국어 업무에 적용하려면 실제 데이터로 확인하는 과정이 필요합니다. 지원 범위

---

Jev에서 눈여겨볼 부분은 작고 반복적인 판단을 소프트웨어의 부품처럼 다루는 접근법입니다. 문의 분류나 문서 평가처럼 결과의 범위가 정해진 업무라면, 그 판단을 얼마나 빠르고 정확하게 처리할 수 있는지 검토해볼 만합니다.