JEV — 판단만 하는 AI 모델, 클로드와 함께 쓰기
▶ 원본 영상 보러가기목차
문장 하나 쓰지 못하고, 대화도 못 하고, 이유도 설명하지 않는 AI 모델. 그런데 잠재 고객 700명 평가, 400개 기업 채용 조건 매칭, 뉴스 수백 건 분류 같은 작업을 빠르고 저렴하게 처리한 사례가 쏟아지고 있습니다. TypeSafe의 JEV가 어떤 모델이고 기존 LLM과 무엇이 다른지, 어떤 업무에 맞는지, 그리고 클로드 코드와 연결해 고객 문의 100건을 분류하고 답변 초안까지 만드는 과정을 정리한 가이드입니다. 영상에서 사용한 명령어와 프롬프트를 전부 담았습니다.
📺 영상 채널: Aiden의 친절한 AI (https://www.youtube.com/@Aiden_channel)
이 가이드로 하는 것
- JEV가 “사람의 말을 읽고 내리는 판단을 숫자로 바꿔주는” 모델이라는 걸 이해한다
- 기존 LLM과의 차이 — 생성 대신 판단, 순차 대신 병렬 — 를 이해한다
- 세 가지 질문 형태 Noul · Choice · Score 와 불확실성의 활용법을 익힌다
- TypeSafe API 키 발급 → 공식 스킬 설치 → 클로드 코드 연결
- 고객 문의 100건을 JEV가 분류하고, 클로드가 답변 초안을 쓰는 파이프라인을 만든다
준비물
- TypeSafe 계정 + 크레딧 — 최소 충전 5달러 (작업 복잡도·입력 길이에 따라 이 금액으로 수만~수십만 건 처리 가능)
- Claude Code
- 실습용 데이터 — 영상에서는 시연용 고객 문의 100건(
inquiries.csv)과 서비스 이용 안내문(support-guide.md)을 사용
시작 전에 ① — JEV는 무엇을 하나
우리가 쓰는 프로그램에는 “주문 금액이 5만 원 이상이면 배송비 무료” 같은 규칙, 즉 조건문이 수없이 들어 있습니다. 주문 금액은 숫자라 바로 비교할 수 있죠.
그런데 이런 규칙이라면 어떨까요? — “고객의 불만이 큰 문의부터 먼저 처리한다.”
“3일째 결제 서비스를 연결하려고 하는데 계속 실패합니다. 매출에도 손해가 나고 있어요. 최대한 빨리 도와주세요.”
이 메시지의 불만 정도는 숫자로 바로 비교할 수 없고, 맥락을 읽고 판단해야 합니다. 바로 여기에 JEV를 씁니다.
- 불만의 정도를 단계별로 정의 — ‘차분함’ / ‘불만은 있지만 정중함’ / ‘매우 화가 남’
- JEV에 메시지를 주며 어느 단계인지 평가하게 함
- JEV가 점수로 반환 → 프로그램은 그 점수로 정렬
⭐ JEV는 사람의 말을 읽고 내려야 하는 판단을, 프로그램이 쓸 수 있는 숫자로 바꿔줍니다.
시작 전에 ② — 그냥 클로드나 챗GPT에 시키면 안 되나?
됩니다. 기존 LLM에도 불만 정도를 평가해 숫자로만 돌려달라고 할 수 있죠.
💡 중요한 건 “할 수 있느냐”가 아니라, “얼마나 빠르고 적은 비용으로 반복 처리할 수 있느냐”입니다. 한두 건이면 차이가 안 느껴지지만, 하루 수천 건을 분류해야 한다면 판단 한 번의 시간과 비용이 중요해집니다.
이 차이는 결과를 만드는 방식에서 시작됩니다.
| 일반 LLM | JEV | |
|---|---|---|
| 출력 방식 | 앞서 생성한 내용을 바탕으로 다음 토큰을 하나씩 생성 | 자유로운 문장 생성 대신, 정해진 질문과 선택지에 따른 판단 결과를 병렬로 출력 (TypeSafe 설명 기준) |
| 잘하는 것 | 답변, 이메일, 코드 등 다양한 결과물 | 반복적인 분류·평가 |
| 분류 작업 시 | 분류에도 같은 생성 과정을 거침 | 문의 유형·환불 요청 여부·불만 정도를 한 번의 요청에 함께 넣어 동시에 평가 |
이렇게 반복 판단에 집중한 설계가 JEV의 속도와 비용 측면의 강점으로 이어집니다.
시작 전에 ③ — 세 가지 질문 형태 ⭐
| 형태 | 언제 쓰나 | 예시 질문 | 반환값 |
|---|---|---|---|
| Noul | 어떤 조건에 해당하는지 (예/아니요) | “이 고객이 환불을 요청하고 있는가?” | 0~1 사이 확률 (1에 가까울수록 ‘그렇다’) |
| Choice | 여러 항목 중 하나로 분류 | “결제 / 기술 문제 / 기능 요청 중 어디인가?” | 각 선택지의 확률 (예: 결제 85%, 기술 10%, 기능 5%) |
| Score | 정도를 평가하고 순서를 매김 | “불만 정도는?” (차분함 → 정중한 불만 → 매우 화남) | 정의한 척도에 따른 점수 |
같은 내용을 보고 판단하는 질문이라면, 이 세 가지를 하나의 요청에 함께 넣을 수 있습니다.
결과만이 아니라 ’불확실성’도 알려준다
결제 문제 90% / 기술 문제 10%인 경우와, 51% / 49%인 경우 — 둘 다 결제 문제가 1위지만 똑같이 취급하기는 어렵죠.
⭐ 프로그램은 이 차이를 활용해 — 분명한 문의는 바로 담당자에게, 애매한 문의는 추가 확인 목록으로 보낼 수 있습니다.
⚠️ 단, 확률이나 신뢰도가 높다고 판단이 항상 맞는 건 아닙니다. 실제 업무 데이터에서 얼마나 잘 작동하는지는 직접 확인해야 합니다. 중요한 건 자동화에서 무엇을 바로 처리하고 무엇을 다시 확인할지 구분할 정보를 준다는 점입니다.
그래서 활용 원칙은
- 업무 전체를 한꺼번에 맡기기보다, 그 안에서 반복되는 분류와 평가를 찾아 JEV에 맡긴다
- 그다음 설명을 쓰거나 복잡한 문제를 푸는 부분은 클로드가 이어서 처리하도록 구성한다
STEP 1. TypeSafe API 키 발급
- TypeSafe 웹사이트에 가입 → 로그인하면 콘솔 화면
- 크레딧 충전 — API 키를 만들려면 먼저 충전이 필요합니다 (최소 5달러)
- 왼쪽 메뉴 API Key → Create Key로 키 생성
STEP 2. 공식 스킬 설치
클로드 코드가 JEV를 어떻게 써야 하는지 — 질문을 어떤 형식으로 보내고, 돌아온 결과를 어떻게 읽는지 — 알 수 있도록 TypeSafe 공식 스킬을 설치합니다. 터미널에서 차례로:
claude plugin marketplace add typesafe-ai/skillsclaude plugin install typesafe@typesafe-aiSTEP 3. API 키 설정
시연용 프로젝트 폴더에 .env 파일을 만듭니다. 프로그램이 쓸 API 키 같은 설정값을 따로 저장해 두는 파일입니다.
TYPESAFE_API_KEY=여기에_발급받은_API_키⚠️
.env파일에는 API 키가 그대로 들어 있으니, 다른 사람과 공유하거나 GitHub 같은 곳에 올리지 않도록 주의하세요.
STEP 4. 연결 테스트
입력창에 /를 입력해 TypeSafe 스킬을 선택하고:
다음 고객 메시지가 환불 요청인지 Noul 질문으로 평가해 줘.
'이번 달 요금이 두 번 결제됐습니다. 중복 결제된 금액을 환불해 주세요.'
그리고 JEV가 반환한 원본 응답과 API 호출에 걸린 시간을 보여줘.영상 결과:
| 항목 | 값 |
|---|---|
noul |
0.99 — 환불 요청일 확률 99% (고객이 명확히 환불을 요청했으니 내용에 맞는 판단) |
| 응답 시간 | 약 0.26초 (네트워크 통신 + 서버 처리 포함) |
| 토큰 | 입력 342개 / 출력 23개 |
클로드가 JEV를 호출하고 결과를 받아오는 과정까지 확인됐습니다. 같은 방식을 여러 문의에 반복 적용할 수 있습니다.
STEP 5. 고객 문의 분류 + 답변 초안 — 먼저 5건 ⭐
시나리오 설계
준비한 문의 100건에는 간단한 사용법 질문, 결제 문의, 파일 업로드 오류 같은 기술 문제가 섞여 있습니다. JEV로 분류한 뒤 이렇게 나눕니다.
| 문의 성격 | 처리 | 이유 |
|---|---|---|
| 환불 요청 | 사람 확인 목록 | 실제 결제 내역과 환불 가능 여부를 확인해야 함 |
| 로그인 불가, 파일 저장 불가 등 이용 장애 | 기술팀 확인 목록 | |
| “다크 모드 추가해 주세요” 등 기능 요청 | 기능 요청 목록 | 제품 개선 시 참고 |
| “비밀번호는 어디서 바꾸나요?” 등 사용법 질문 | 클로드가 답변 초안 작성 | 안내할 내용이 정해져 있음 |
💡 클로드가 정확한 사용법을 안내하려면 서비스 정보가 필요해서, 서비스 이용 안내문(비밀번호 변경 방법, 지원 기능, 문제 발생 시 확인 사항 등)을 함께 준비했습니다. 안내문만으로 답하기 어려운 문의는 추가 확인 대상으로 남깁니다.
프롬프트 (TypeSafe 스킬 선택 후)
inquiries.csv와 support-guide.md를 읽고, 고객 문의를 분류하고 필요한 답변 초안을 만들어 줘.
분류와 평가는 실제 JEV 응답을 사용해 줘. 문의 유형은 Choice, 환불 요청 여부는 Noul,
서비스 이용 장애의 심각도는 Score로 평가해 줘. 판단에 필요한 안내문 내용을 함께 전달하고,
같은 문의에 대한 질문은 한 요청에 묶어 줘. 여러 문제가 섞인 문의를 놓치지 않도록
필요한 질문을 추가해도 돼.
결과는 다음 기준으로 정리해 줘.
- 안내문만으로 답할 수 있는 사용법이나 일반 정책 질문은 클로드가 답변 초안을 작성해 줘.
- 단순 기능 추가·개선 제안은 기능 요청 목록에 기록해 줘. 기능 개발에 사람이 필요하다는
이유만으로 별도의 사람 확인 대상으로 넣지는 마.
- 실제 오류나 장애는 기술팀 확인 목록에 넣어 줘. 지원하지 않는 파일 형식이나 용량 초과처럼
안내문에 명시된 정상적인 제한은 장애와 구분해 줘.
- 환불 승인, 개별 결제 내역 조회, 계정 변경, 별도 계약처럼 담당자의 권한이나 개별 판단이
필요한 요청은 사람 확인 목록에 넣어 줘.
- 정보가 부족하거나 분류가 불확실한 문의는 추가 확인 대상으로 남겨 줘.
단순히 결제 관련 문의라는 이유만으로 사람에게 넘기지는 마. 영수증 다운로드 방법이나
자동 갱신 해제 방법처럼 안내문으로 답할 수 있는 질문은 초안을 작성해 줘.
단순 해지나 환불 정책 질문과 실제 환불 요청도 구분해 줘.
여러 문제가 섞이면 관련 표시를 모두 보존해 줘. 다만 기술팀 확인, 사람 확인, 추가 확인이
필요한 문의는 답변 초안을 작성하지 마. 기능 요청만 있는 문의도 기록만 해 줘.
클로드가 작성하는 초안은 안내문에 근거한 내용으로 제한하고, 근거가 부족하면 추가 확인
대상으로 남겨 줘. 환불 승인, 문제 해결, 기능 출시 등을 임의로 약속하지 마.
우선 첫 5건(INQ-001~005)만 실제로 실행해서 문의별 JEV 평가 결과, 처리 대상,
작성 가능한 답변 초안, 적용한 판단 기준을 보여줘. JEV 분류 시간과 실제 입력 토큰 사용량에
따른 예상 사용료도 알려주고, 클로드 비용은 별도라고 표시해 줘.
실제 메시지 발송, 환불, 계정 변경은 하지 말고, 첫 5건의 결과를 보여준 뒤 기다려 줘.⭐ 이 프롬프트의 설계 포인트
- 역할 분리 — 판단(유형·환불 여부·심각도)은 JEV, 처리 기준 적용은 프로그램, 답변 작성은 클로드
- 경계 사례 명시 — “결제 문의라는 이유만으로 사람에게 넘기지 마”, “정상적인 제한은 장애와 구분”, “환불 정책 질문과 실제 환불 요청 구분”처럼 헷갈리기 쉬운 지점을 미리 짚음
- 초안의 안전장치 — 안내문 근거로만 작성, 근거 부족 시 추가 확인, 환불·해결·출시를 임의로 약속하지 않기
- 작게 먼저 — 5건만 실행하고 결과를 보여준 뒤 대기, 실제 발송·환불·계정 변경은 금지
5건 결과
JEV가 문의 유형·환불 여부·장애 심각도를 평가하고, 프로그램이 처리 기준을 적용해 사람 확인 / 기술팀 확인 / 기능 요청으로 나눴고, 안내문으로 답할 수 있는 문의에는 클로드가 초안을 작성했습니다.
| 항목 | 값 |
|---|---|
| JEV 분류 시간 (5건 동시) | 약 0.32초 |
| JEV 예상 사용료 | 약 0.00085달러 |
(클로드의 답변 작성 시간·비용은 미포함)
STEP 6. 나머지 95건 + 대시보드
처리 흐름을 확인했으니 같은 기준으로 나머지를 실행하고, 결과를 대시보드로 정리합니다.
현재 질문과 처리 기준을 유지해서 INQ-006~100, 나머지 95건을 실행해 줘.
이번 첫 5건은 results/jev_001_005.json에 저장된 결과를 재사용하고, 이전 테스트 결과와 섞지 마.
합친 100건의 결과를 CSV와 로컬 HTML 대시보드로 저장해 줘. 처리 대상별로 필터링하고,
문의 원문·JEV 평가 결과·적용된 규칙·답변 초안과 근거를 확인할 수 있게 해 줘.
안내문에 근거가 부족한 문의는 초안을 작성하지 말고 추가 확인 대상으로 남겨 줘.
고유 문의 ID 100건을 기준으로 누락·중복·실패를 확인해 줘. 여러 목록에 들어간 문의가
있으므로 목록별 건수와 전체 문의 수는 구분해서 표시해 줘.
첫 5건과 나머지 95건의 JEV 분류 시간을 각각 표시하고, 두 실행의 실제 입력 토큰을 합산해
JEV 예상 사용료를 계산해 줘. '클로드 사용 비용 미포함'이라고 표시해 줘.💡 검증 장치에 주목하세요 — 첫 5건 결과를 재사용하되 이전 테스트와 섞지 않기, 문의 ID 기준 누락·중복·실패 확인, 여러 목록에 걸친 문의 때문에 목록별 건수와 전체 문의 수를 구분하기. 자동화 결과를 믿고 쓰려면 이런 확인이 함께 있어야 합니다.
결과
- 전체 100건 처리 — 누락·중복·실패 없음
- 안내문으로 답할 수 있는 30건에 클로드가 답변 초안 작성
- 나머지는 담당자 확인 / 기술팀 확인 / 기능 요청 / 추가 확인 대상으로 정리
- 여러 문제가 섞인 문의는 둘 이상의 목록에 들어가므로, 목록별 건수 합은 100건보다 많음
대시보드에서는 처리 대상별로 필터링하고, 문의를 누르면 원문 · JEV 평가 결과 · 적용된 분류 기준을 확인할 수 있습니다. 클로드의 답변 초안 아래에는 근거로 쓴 안내문 내용도 함께 표시됩니다.
| 항목 | 값 |
|---|---|
| 95건 JEV 분류 시간 (5건씩 동시 처리) | 약 5초 |
| 100건 전체 JEV 예상 사용료 | 약 0.017달러 (2센트 미만) |
ℹ️ 이 수치는 JEV 분류에 대한 것입니다. 클로드가 답변 초안을 쓰고 대시보드를 만드는 시간과 비용은 포함되지 않습니다.
왜 이렇게 나누나 — JEV와 클로드의 역할 분담 ⭐
이 역할 분담은 TypeSafe 공식 문서에서도 소개하는 활용 방식입니다. JEV가 먼저 분류하고, 프로그램이 그 결과에 따라 일반 코드로 처리할지, 다른 AI에 맡길지, 사람이 확인할지 나누는 것.
| 얻는 것 | |
|---|---|
| 클로드 | 모든 문의가 아니라 답변이 필요한 문의만 골라서 받음 |
| 담당자 | 직접 확인해야 할 문의만 모아서 봄 |
| 제품팀 | 기능 제안을 따로 정리해서 검토 |
지금은 100건이지만, 매일 수천 건이 들어온다면 반복 분류의 시간과 비용도 쌓입니다. 이 부분을 JEV로 처리하고 필요한 작업만 클로드로 이어주면 전체 처리 시간과 비용을 줄이는 데 도움이 될 수 있습니다.
⭐ 핵심은 JEV에 업무 전체를 맡기는 게 아니라, 반복적으로 판단해야 하는 부분에 활용하고 그 결과를 다음 작업으로 연결하는 것.
다른 업무에 적용하기
같은 방식으로 이런 작업에도 쓸 수 있습니다:
- 뉴스에서 우리 회사와 관련된 기사 골라내기
- 잠재 고객의 구매 신호 평가하기
- 상품 리뷰를 분석해 배송·품질·가격 중 어디에 불만이 많은지 분류하기
💡 출발점은 언제나 같습니다 — 업무 안에서 반복되는 분류와 평가를 찾아내는 것.
⚠️ 빠르고 저렴하다고 모든 판단이 정확한 건 아닙니다. 우리 업무 데이터로 결과를 확인하고, 어떤 경우에 사람이 검토할지 기준을 정한 뒤 쓰세요.
정리
| 구분 | 내용 |
|---|---|
| 정체 | 문장 생성 대신 정해진 질문에 대한 판단 결과를 숫자로 반환하는 모델 (TypeSafe) |
| 차이 | 생성 대신 판단, 여러 판단을 병렬로 — 반복 분류의 속도·비용 강점 |
| 질문 형태 | Noul(해당 여부) · Choice(분류) · Score(정도) — 한 요청에 함께 가능 |
| 불확실성 | 확률로 애매함을 알려줌 → 바로 처리 vs 추가 확인 구분 |
| 연결 | 공식 스킬 설치 + .env에 TYPESAFE_API_KEY |
| 시연 결과 | 문의 100건 분류, 누락·중복·실패 0, 초안 30건, JEV 비용 약 0.017달러 |
| 활용 원칙 | 반복 판단은 JEV, 글쓰기·복잡한 문제는 클로드, 애매한 건 사람 |
JEV는 범용 LLM을 대체하기보다, 각자의 강점을 살려 함께 쓰는 모델에 가깝습니다. 여러분의 업무에도 비슷한 판단을 수백, 수천 번 반복하는 과정이 있다면 — 작은 작업부터 테스트해 보세요.
참고 링크
- TypeSafe (JEV) 공식 문서
- TypeSafe 공식 스킬:
typesafe-ai/skills
Aiden의 친절한 AI
여기서부터는 회원만 볼 수 있어요. 로그인하면 이어서 볼 수 있습니다.
