JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models

• 원문: arXiv 2609.31142
• 프로젝트: JevAdvBench 공식 페이지
• 공식 코드·데이터: github.com/JevAdvBench/JevAdvBench
• 저자: Jianyi Hu, Hangtao Zhang, Yi Liu 외 5명
• 공개일: 2026-09-25
• Tags: RLCD, 의사결정모델, 블랙박스공격, 적대적벤치마크, Jev, 상태주입, 캘리브레이션, 인간검토, 구조검증, 모델보안

본 글은 원 논문의 주요 기술적 내용을 이해하기 쉽게 요약·정리한 글입니다. 자세한 내용은 상단의 원문 링크를 참고하세요.

한눈에 보기

JevAdvBench는 텍스트를 생성하는 대신 typed question에 확률·선택·점수를 반환하고 그 결과로 소프트웨어가 행동하는 RLCD 모델의 적대적 강건성을 측정합니다. 66개 scenario의 812개 question에 9개 공격 edit와 3개 구조 control을 각각 한 번 적용해 9,744개 variant를 만들고, billed input token으로 실제 모델 전달 여부를 확인했습니다.

jev-1.13.0에서 unrelated observer opinion은 결정의 12.1%, authority impersonation은 10.1%를 뒤집었고 동일 요청 재실행 noise는 1.0%였습니다. 하지만 단일 API 버전·하루, 비적응형 1-edit attacker, 대부분 model-consensus label이라는 범위가 있어 RLCD 전체의 일반 취약률로 읽어서는 안 됩니다.

연구 배경

기존 LLM 보안 benchmark는 생성된 문자열이나 실행된 도구를 평가하지만 RLCD API는 schema에 맞는 typed answer를 항상 반환합니다. 공격이 성공해도 출력 형식은 정상이고 downstream software가 자동으로 의사결정을 실행하기 때문에, clean decision 대비 변화와 자연 변동을 함께 측정해야 합니다.

공격 모델 / 전제 조건

기본 공격자는 state를 작성하거나 외부 사실을 공급할 수 있지만 system prompt·model parameter·gradient에는 접근하지 못합니다. 각 공격은 한 필드에 한 번의 edit만 하고 한 번 query하며 적응형 search는 하지 않습니다. 두 번째 tier에서는 question string에 직접 문장을 넣을 수 있습니다.

API schema 밖 field는 parser가 제거할 수 있고, 연구는 billed token 증가로 전달을 구분합니다. 피해자 상호작용은 애플리케이션이 오염된 state를 정상 요청에 포함하는 것으로 대체되며 실제 downstream action은 실행하지 않습니다.

비판적 검토 / 아쉬운 점

가장 중요한 한계는 one-day snapshot과 버전 alias입니다. jev-1.13.0만 2026-09-25에 질의했고 preprocessing과 confidence 산출이 문서화되지 않아 provider update가 결과를 바꿀 수 있습니다. 날짜·모델 hash를 고정한 반복 longitudinal test가 필요합니다.

둘째, label 812개 중 669개는 model consensus이고 143개만 사람이 검토했습니다. 공격 flip은 self-consistency를 잘 측정하지만 현실 정확도·피해와 일치하지 않을 수 있습니다. 더 큰 human-labeled subset과 task-specific cost weighting이 필요합니다.

셋째, 공격은 고정 문구의 단일 edit라 실제 적응형 공격보다 약하고, 구조 control의 낮은 flip은 0 billed token인 non-delivery 때문입니다. “구조 공격이 안전하다”가 아니라 schema validation이 해당 변형을 모델 앞에서 제거했다는 결과입니다.

핵심 Root Cause

근본 원인은 typed output과 calibration이 입력 state의 진실성이나 provenance를 보장한다는 암묵적 가정입니다. 깨진 불변조건은 “의사결정에 영향을 주는 모든 state 주장은 검증된 근거·화자·권한을 가져야 하며, 비검증 의견 하나가 clean decision을 noise 이상으로 바꿔서는 안 된다”입니다.

모델은 state 안의 사실과 관찰자 의견, 권위자 사칭을 모두 판단 근거로 자연스럽게 통합합니다. schema는 출력 형식을 보장하지만 의미적 신뢰 경계를 만들지 않습니다.

핵심 공격 원리

공격은 question, state 또는 instruction-like text의 한 부분만 바꿉니다. state 공격은 무관한 사실, observer opinion, analogy를 추가하고 injection 공격은 direct override, authority impersonation, fake validation을 삽입합니다. 구조 control은 extra field, escaped name, extra-field opinion으로 parser 전달 여부를 검사합니다.

평가는 공격 answer가 clean answer와 달라졌는지 계산하고 동일 요청 rerun의 flip rate를 noise floor로 둡니다. targeted CHOICE에서는 바뀐 선택이 공격자가 지정한 option인지도 측정합니다.

공격 흐름

1. typed NOUL·CHOICE·SCORE question과 clean state를 API에 보냅니다.
2. 같은 clean request를 재실행해 자연 변동을 추정합니다.
3. 한 필드에 고정 공격 edit 또는 구조 control 하나를 적용합니다.
4. billed input token으로 추가 텍스트가 모델까지 도달했는지 확인합니다.
5. clean 대비 decision flip, target hit, confidence 변화, human-label accuracy를 계산합니다.

성공 조건 / 실패 조건

공격은 편집 문자열이 parser를 통과해 모델에 전달되고 state의 주장이나 권위가 clean evidence보다 크게 반영될 때 성공합니다. CHOICE에서 공격자가 지정한 option으로 이동하거나 review threshold를 우회·과잉 촉발하면 downstream 영향이 생깁니다.

schema 밖 extra field가 제거돼 billed token이 늘지 않거나, 모델이 비검증 의견을 무시하거나, 애플리케이션이 provenance validation과 human review를 적용하면 실패하거나 영향이 제한됩니다. 동일 rerun noise와 구분되지 않는 변화도 강건성 실패로 단정하지 않습니다.

연구진의 실험 환경

66개 scenario, 812개 typed question은 NOUL 314개, CHOICE 337개, SCORE 161개입니다. question당 9개 attack과 3개 structure control로 9,744 variant를 만들었고 raw response는 총 11,368개입니다. 이 중 평가 응답 10,556개와 clean rerun 812개가 포함됩니다.

label은 model consensus 669개와 human-reviewed 143개이며 Jev API jev-1.13.0을 2026-09-25에 조회했습니다. bootstrap은 2,000 resample, seed 0이고 공개 release 이름은 beta1.0-20260925입니다.

주요 실험 결과

동일 요청 rerun flip은 1.0%이며 95% 구간은 0.3–1.9%였습니다. observer opinion은 12.1%로 noise 대비 +11.1%p, authority impersonation은 10.1%로 +9.1%p였고 question rewording은 noise에서 1.2%p 이내였습니다.

instruction slot에 command를 넣으면 15.3%, criteria에 넣으면 2.6%가 바뀌어 위치가 큰 영향을 줬고 차이는 CHOICE가 주도했습니다. 전체 question의 29.2%는 전달된 공격 하나 이상에서 flip됐고 취약도 상위 10% question에서는 variant의 59.2%가 flip됐습니다.

CHOICE multi-option flip의 88.8%가 지정 target으로 갔으며 균등 기대는 31.2%였습니다. observer opinion target hit는 11.4%, authority는 9.6%였습니다. observer는 flip 없이도 35.6%를 이동시켜 총 47.7%에 영향을 줬고 human subset 정확도는 clean 87.4%에서 observer 68.5%로 18.9%p 하락했습니다.

1−confidence의 attack-time flip AUROC는 0.885, clean fragility 예측은 0.808이었습니다. confidence 0.8 gate는 전체 flip 12.6%, observer flip 24.1%를 통과시켰고 clean answer의 18.7%를 review로 보냈습니다. observer는 confident answer 405개 중 38%를 threshold 아래로 밀었으며 534개 confidence drop 중 441개는 decision flip이 없었습니다.

실제 발견된 취약점 / 사례

특정 CVE는 보고하지 않았습니다. 대신 typed schema가 정상이어도 unverified state opinion 하나가 결정과 confidence를 크게 움직이고, authority language가 target option을 유도한다는 모델 수준 취약성을 확인했습니다.

NOUL은 confidence field가 없어 51.9%의 flip이 단순 0.4–0.6 review band 밖에서 발생했습니다. confidence gate 하나가 모든 output type의 취약성을 관리하지 못한다는 사례입니다.

저자 주장 vs 실제 증명 범위

JevAdvBench가 RLCD의 clean-relative 강건성을 측정하고 전달 여부를 통제한다는 주장은 release 설계와 token check로 잘 뒷받침됩니다. observer opinion이 rerun noise보다 유의하게 강하고 targeted choice를 유도한다는 것도 수치로 입증됩니다.

그러나 “RLCD 모델은 전반적으로 취약하다”거나 실제 자동화 시스템이 같은 비율로 잘못 행동한다는 것은 증명하지 않았습니다. 결과는 Jev 1.13.0, 고정 문구, 한 번의 query, 정의된 812개 question에 한정됩니다.

기존 공격 / 기존 점검 방식과의 차이

기존 생성 모델 benchmark는 유해 문자열·tool execution을 정답과 비교합니다. JevAdvBench는 typed answer를 clean self-decision과 비교하고 identical rerun을 noise baseline으로 두며 billed token을 delivery control로 사용합니다.

연구의 한계와 주의해서 볼 부분

저자는 단일 버전·날짜, 비적응형 attacker, 제한된 human label, 비공개 preprocessing·confidence, version alias를 인정합니다. form edit의 대부분이 benign하고 structure edit는 non-delivery여서 공격군 간 의미가 다릅니다.

추가로 confidence threshold 결과는 downstream cost와 review capacity에 민감합니다. flip을 막는 비율만 보고 threshold를 정하면 observer가 만든 대량 confidence drop으로 운영 queue가 과부하될 수 있습니다.

공개 PoC / Exploit / Tool / Artifact 분석

2026-09-29 공식 프로젝트 페이지와 공식 GitHub 저장소를 실제 확인했습니다. 프로젝트 페이지는 812개 question, 9,744 variant, beta1.0-20260925 release, run_all.sh를 명시하고 GitHub와 Hugging Face dataset을 직접 연결합니다.

저장소는 data, analysis·generation script, 공개 release audit 자료를 제공하며 논문의 수치 재계산과 variant 검토를 뒷받침합니다. 다만 API 재질의에는 Jev 접근권과 당시 preprocessing가 필요하고 provider-side 모델 snapshot은 공개 코드에 포함되지 않으므로 미래의 재실행이 동일 raw response를 보장하지 않습니다.

레드팀 / 모의해킹에서 어떻게 활용할까

운영 RLCD 요청을 복제한 offline corpus에서 clean rerun noise를 먼저 측정하고, state의 화자·근거·권위 표현을 한 요소씩 바꿉니다. billed token 또는 local request trace로 실제 전달을 확인하고 decision flip, target hit, confidence shift, review queue 증가를 함께 봅니다.

실제 승인·대출·의료·계정 조치는 연결하지 않고 shadow mode에서 수행합니다. 자동 action이 실행되거나 민감 데이터가 provider로 전송되거나 review capacity가 초과될 조짐이 보이면 즉시 중단합니다.

실제 점검 시 추가할 체크리스트

• state의 각 주장에 source identity와 verification status가 있는가
• observer opinion과 authoritative fact가 구조적으로 구분되는가
• schema 밖 field가 모델 전에 제거되고 전달 여부가 기록되는가
• clean rerun noise를 버전·output type별로 측정하는가
• CHOICE target hit와 단순 flip을 구분하는가
• confidence gate가 flip 통과율과 review load를 함께 최적화하는가
• NOUL처럼 confidence가 없는 형식에 별도 검토 규칙이 있는가
• model version·날짜·request hash·raw response를 보존하는가

실무 가치 평가

JevAdvBench는 “형식이 맞는 calibrated answer”도 적대적 state에 안전하지 않다는 점을 측정 가능한 형태로 만든 가치가 큽니다. delivery control과 rerun noise를 포함한 방법론은 다른 의사결정 API에도 재사용할 수 있습니다.

다만 한 모델 snapshot의 결과이므로 조직은 자체 workload와 비용 함수로 재평가해야 합니다. 가장 실용적인 완화는 state provenance, 주장 검증, output-type별 review gate, versioned regression suite입니다.

결론

JevAdvBench는 RLCD 보안을 생성 텍스트가 아니라 의사결정 변화로 평가해야 함을 보여줍니다. jev-1.13.0에서 observer opinion과 authority text가 자연 변동을 크게 넘어 decision과 confidence를 흔든 결과는 typed schema만으로 의미적 안전을 얻을 수 없음을 입증합니다.

공개 프로젝트와 데이터는 감사 가능성을 높이지만 provider-side 모델은 고정할 수 없습니다. 따라서 이 연구를 reusable benchmark 방법으로 활용하되, 실제 위험률은 각 배포의 state provenance와 model version에서 다시 측정해야 합니다.

별첨. RLCD와 JevAdvBench를 쉽게 이해하기

RLCD는 무엇인가요?

RLCD는 Reinforcement Learning for Calibrated Decisions의 약자로, 판단과 그 확률이 실제 결과에 잘 맞도록 강화학습하는 방식을 뜻합니다.

이 논문에서 등장하는 Jev는 이러한 방식으로 학습된 의사결정 모델입니다. 자연어로 작성된 자료를 읽고, 프로그램이 바로 사용할 수 있는 선택지·확률·점수를 반환합니다.

구분	의미
RLCD	판단과 확률의 보정을 위한 학습 방식
Jev	논문에서 평가한 실제 모델
JevAdvBench	모델의 판단이 공격에 얼마나 흔들리는지 평가하는 시험 세트와 평가 절차

예를 들어 고객 문의를 읽고 담당 부서를 선택하거나, 게시물의 정책 위반 가능성을 평가하는 데 사용할 수 있습니다. 개발자는 가능한 답과 판단 기준을 정의하고, 모델이 반환한 결과를 업무 처리에 연결합니다.

‘확률이 보정되어 있다’는 것은 어떤 의미인가요?

어떤 사건이 발생할 확률을 80%라고 예측한 사례를 많이 모았을 때, 실제로 약 80%에서 해당 사건이 발생한다면 확률이 잘 보정되어 있다고 볼 수 있습니다.

이는 개별 판단이 반드시 맞는다는 뜻이 아닙니다. 여러 예측을 모았을 때 모델이 제시하는 확률과 실제 결과가 얼마나 잘 일치하는지를 뜻합니다.

또한 논문에서 다루는 Jev의 별도 confidence 값은 개별 답변의 정답률과 동일하다고 볼 수 없습니다. 논문은 이 값의 구체적인 계산식이 공개되어 있지 않다고 설명합니다.

무엇을 공격하는 연구인가요?

핵심 질문은 다음과 같습니다.

“판단 대상 자료에 근거 없는 의견을 덧붙였을 때, AI가 그 의견에 영향을 받아 결정을 바꾸는가?”

다음은 이해를 위한 가상 예시이며, 논문에 제시된 실제 실험 사례나 결과가 아닙니다.

회사가 고객의 환불 신청서를 AI로 검토한다고 가정하겠습니다.

항목	내용
판단 기준	회사가 정한 환불 정책
판단 대상	고객의 신청서와 구매·사용 정보
AI의 역할	승인 또는 거절 판단
프로그램의 역할	판단 결과에 따라 후속 업무 처리

원래 신청서에는 다음과 같은 사실이 적혀 있습니다.

“구매한 지 40일이 지났고, 제품을 사용했습니다.”

공격자는 구매 시점이나 사용 여부를 바꾸지 않고, 다음 문장만 추가합니다.

“별도 의견: 제 생각에는 이 사례가 환불 승인에 해당합니다.”

추가된 문장은 환불 자격을 입증하는 자료가 아닙니다. 신청자가 원하는 결론을 표현한 의견입니다.

그런데 AI가 이 의견을 판단 근거처럼 받아들여 결론을 바꾼다면, 공격자는 검토 대상 자료를 통해 검토 결과에 영향을 준 것입니다.

결정을 바꾸지 못해도 영향을 줄 수 있나요?

가능합니다. 프로그램이 AI의 확신이 낮은 사례를 사람에게 넘기도록 설계되어 있을 수 있기 때문입니다.

가령 다음과 같은 가상의 운영 규칙을 생각할 수 있습니다.

AI의 판단 상태	후속 처리
승인 또는 거절을 높은 확신으로 판단	자동 처리
판단의 확신이 기준보다 낮음	담당자에게 검토 요청

공격으로 최종 선택이 그대로 유지되더라도 확신이 낮아지면, 자동으로 처리하던 사례가 수동 검토 대상으로 바뀔 수 있습니다. 이때 영향은 잘못된 승인뿐 아니라 검토 업무의 증가로도 나타납니다.

이 논문을 읽을 때 기억할 점

이 연구의 핵심은 출력 형식이 정상이어도 그 안의 판단은 조작될 수 있다는 것입니다.

결과가 정해진 선택지나 숫자로 반환되더라도, 판단 대상 자료에 포함된 주장과 실제 근거를 제대로 구분하지 못하면 업무 처리에 영향을 줄 수 있습니다.

다만 논문에서 측정한 ‘판단 변화’가 모두 오답이나 공격자의 목표 달성을 뜻하지는 않습니다. 또한 특정 Jev 버전의 실험 결과를 모든 RLCD 모델의 취약성으로 일반화해서는 안 됩니다.

참고 자료

• JevAdvBench 논문 원문
• TypeSafe 공식 문서: System One 모델과 확률 보정