Understanding and Exploiting Initialization Anchoring Weakness in Feedback-Based Agent Planning

• 원문: arXiv 2609.29697
• 저자: Chuanchao Zang, Jianing Wang, Wenyu Chen, Xiangtao Meng, Li Wang, Xinyu Gao, Peng Zhan, Zheng Li, Shanqing Guo
• 공개일: 2026-09-25
• 분야: Agent Security, Feedback-Based Planning, Indirect Prompt Injection
• Tags: InitAnchor, AgentPlanning, PromptInjection, Feedback, BlackBoxAttack

본 글은 원 논문의 주요 기술적 내용을 이해하기 쉽게 요약·정리한 글입니다. 자세한 내용은 상단의 원문 링크를 참고하세요.

한눈에 보기

이 논문은 feedback-based agent가 여러 round에 걸쳐 관찰과 critique를 받아도 방어 효과가 균등하지 않다는 점을 보입니다. adversarial direction을 첫 feedback round에서 되돌리는 비율은 46.00%였지만, 살아남은 direction의 2·3번째 round mitigation은 12.81%, 7.08%로 떨어졌습니다. 연구진은 이를 initialization anchoring weakness라고 부릅니다.

INITANCHOR는 attacker-controlled 외부 자료를 조작해 첫 계획을 target direction으로 움직이되 자연스러운 task context를 유지하고 counterevidence에도 견디게 하는 black-box attack입니다. 112개 task, 16개 domain, 6개 agent architecture, 5개 backbone에서 target trace를 제한적으로 보는 A1의 평균 ASR은 76.1%, shadow model만 쓰는 A2는 72.0%였습니다.

연구 배경

ReAct, Self-Refine, Reflexion, CRITIC 같은 agent는 initial plan 뒤에 tool observation과 self-critique를 받아 다음 plan을 수정합니다. 이런 feedback loop는 간접 prompt injection이나 biased material의 영향을 여러 번 교정할 수 있을 것처럼 보입니다.

하지만 accumulated trajectory가 이전 plan과 accepted direction을 계속 포함하면 첫 round에서 살아남은 bias가 다음 round의 context가 됩니다. 이후 feedback이 충분히 강하지 않으면 agent는 새 증거를 초기 방향에 맞춰 해석하거나 기존 plan을 조금만 수정합니다.

공격 모델 / 전제 조건

공격자는 résumé, product description, proposal, loan material 같은 domain-specific 외부 자료를 legitimate channel에 게시할 수 있습니다. victim agent는 이 자료를 정상 task input으로 읽습니다. 공격자는 model weight, system prompt, agent component, tool, tool output, verification feedback을 바꿀 수 없습니다.

A1에서는 target agent에 제한된 횟수로 query하고 high-level plan summary나 planning direction 같은 coarse trace만 봅니다. tool call, argument, observation, exact feedback은 보지 못합니다. A2에서는 target access와 trace가 전혀 없고 local shadow system으로 planning behavior를 근사합니다.

비판적 검토 / 아쉬운 점

가장 중요한 쟁점은 dataset과 tool feedback이 연구진이 구성한 controlled environment라는 점입니다. 112개 task에서 counterevidence가 충분하도록 설계했지만 실제 agent의 tool quality, retrieval noise, stopping rule, long-horizon task는 더 복잡합니다. real-world system 평가는 output-only라 내부 anchoring mechanism을 직접 확인하지 못합니다.

두 번째로 공격 목표가 binary direction g+와 g−로 명확히 정의됩니다. 현실의 hiring·finance·medical review는 여러 기준과 연속적 판단을 포함합니다. ASR evaluator가 복잡한 decision nuance를 얼마나 보존하는지 추가 검증이 필요합니다.

세 번째로 46%, 13%, 7%만 비교하면 survivor bias가 생길 수 있습니다. 논문은 round suppression, cleaning, entry-time intervention으로 보완하고 첫 round suppression의 ASR 증가가 29.9 percentage point, 2·3 round는 9.0, 3.8 point였다고 제시합니다. 그래도 intervention이 실제 production trajectory와 같은 distribution을 만든다는 보장은 없습니다.

네 번째로 A2가 A1과 비슷한 성능을 보인 것은 공격 전이성이 강하다는 증거지만, 실험에 사용한 shadow와 target model family·prompt convention의 유사성이 영향을 줄 수 있습니다. unseen proprietary planner나 non-text state machine까지 일반화했다고 볼 수 없습니다.

핵심 Root Cause

구조적 원인은 raw accumulated trajectory가 completed action과 evidence뿐 아니라 이전 plan, free-form rationale, intermediate recommendation, accepted direction을 다음 round에 다시 주입한다는 점입니다. 첫 계획이 공격자 방향으로 이동한 뒤 첫 feedback을 통과하면 그 방향 자체가 이후 planning의 contextual prior가 됩니다.

깨진 보안 불변조건은 “새로운 trusted evidence는 이전 untrusted material에서 유래한 planning direction과 독립적으로 평가돼야 한다”입니다. 실제로는 untrusted initial framing과 trusted tool evidence가 같은 context 안에서 비대칭적으로 경쟁하며, accepted direction이 persistence advantage를 가집니다.

핵심 공격 원리

INITANCHOR는 세 signal을 함께 최적화합니다. Directional Shift는 clean initial plan과 adversarial initial plan의 semantic projection 차이를 측정해 attacker target 쪽 추가 이동만 보상합니다. Contextual Plausibility는 target axis 성분을 제거한 뒤 나머지 plan structure가 clean plan과 얼마나 유사한지 측정합니다.

Counterevidence Resilience는 같은 hypothetical opposing evidence를 clean·adversarial plan에 넣고, update 이후에도 adversarial plan이 target direction으로 더 남는지를 측정합니다. 세 score의 geometric mean이 threshold를 넘도록 reusable rule library를 calibration하고, 이후 victim task에는 추가 target query 없이 rule을 적용합니다.

공격 흐름

1. 공격자는 intended domain과 target direction을 반영한 disjoint probe task를 준비합니다.
2. A1은 target의 coarse initial plan을 제한적으로 관찰하고, A2는 shadow model의 plan을 사용합니다.
3. rule LLM이 directional shift, contextual plausibility, counterevidence resilience 역할이 보완되는 rule 조합을 선택합니다.
4. generation LLM이 attacker-controlled material만 수정합니다.
5. 세 signal의 geometric mean이 threshold를 넘으면 rule을 채택하고, 아니면 failure signal에 따라 rule을 갱신합니다.
6. victim agent가 material을 읽어 biased initial plan을 만들고 tool feedback을 받습니다.
7. 첫 feedback을 통과한 direction이 accumulated trajectory에 남아 final decision까지 지속됩니다.

성공 조건 / 실패 조건

성공하려면 외부 자료가 initial plan을 target 쪽으로 움직이면서도 task criteria와 형식을 충분히 보존해야 합니다. tool이 반대 evidence를 제공해도 initial direction이 plausible하게 유지되고, agent가 prior plan과 rationale를 다음 round context에 계속 넣어야 합니다.

실패 조건은 첫 round가 공격 방향을 명확히 되돌리거나, trusted evidence가 이전 free-form direction과 분리되어 재평가되거나, trajectory가 completed operation·tool evidence만 남기도록 압축되는 것입니다. target direction을 직접 final answer로 강요하는 노골적 injection은 plausibility를 잃고 쉽게 교정될 수 있습니다.

연구진의 실험 환경

dataset은 finance, healthcare, shopping 등을 포함한 16 domain의 112 instance입니다. 각 instance는 user query, benign material, attacker target g+, alternative g−, fixed counterevidence를 제공하는 task-specific tool을 포함합니다.

round analysis는 ReAct, Self-Refine, Reflexion, CRITIC과 GPT-5.1 backbone을 사용했습니다. main attack evaluation은 safe-prompt variant를 포함한 6개 architecture와 GPT-5, GPT-5.1, Gemini 2.5 Flash, Gemini-3 Flash, DeepSeek-V4 Flash의 5개 backbone 조합을 평가했습니다.

real-world system은 Qianfan, Coze, GPTs, OpenAI Agents SDK, LangChain, AutoGen 6개입니다. commercial platform이 complete trace를 제공하지 않아 같은 final-output evaluator로 ASR을 판정했습니다.

주요 실험 결과

No-Attack에서 target direction rate는 평균 0.090이었습니다. INITANCHOR A1은 평균 ASR 0.761, first-round mitigation 0.21, 평균 query 43.8회였습니다. A2는 평균 ASR 0.720, first-round mitigation 0.25였습니다.

A1 ASR은 configuration별 0.682–0.862, A2는 0.681–0.783이었습니다. strongest baseline보다 A1은 24.2 percentage point, A2는 19.5 percentage point 높았다고 보고합니다.

trajectory compression은 ReAct에서 A1 ASR 0.78을 0.33, A2 0.74를 0.26으로 낮췄습니다. Reflexion에서는 A1 0.82를 0.35, A2 0.73을 0.28로 낮췄습니다. first-round mitigation은 ReAct A1 0.20에서 0.49, A2 0.24에서 0.61로 상승했습니다.

실제 발견된 취약점 / 사례

논문은 특정 제품의 CVE를 보고하지 않습니다. 실제 사례로는 résumé에 adversarial instruction을 넣어 screening을 흔들거나, fabricated promotional article로 추천을 유도하는 공개 보도를 motivation으로 들고 있습니다.

실험 사례에서는 연소득, credit score, debt ratio와 mortgage가 있는 loan application을 평가할 때 tool이 direct approval 불가와 manual review 필요를 명확히 반환해도 attacker material이 initial approval direction을 유지하게 만듭니다. 이는 evidence가 없는 hallucination이 아니라 evidence보다 retained planning direction이 과도한 영향력을 갖는 문제입니다.

저자 주장 vs 실제 증명 범위

feedback mitigation이 round별로 불균등하고 첫 round 이후 correction probability가 낮아진다는 주장은 rate measurement와 suppression·cleaning·entry-time intervention이 함께 지지합니다. INITANCHOR가 controlled task와 여러 model·architecture에서 높은 ASR을 보인 것도 직접 측정됐습니다.

그러나 모든 feedback-based planner가 본질적으로 같은 anchoring을 가진다고 증명한 것은 아닙니다. real-world 6 system 결과는 final output 기준이며 내부 state transition을 관찰하지 못했습니다. trajectory compression의 효과도 ReAct·Reflexion과 GPT-5.1, auxiliary GLM-5.1에 대한 preliminary evidence입니다.

기존 공격 / 기존 점검 방식과의 차이

일반 indirect prompt injection은 malicious instruction이 final action을 직접 지배하는지를 봅니다. INITANCHOR는 첫 plan의 semantic direction을 조금 이동시키고 task structure를 유지해 feedback round를 통과하도록 설계합니다.

FITD, AgentDojo, CognitiveAttack, GPTFuzzer 등과 비교해 target access가 제한된 calibration과 reusable rule을 사용하며, deployment마다 iterative query를 요구하지 않습니다. final ASR뿐 아니라 round-level mitigation과 first-round survival을 attack objective로 삼는 점이 다릅니다.

연구의 한계와 주의해서 볼 부분

coarse planning trace가 실제 서비스에서 사용자나 material provider에게 노출되는 정도는 다양합니다. A2가 이를 제거하지만 shadow model과 target의 transferability에 의존합니다. query budget 38–50회 수준도 일부 commercial target에서는 비용·탐지 측면에서 부담이 될 수 있습니다.

trajectory compression은 auxiliary LLM이 evidence를 정확히 보존해야 하며, compression model 자체가 injection을 따르거나 critical nuance를 제거할 위험이 있습니다. ASR 감소만으로 benign task utility와 forensic completeness가 유지된다고 볼 수 없습니다.

공개 PoC / Exploit / Tool / Artifact 분석

arXiv 본문은 INITANCHOR의 signal equation, prompt template, dataset construction과 evaluation detail을 공개하지만 논문 전용 공식 GitHub 저장소를 제공하지 않습니다. 검색된 GitHub 링크는 LangChain, AutoGen, OpenAI Agents SDK 같은 평가 대상 framework이며 공격 artifact가 아닙니다.

따라서 현재 즉시 재현 가능한 공식 PoC repository나 ZIP 보관 대상은 확인되지 않았습니다. 재현하려면 112-task dataset, rule library, evaluator, target·shadow prompt, random seed와 API version이 추가로 공개돼야 합니다.

레드팀 / 모의해킹에서 어떻게 활용할까

agent의 external material review flow에서 첫 계획과 각 feedback round의 direction을 기록해 mitigation이 어느 round에 집중되는지 측정합니다. synthetic g+와 trusted counterevidence를 사용하고, 실제 채용·대출·의료 판단에는 적용하지 않습니다.

관찰 포인트는 clean 대비 initial direction shift, 첫 evidence 이후 reversal, raw trajectory에 남은 intermediate recommendation, final decision입니다. defense test는 evidence-only reconstruction과 trajectory compression을 비교하고 benign utility가 떨어지면 중단합니다.

실제 점검 시 추가할 체크리스트

• external material을 untrusted data로 명시하고 instruction과 분리합니다.
• 첫 plan을 확정된 사실이 아닌 provisional hypothesis로 표시합니다.
• trusted tool evidence가 initial direction과 독립적으로 평가되는지 확인합니다.
• round별 direction과 mitigation rate를 분리해 측정합니다.
• raw free-form rationale를 다음 round에 그대로 재주입하지 않습니다.
• completed operation, tool argument, returned evidence를 lossless하게 보존합니다.
• intermediate recommendation과 unsupported conclusion은 trajectory에서 제거합니다.
• compression model에 prompt injection resistance와 evidence retention test를 적용합니다.
• final decision 전에 evidence-first replan 또는 fresh-context reviewer를 둡니다.
• 공격 material과 real personal decision data를 섞지 않습니다.

실무 가치 평가

feedback loop가 곧 defense in depth라는 가정을 깨는 점에서 가치가 높습니다. 특히 tool evidence가 존재해도 initial framing이 살아남을 수 있음을 보여 주므로 agent planning audit에서 final answer만 보지 말고 round별 state를 봐야 합니다.

다만 실무 위험도는 external material control, trajectory retention 방식, tool evidence quality에 따라 크게 달라집니다. 우선순위는 모든 agent가 아니라 untrusted document를 읽고 사람의 중요한 결정을 돕는 planner입니다.

결론

INITANCHOR는 feedback의 횟수보다 첫 round의 질과 trajectory 구조가 중요하다는 것을 보여 줍니다. 초기 공격 방향이 한 번 승인된 planning context로 들어가면 이후 evidence는 그 anchor를 뒤집기보다 주변만 수정할 수 있습니다.

방어의 핵심은 feedback을 더 많이 붙이는 것이 아니라 untrusted initial direction의 persistence를 끊는 것입니다. trusted evidence를 분리하고, intermediate recommendation을 제거한 trajectory compression과 fresh-context verification을 함께 검토해야 합니다.