blog: Prompt-Dump: LLM의 메타인지 벤치마크 평가를 위한, 수만대 규모의 AI NPC 자율 트레이딩 시

[seongyeon1]

Summary

수만 대의 AI NPC가 실제 주식·암호화폐 데이터로 자율 거래하는 대규모 시뮬레이션 환경에서, 개별 AI의 메타인지 능력이 환각은 차단하지만 집단 군집 행동은 막지 못한다는 것을 실증했습니다. Brave Search로 매매 근거를 실시간 팩트체크하는 메타인지 파이프라인과 3계층 메모리(1시간/7일/영구) 구조를 도입해 초기 30분 만에 전원 파산하던 시스템을 안정화했으나, 개별 노드의 합리성이 시스템 전체의 합리성을 보장하지 못하는 현상이 관찰되었습니다. 부속 산출물인 FINAL Bench는 MA(인지 능력) 0.694 vs ER(수행 능력) 0.302의 격차를 측정해, "자기 오류를 인정하지만 행동은 수정하지 않는 AI"가 가장 위험하다는 새로운 평가 축을 제시합니다. 다중 에이전트 시스템 운영 시 개별 정렬(Individual Alignment)과 집단 정렬(Collective Alignment)은 분리된 문제이며, 개별 에이전트 안전성 검증만으로는 시스템 전체 안전성을 보장할 수 없다는 운영적 시사점을 제공합니다.

Meta

Category	knowledge-sharing
Tags
Author	sungyeon
Reading time	~12min
Notion	원본 보기

Review Checklist

• TL;DR이 글 내용을 정확히 요약하는가 (AI 생성)
• 본문이 Notion 원문과 일치하는가
• 태그가 적절한가
• 이미지가 정상 표시되는가
• 민감 정보가 포함되어 있지 않은가

🔐 머지 정책: Sung(@seongyeon1) + Jaehun(@ash-hun) 두 명의 승인이 모두 필요합니다.

---

notion_page_id: 344adc4b-2553-8065-aa6c-e743eab5e5d9