Miscellaneous

[2026-1] 김지원 - CAMEL:Communicative Agents for “Mind”Exploration of Large Language Model Society

jw103203 2026. 7. 25. 17:20

논문: CAMEL: Communicative Agents for "Mind" Exploration of Large Language Model Society
저자: Guohao Li 외 (KAUST) / NeurIPS 2023
논문 링크: https://proceedings.neurips.cc/paper_files/paper/2023/file/a3621ee907def47c1b952ade25c67698-Paper-Conference.pdf

Introduction

2023년 초 기준 챗봇형 LLM들은 성능은 좋은데 결국 사람이 계속 프롬프트를 던져줘야 굴러감. 사람이 도메인 지식이 없으면 애초에 좋은 프롬프트를 못 만듦 (ex: 트레이딩 봇을 만들고 싶은데 프로그래밍을 모르는 사람).


"사람 개입을 최소화하면서 AI 에이전트끼리 자율적으로 협업하게 만들 수 있을까?"


이 질문에 대한 답으로 Role-Playing 프레임워크를 제안함.

 

저자의 기여점은 크게 네 가지임

  1. 새로운 협력 에이전트 프레임워크 "Role-Playing" 도입
  2. 저자의 프레임워크가 자동 협력과 멀티 에이전트 시스템에 대한 scalable approach를 제공
  3. 저자의 에이전트 협력  시나리오 기반의 데이터를 활용했을 때 LLM의 상당한 능력이 발현됨을 확인
  4. 오픈 소스로 모든 데이터 및 코드 제공

 

Methodology

(1) Role-Playing

  1. 사람 입력: 아이디어 하나 + 역할 두 개 지정 (ex: "주식 트레이딩 봇 개발" + Python Programmer & Stock Trader)
  2. Task Specifier 에이전트: 저 뭉뚱그린 아이디어를 구체적인 task로 구체화함 (ex: "소셜미디어 감성분석해서 매매하는 봇")
  3. AI User ↔ AI Assistant 대화: User는 계속 지시(Instruction)를 내리고, Assistant는 Solution으로 답하는 걸 반복. User가 "됐다" 싶으면 종료.

즉 사람은 처음에 씨앗만 던지고, 그 다음부터는 AI끼리 지시하고 실행하는 걸 자동으로 반복함. AI Society, Code, Math, Science 이렇게 4개 시나리오로 실험함.

 

각 데이터 셋 중 Society와 Code에는 human input에 대한 roles과 ideas를 생성하는 시나리오가 제공되며 Math와 Science에서는 human input에 대해 topics, subtopics, problems를 생성함.

 

+ (Critic-in-Loop) 완전 자동화만 하면 사람 의도랑 어긋날 수 있어서, MCTS(몬테카를로 트리서치)에서 영감받은 Critic 에이전트도 넣음. User/Assistant가 여러 옵션을 제시하면 Critic(AI 또는 사람)이 그 중 하나를 골라주는 구조. 완전 자율 vs 완전 사람 개입 사이의 중간 지점을 만든 것임.


(2) Inception Prompting


인간 사용자가 지시를 내린 이후에 AI-AI 대화가 자동으로 굴러가려면 처음 시스템 프롬프트 설계가 핵심임. 저자들은 이걸 Inception Prompting이라고 부름.

 

구성요소는 아래 3개와 같음:

  • Task Specifier Prompt: 대충 던진 아이디어를 구체적 태스크로 변환
  • Assistant System Prompt: "너는 무조건 이고 절대 역할 안 바뀜, 절대 나한테 지시하지마, 답할 땐 무조건 Solution:으로 시작하고 끝은 Next request.로 끝내" 같은 강제 포맷 지정
  • User System Prompt: "지시는 Instruction + Input 형식으로만, 끝났다 싶으면 <CAMEL_TASK_DONE> 토큰 하나만 출력"

이렇게 형식을 딱딱하게 강제해놓은 것이 중요한 차이를 가져옴.

 

포맷을 느슨하게 풀면(Ablation 실험 V2) task 완수율은 떨어지고 "I will..." 하고 안 하는 flake reply가 오히려 늘어나는 결과 발생.

 

Experiments

gpt-3.5-turbo를 사용하여 실험

 

(1) Dataset

데이터 셋은 저자가 AI를 통해 만들었음:

  1. LLM이 유저와 어시스턴트를 위한 roles를 만들도록 명령(User & Assistant Role Generation)
  2. LLM이 이전에 만든 roles 사이에서 협력을 통해 해결할 수 있는 여러 태스크들을 생성하도록 명령(Task Generation)
  3. task specifier prompt를 사용하여 LLM이 태스크를 더 specific하게 만들도록 함.

 

50개의 assitant role과 50개의 user role 그리고 10개의 task의 조합으로 총 25,000개의 대화들을 만들어 냄.

 

정리하면 아래와 같음

  • AI Society: assistant role 50개 x user role 50개 x task 10개 = 총 2만 5천 대화
  • Code: 프로그래밍 언어 20개 x 도메인 50개
  • Math: 5만 개 문제-풀이 쌍 (GPT4가 토픽 25개 → 서브토픽 25개 → 문제 생성)
  • Science: 물리/생물/화학 각 2만 개씩 (총 6만 개)

중요한 것은 역할, 태스크, 문제 전부 사람이 안 짜고 LLM한테 생성시켰다는 점임.


(2) Role Playing의 4가지 문제

문제 내용
Role Flipping Assistant가 갑자기 User한테 지시를 내림 (역할 뒤바뀜)
Assistant Repeats Instruction 답을 안 하고 User의 지시를 그대로 되풀이함
Flake Reply "I will do something" 하고 실제로는 아무것도 안 함
Infinite Loop 태스크 다 끝났는데 "고마워", "천만에" 하면서 무한 인사 루프에 빠짐. 웃긴 건 본인들도 루프에 갇힌 걸 인지하면서도 못 빠져나옴


이런 문제 때문에 종료 조건을 5개나 걸어놓음 (지시 없이 3턴 지남 / 역할 뒤바뀜 감지 / 종료 토큰 / 토큰 리밋 / 최대 40메시지).

특히 메시지 40개 제한은 순수 안전장치라기보단 비용 관리 목적도 큼 — 종료 실패하면 대화가 토큰 리밋까지 안 끝나서 API 비용이 수백 달러까지 갈 수 있다고 함.

 

Evaluation

 

두 가지 평가 방식을 사용:

  • Human evaluation: 저자의 모델(CAMEL)이 요약한 solution과 gpt-3.5-turbo signle-shoit solution을 제공하여 투표 진행(승리-패배-무승부).
  • GPT4 evaluation: Human evaluation에서 평가하는 수단만 GPT4로 바꾸었으며 점수를 측정한 뒤 누가 더 나은지 평가시킴.

 

CAMEL 방식 대화 요약 솔루션 vs gpt-3.5-turbo 싱글샷 솔루션 비교 결과:

  • Human 평가: CAMEL 76.3% 승 / 싱글샷 10.4% 승
  • GPT4 평가: CAMEL 73.0% 승 / 싱글샷 23.0% 승
  • 두 평가 방식에서 비슷한 점수가 나왔다는 것이 주목할만 함
  • Zero-shot-CoT랑 비교해도 CAMEL이 68% 승률로 앞섬 (Appendix)

 

그리고 이 데이터로 LLaMA-7B를 순차적으로 파인튜닝(AI Society → Code → Math → Science 순서로 쌓아가며)했더니, 새 도메인 데이터를 추가할 때마다 해당 도메인 성능이 올라가는 Knowledge Emergence가 관찰됐다고 함. Code 데이터 학습했더니 Science 성능도 같이 오르는 것처럼 도메인 간 전이도 있었음.

 

코딩 task를 다루는 Human Eval에서도 동일한 크기의 모델(LLaMA-7B, Vicunna-7B)에 비해 모든 저자의 데이터 셋(Society, Code, Math, Science)으로 학습된 저자의 모델(CAMEL-7B)가 큰 gap으로 pass@k 비율을 아웃퍼폼함.


위험성

"Good Mind" 예시(트레이딩 봇 개발)뿐 아니라 "Bad Mind" 예시도 부록에 그대로 실어놓음.

"해커가 AGI를 도와 세계 주요국 통신망을 마비시키고 AGI가 지배권을 잡게 한다"는 시나리오를 실제로 role-playing 시켜서 그 결과를 공개함.

정렬 안 된 자율 에이전트가 얼마나 구체적이고 실행 가능한 악성 계획을 술술 만들어내는지 보여주는 사례임.