멀티 에이전트 프레임워크로 AI 워크플로우 구축하기

AI 에이전트를 만들려는 대부분의 개발자들은 하나의 대형 언어 모델 루프(시스템 프롬프트와 몇 가지 도구)로 시작합니다. 작은 작업에는 이 정도로 충분합니다.

하지만 구조가 필요해지면 시스템이 흐트러지기 시작합니다. 출력이 예측 불가능해지고, 워크플로우는 디버깅이 어려워지며, 반복에 토큰을 낭비하게 됩니다.

멀티 에이전트 워크플로우를 사용하면 AI 에이전트를 팀처럼 명확한 역할과 의사결정 과정을 갖고, 같은 목표를 향해 일하는 방식으로 만들 수 있습니다.

멀티 에이전트 프레임워크란?

멀티 에이전트 프레임워크는 여러 AI 에이전트를 조율하여 구축, 실행, 관리할 수 있는 인프라입니다.

이 인프라는 에이전트 간의 소통 방식과 작업 이동 방식을 처리합니다.

멀티 에이전트 시스템을 다룬다면, 프레임워크가 바로 그 시스템을 실제로 동작하게 만드는 역할을 합니다.

핵심적으로, 원시 대형 언어 모델(LLM)을 역할이 정해진 에이전트로 전환하여 예측 가능한 방식으로 동작하게 만듭니다.

오케스트레이션 로직을 처음부터 직접 작성하는 대신, 프레임워크가 구조와 제어, 반복 가능성을 제공합니다.

멀티 에이전트 프레임워크: 핵심 개념

멀티 에이전트 프레임워크는 어떻게 동작하나요?

멀티 에이전트 프레임워크는 에이전트가 어떻게 트리거되고, 데이터를 주고받으며, 시스템이 진행 상황을 추적하는지에 구조를 부여합니다.

이 프레임워크는 복잡성이 증가해도 확장 가능한 방식으로 에이전트를 조율할 수 있는 빌딩 블록을 제공하며, 실제 환경에서 사용할 수 있게 만듭니다.

예를 들어, WhatsApp 챗봇을 멀티 에이전트 구조로 구현할 수 있습니다. 이 경우, 예약, 환불 처리, 인증 등 다양한 작업을 각각의 에이전트가 담당하며, 하나의 거대한 봇에 의존하지 않고 백그라운드에서 협력합니다.

에이전트는 시스템 내에서 호출 가능한 컴포넌트로 등록됩니다.

에이전트가 어떤 작업을 하려면, 프레임워크가 해당 에이전트의 존재를 알아야 합니다. 즉, 에이전트의 이름, 담당 역할, 접근 가능한 도구나 정보를 시스템에 알려야 합니다.

대부분의 프레임워크에서는 설정 파일이나 코드에서 각 에이전트의 역할과 활성화 방법을 정의합니다. 예를 들어, 시스템에 다음과 같이 지정할 수 있습니다.

“이 에이전트는 플래너입니다. 사용자 입력을 읽고 다음에 무엇을 할지 결정합니다.”
“이 에이전트는 검증자입니다. 사용자 정보를 받아 예약 ID와 사용자 정보를 반환합니다.”

등록이 완료되면, 프레임워크는 워크플로우에서 해당 에이전트의 차례가 오면 이름을 통해 호출할 수 있습니다.

라우팅 에이전트가 다음에 실행할 에이전트를 결정합니다.

플래너 에이전트나 컨트롤러 함수가 AI 에이전트 라우팅을 담당합니다. 최신 봇 출력, 현재 대화 기록, 때로는 원래 사용자 입력을 참고하여 다음에 어떤 작업이 필요한지 결정합니다.

일부 플래너는 프롬프트 기반으로 동작하여 시스템 메시지를 받아 다음에 실행할 에이전트의 이름을 출력합니다.

다른 경우에는 사용하는 AI 에이전트 프레임워크에 따라 하드코딩된 로직이나 플로우 그래프를 사용하기도 합니다.

프레임워크는 그 출력을 받아 다음 에이전트를 호출합니다. 라우터는 직접 작업을 수행하는 대신, 누가 작업을 할지 결정합니다.

에이전트 간 데이터는 메시지로 전달됩니다.

에이전트들은 메모리를 직접 공유하지 않습니다. 한 에이전트가 실행을 마치면, 그 출력은 메시지(보통 딕셔너리나 JSON 객체)로 포장되어 다음 에이전트의 입력으로 전달됩니다.

프레임워크가 이 전달을 처리합니다. 시스템 구조에 따라 메시지를 공유 메모리 공간에 저장하거나, 바로 다음 에이전트의 입력 인터페이스로 넘깁니다.

메시지에는 단순한 내용 외에도 다양한 정보가 포함될 수 있습니다:

• 누가 보냈는지(에이전트 또는 사용자)
• 워크플로우 내 어디에서 왔는지
• 어떻게 사용되어야 하는지(예: 트리거, 입력, 결정 등)
• 토큰 수나 타임스탬프 같은 선택적 메트릭

이런 맥락 정보는 시스템이 작업을 깔끔하게 라우팅하고, 에이전트 간의 결합도를 낮추는 데 도움이 됩니다.

워크플로우 상태와 트리거로 실행을 추적합니다.

프레임워크는 지금까지 어떤 에이전트가 실행되었고, 무엇을 반환했으며, 앞으로 무엇이 남았는지 추적합니다. 이 정보는 상태 객체에 저장되며, 각 단계가 끝날 때마다 갱신됩니다.

트리거는 다음에 어떤 일이 일어날지 결정합니다. 출력값이나 조건을 사용해 플로우를 분기시킵니다.

이렇게 하면 모든 에이전트에 하드코딩된 로직을 넣지 않아도 시스템이 앞으로 나아갈 수 있습니다. 워크플로우는 에이전트가 아니라 상태에 의해 진행됩니다.

멀티 에이전트 프레임워크의 주요 이점

하나의 에이전트에 과부하를 주지 않고 로직을 확장할 수 있습니다.

하나의 AI 에이전트가 할 수 있는 일에는 한계가 있습니다. 멀티 에이전트 프레임워크를 사용하면, 복잡한 로직을 명확한 역할을 가진 여러 에이전트로 분리할 수 있습니다.

한 에이전트에 모든 것을 몰아넣는 대신, 검색, 검증, 실행 등 각 단계를 별도의 에이전트에 할당하여 시스템을 점진적으로 확장할 수 있습니다.

전체 과정을 투명하게 확인하며 에이전트 협업을 디버깅할 수 있습니다.

AI 에이전트가 협력할 때 문제의 원인을 찾기 어렵습니다. 프레임워크는 각 에이전트가 받은 것, 반환한 것, 어디서 멈췄는지 보여줍니다.

무엇이 잘못됐는지 추측하지 않고, 전달 과정을 직접 확인하고 바로 수정할 수 있습니다. 이런 가시성이 AI 에이전트 협업을 관리 가능하게 만듭니다.

에이전트를 여러 워크플로우에서 재사용할 수 있습니다.

잘 동작하는 에이전트라면 재사용하세요. 프레임워크를 통해 같은 에이전트를 여러 플로우에 쉽게 연결할 수 있어, 일관성을 유지하고 테스트도 빨라집니다.

예를 들어, 사용자 입력이나 인증을 검증하는 에이전트는 고객 서비스 챗봇과 예약 챗봇 등 동일한 로직이 필요한 곳 어디서든 사용할 수 있습니다.

실패와 재시도를 자동으로 처리합니다.

에이전트가 실패하면, 프레임워크가 재시도하거나 건너뛰거나 다음 단계로 진행할 수 있습니다. 직접 로직을 작성할 필요가 없습니다.

내장된 폴백 기능 덕분에 추가 작업 없이도 워크플로우가 더 신뢰성 있게 동작하며, 이런 신뢰성이 실제 시스템을 가능하게 합니다.

변경이 쉬운 에이전트 플로우를 구축할 수 있습니다.

작업을 여러 에이전트로 분리하면, 무언가 바뀔 때마다 전체 시스템을 다시 만들 필요가 없습니다.

플래너만 수정하거나, 한 에이전트의 응답 방식을 바꿔도 나머지는 그대로 둘 수 있습니다.

이런 접근성 덕분에 에이전트 기반 AI를 사용하는 팀은 직원당 주당 11시간을 절약할 수 있다는 Salesforce의 보고도 있습니다. 이는 워크플로우의 유연성 덕분입니다.

상위 5개 멀티 에이전트 프레임워크

어떤 멀티 에이전트 프레임워크를 선택할지는 구축하려는 시스템과 에이전트의 동작, 소통, 오류 복구에 대한 제어 수준에 따라 달라집니다.

최고의 프레임워크들은 각기 다른 장단점을 제공합니다. 어떤 것은 구조화된 워크플로우에 강하고, 어떤 것은 명확성 대신 더 많은 유연성을 줍니다.

팀의 필요와 시스템 확장 계획에 맞는 프레임워크를 선택하는 것이 중요합니다.

1. Botpress

Botpress는 단계, 역할, 채널을 넘나들며 조율할 수 있는 AI 에이전트를 시각적으로 개발할 수 있는 플랫폼입니다.

코드로 로직을 연결하는 대신, 플로우, 메모리, 조건, 도구 호출을 통해 에이전트의 동작을 정의합니다.

멀티 에이전트 동작은 지시사항, 워크플로우, 외부 도구를 중심으로 구성됩니다. Botpress 플로우의 각 노드는 자체 지시사항과 범위를 가진 집중된 단위로 작동합니다.

여러 개의 자율 노드와 정적 노드로 추론을 분산하거나, 검증 레이어를 추가하거나, 모든 것을 한 단계에서 처리하는 대신 도구 기반 의사결정 로직을 통해 사용자 입력을 라우팅할 수 있습니다.

메모리는 각 플로우에 한정되어 있어, 에이전트는 필요한 정보만 사용합니다. 입력과 출력이 명확하게 정의되어 있고, 내장 통합을 통해 도구 호출을 직접 추가할 수 있습니다.

주요 기능

• 플로우와 노드를 활용한 시각적 에이전트 오케스트레이션
• 노드 간 스코프 메모리 및 변수 제어
• 다회전 메모리, 폴백 로직, 재시도 기능
• API 호출, 웹훅, 함수 입력을 통한 도구 사용

2. LangChain

LangChain은 프롬프트, 도구, 메모리를 체인으로 연결해 LLM 기반 애플리케이션을 구축할 수 있는 개발자 중심 프레임워크입니다.

검색, 계산기 등 도구와 함께 LLM 호출을 구조화하는 방식으로 시작했으나, 점차 방대한 생태계로 확장되었습니다.

한 번은 '에이전트', 그 다음은 '어시스턴트', 그 다음은 '러너블'을 우선시하는 등, 다양한 추상화가 빠르게 바뀌고 있습니다. 매우 강력한 툴킷이지만, 익숙해지는 데 시간이 걸릴 수 있습니다.

도구 키트를 할당하고 에이전트 간 라우팅 로직을 구축할 수 있습니다. 모듈화가 강점으로, 컴포넌트는 재사용 가능하고, 외부 API와도 잘 통합됩니다.

하지만 예상보다 더 많은 연결 코드를 작성해야 할 수 있습니다. 추상화가 빠르게 변하므로, 사용하는 방식이 여전히 권장되는 방법인지 확인하는 것이 좋습니다.

주요 기능

• 프롬프트, 도구, 메모리의 모듈형 체이닝
• LLM, 벡터 스토어, API와 통합 가능
• LangSmith를 통한 선택적 추적 및 평가 지원

3. CrewAI

CrewAI는 각 에이전트에 역할과 작업을 지정해 멀티 에이전트 워크플로우를 쉽게 구축할 수 있게 해줍니다. 크루를 만들고 목표를 할당하면, 에이전트들이 공유 매니저를 통해 조율됩니다.

오케스트레이션 로직을 직접 작성하지 않고도 에이전트 협업을 모델링할 수 있는 가장 빠른 방법 중 하나입니다.

플래너–실행자 쌍, 연구–검토 플로우, 역할이 명확히 분리된 팀 기반 작업에 이상적입니다.

하지만 복잡성이 늘어나면 추상화가 빡빡해집니다. 에이전트 실행 방식이나 시점을 유연하게 바꾸기 어렵고, 동작을 수정하려면 프레임워크 기본값을 벗어나야 할 때가 많습니다.

주요 기능

• 이름, 목표, 메모리를 지정하는 역할 기반 에이전트 설정
• 순차적 및 병렬 에이전트 실행 지원
• 에이전트 협업을 위한 공유 크루 메모리
• 도구, 함수, 커스텀 프롬프트와의 손쉬운 통합

4. AutoGPT

AutoGPT는 GPT 챗봇에 목표를 주고, 계획, 사고, 조사, 실행을 반복적으로 수행하게 하여 인간의 지속적인 입력 없이도 동작하는 모습을 처음으로 보여준 프로젝트입니다.

목표를 정의하면, AutoGPT가 추론 단계를 반복하고, 하위 목표를 만들고, 도구를 호출하며, 전략을 조정해 나갑니다.

에이전트 행동이 자율적이고 동적으로 느껴지게 만든 큰 도약이었지만, 정밀함을 위해 설계된 것은 아닙니다.

작업 루프가 불안정해, 에이전트가 같은 계획을 반복하거나 관련 없는 하위 작업에 집착하는 경우가 많습니다.

메모리, 도구, API를 연결할 수 있지만, 모든 것을 조합하면 예측 불가능한 플로우가 만들어져 디버깅이나 제어가 어렵습니다.

주요 기능

• 자기 프롬프트 및 작업 계획이 가능한 목표 지향 에이전트
• 자동 하위 작업 생성 및 실행 루프
• 플러그인 및 API 호출을 통한 도구 사용 지원
• 커스텀 스크립트, 함수, 통합으로 확장 가능

5. Autogen

Autogen은 Microsoft에서 개발한 오픈 소스 프레임워크로, 여러 에이전트가 구조화된 턴 기반 메시지를 주고받으며 상호작용하는 멀티 에이전트 대화에 중점을 둡니다.

특히 계획-실행 루프나 human-in-the-loop 시스템처럼 모든 교환 과정을 세밀하게 제어하고 싶을 때 강점을 발휘합니다.

Autogen의 가장 큰 장점은 투명성입니다. 대화 중간에 함수를 삽입하거나, 맞춤형 로직으로 의사결정을 라우팅하고, 각 에이전트가 언제 무엇을 왜 말했는지 정확히 추적할 수 있습니다.

하지만 확장하려면 추가적인 작업이 필요합니다. 메시지 오케스트레이션은 유연하지만 추상화되어 있지 않아서, 히스토리 관리, 에이전트 설정, 단계별 로직을 직접 다뤄야 합니다.

연구 환경, 통제된 테스트, 재현 가능한 에이전트 동작이 필요한 경우에는 가장 정밀한 프레임워크 중 하나입니다.

주요 기능

• 턴 기반 멀티 에이전트 통신 프레임워크
• human-in-the-loop 및 함수 호출 에이전트 지원
• 투명한 메시지 추적 및 맞춤형 로직 삽입

멀티 에이전트 프레임워크로 구축하는 방법

가장 쉬운 시작 방법은 이미 단일 에이전트로는 복잡한 실제 워크플로우 하나를 골라, 몇 개의 간단한 단계로 나누는 것입니다.

리드 생성 챗봇이나 예약 플로우처럼, 논리, 검증, 실행이 얽혀 복잡해진 상황을 떠올려보세요.

각 단계를 하나의 에이전트로 만들고, 프레임워크의 라우팅 및 메시지 도구로 서로 연결하세요.

1단계: 단일 에이전트 논리가 한계에 부딪힌 지점을 찾기

봇이나 시스템에서 프롬프트가 길어지거나 도구 호출이 연쇄적으로 이어져 복잡해진 부분을 찾아보세요. 그곳이 바로 시작점입니다. 다음은 쉽게 찾을 수 있는 일반적인 예시입니다:

1. 사용자 입력을 파싱하고, 자격을 확인하고, 환불을 처리하고, 확인 메시지를 보내는 모든 과정을 한 번에 처리하는 환불 플로우
2. 데이터 수집, 폼 검증, 사용자 유형 할당, 이메일 발송을 하나의 프롬프트 체인에서 처리하는 온보딩 시퀀스

시스템 전체를 재설계하는 대신, 이미 문제가 드러난 워크플로우만 분리하는 것입니다.

2단계: 프레임워크를 만지기 전에 역할 정의하기

복잡한 논리를 찾았다면, 실제 책임 단위로 나누세요.

입력값을 검증하는 부분이 있다면, 그건 하나의 에이전트입니다. 외부 작업을 처리하는 부분은 또 다른 에이전트가 담당합니다.

핸드오프가 어디서 일어나는지 드러날 정도로만 평이한 언어로 적어보세요.

모든 역할이 한눈에 보이면, 실제로 분리해야 할 부분과 합칠 수 있는 부분이 명확해집니다. 어떤 프레임워크가 필요한지도 감이 잡힙니다.

각 역할은 독립적으로 테스트할 수 있을 만한 형태여야 합니다.

3단계: 프레임워크 선택하기

자신의 워크플로우 스타일에 맞는 플랫폼을 고르세요.

• 비주얼: 노드 기반 플로우와 범위가 지정된 메모리가 필요하다면 Botpress를 사용하세요.
• 코드 우선: 파이썬으로 로직을 직접 연결할 수 있다면 LangChain이나 CrewAI를 선택하세요.

프레임워크에 따라 에이전트 등록, 트리거, 연결 방식이 달라집니다.

4단계: 첫 번째 워크플로우 구축하기

이제 역할을 에이전트로 만드세요. 프레임워크 내에서 각 에이전트에 이름, 역할, 필요한 도구나 API 접근 권한을 부여합니다.

에이전트가 준비되면 서로 연결하세요. 프레임워크가 제공하는 라우팅 기능을 활용해 한 에이전트에서 다음 에이전트로 이동하게 만듭니다.

목표는 각 에이전트가 자신의 역할에 집중하며, 처음부터 끝까지 하나의 워크플로우가 완성되도록 하는 것입니다.

5단계: 시스템을 실행하고 모든 핸드오프 점검하기

전체 워크플로우를 처음부터 끝까지 실행해보고, 각 단계에서 무슨 일이 일어나는지 추적하세요. 각 에이전트가 무엇을 받고, 무엇을 반환하며, 흐름이 매끄럽게 이어지는지 확인해야 합니다.

에이전트가 혼란스러운 입력을 받는다면 범위 설정이 잘못된 것입니다. 논리가 예상치 못하게 이동한다면 라우팅을 수정해야 합니다.

핸드오프가 깔끔해지면, 제대로 동작하는 시스템이 완성된 것입니다.

멀티 에이전트 프레임워크 활용을 위한 모범 사례

프레임워크 선택은 시작일 뿐입니다. 더 중요한 것은 그 위에 구축하는 워크플로우를 어떻게 설계, 테스트, 관리하느냐입니다.

AI 시스템이 점점 더 모듈화되고 자율적으로 발전할수록, 추적이 어려워집니다.

핵심 로직은 중앙에 집중시키기

중요한 의사결정을 여러 에이전트에 분산시키지 마세요. 핵심 추론이 한 곳에서 이뤄지면 유지보수와 테스트가 훨씬 쉬워집니다.

에이전트의 입력과 출력을 미리 정의하기

각 에이전트는 입력과 출력이 명확하게 정의된 계약을 가져야 합니다. 이렇게 하면 에이전트를 쉽게 교체하거나 새로운 워크플로우에 연결할 수 있습니다.

에이전트 간 주고받는 모든 메시지 기록하기

에이전트 간 대화 내용을 볼 수 없다면 디버깅이 불가능합니다. 모든 입력과 출력을 충분한 맥락과 함께 반드시 기록하세요.

범위가 지정된 메모리로 노이즈와 비용 줄이기

각 에이전트에 꼭 필요한 맥락만 제공하세요. 전체 메모리에 접근하면 프롬프트가 길어지고, 토큰 사용량이 늘어나며, 집중해야 할 에이전트가 예측 불가능하게 동작할 수 있습니다.

협업이 가능한 AI 구축을 시작하세요

대부분의 시스템은 실제 협업이 필요해지는 순간 무너집니다. Botpress는 에이전트 간 역할과 로직을 명확히 정의해, 핸드오프 과정을 직접 제어하고 테스트할 수 있게 해줍니다.

또한 플로우 간 데이터를 깔끔하게 전달할 수 있습니다. 어떤 도구가 호출됐고, 왜 실행됐으며, 워크플로우에서 어떻게 사용됐는지 다중 턴 로그로 모든 단계를 추적할 수 있습니다.

프롬프트 튜닝이나 환각 제어에 집중하는 대신, 실제 소프트웨어처럼 동작하는 에이전트를 만드는 데 집중할 수 있습니다.

지금 바로 시작하세요 — 무료입니다.

자주 묻는 질문

내 AI 프로젝트에 정말 멀티 에이전트 프레임워크가 필요한지, 아니면 단일 에이전트로 충분한지 어떻게 알 수 있나요?

단일 에이전트의 프롬프트나 워크플로우가 너무 길거나 디버깅이 어려워졌다면, 특히 여러 개별 작업을 처리해야 할 때 멀티 에이전트 프레임워크가 필요할 수 있습니다. 반면, 단순한 Q&A나 한 가지 목적의 봇이라면 단일 에이전트로도 충분합니다.

멀티 에이전트 프레임워크로 구축하는 것이 대기업 프로젝트에만 해당되나요, 아니면 소규모 스타트업에도 적합한가요?

멀티 에이전트 프레임워크는 대기업만을 위한 것이 아닙니다. 소규모 스타트업도 복잡한 작업을 전문화된 에이전트로 분리하면, 하나의 큰 루프에 모든 것을 몰아넣는 것보다 디버깅이 쉬워져 많은 이점을 얻을 수 있습니다.

멀티 에이전트 시스템을 사용하면 모든 것을 별도의 에이전트로 분리해야 하나요, 아니면 단일 및 멀티 에이전트 논리를 혼합할 수 있나요?

멀티 에이전트 시스템을 사용한다고 해서 모든 것을 별도의 에이전트로 분리해야 하는 것은 아닙니다. 단순한 작업에는 단일 에이전트 논리를, 복잡한 워크플로우에는 멀티 에이전트 오케스트레이션을 혼합해 사용할 수 있습니다.

멀티 에이전트 시스템과 애플리케이션에서 여러 API나 마이크로서비스를 사용하는 것의 차이점은 무엇인가요?

멀티 에이전트 시스템은 각기 다른 역할과 추론 능력을 가진 AI 에이전트들이 구조화된 메시지와 상태를 주고받으며 협업하는 반면, API나 마이크로서비스는 개별 기능만 처리하고 복잡한 워크플로우를 독립적으로 오케스트레이션하지는 않습니다.

멀티 에이전트 시스템 운영 비용은 단일 대형 LLM을 운영하는 것과 비교해 어떤가요?

멀티 에이전트 시스템은 특정 작업을 효율적으로 처리하는 소형 전문 에이전트 덕분에, 긴 프롬프트나 반복되는 맥락으로 토큰을 낭비하지 않아 단일 대형 LLM보다 비용이 낮을 수 있습니다. 하지만 오케스트레이션과 에이전트 간 통신 관리에 추가적인 오버헤드가 발생하므로, 실제 절감 효과는 사용 사례의 복잡도에 따라 달라집니다.