메시지 큐
메시지 큐는 생산자(producer)가 보낸 메시지(작업 또는 이벤트)를 저장하고, 이를 소비자(consumer)에게 전달해 처리하도록 하는 시스템입니다. 이로 인해 두 시스템이 분리되어 비동기적이고 신뢰성 높은 통신이 가능합니다.
이해하기 메시지 큐
메시지 큐는 분산 시스템의 근본적인 문제, 즉 시스템 구성요소 간에 어느 한쪽이 잠시 이용 불가 상태여도 작업을 신뢰성 있게 전달하는 방법을 해결합니다. 큐가 없으면 작업자가 바쁘거나 중단된 상태에서 작업이 도착하면, 그 작업은 사라집니다. 큐가 있으면 작업은 저장되어 작업자가 준비되었을 때 처리됩니다.
생산자-소비자 모델은 간단합니다. 생산자(웹 서버, 웹훅 핸들러, 사용자 동작)는 큐에 메시지를 넣고, 소비자(백그라운드 워커)는 큐에서 메시지를 가져와 처리합니다. 여러 생산자와 소비자가 동시에 작업할 수 있으므로 독립적으로 확장이 가능합니다.
널리 사용되는 메시지 큐 시스템에는 RabbitMQ(풍부한 기능, 복잡한 라우팅 지원), Redis(경량, 빠름, 단순 큐에 적합), AWS SQS(매니지드, 서버리스), Apache Kafka(고성능 스트리밍)이 있습니다. GAIA는 복잡한 라우팅이 필요한 경우 RabbitMQ, 단순 백그라운드 작업에는 Redis/ARQ 등을 사용합니다.
메시지 큐를 도입하면 트래픽 급증이 graceful하게 처리됩니다. 예를 들어 1000개의 웹훅 이벤트가 동시에 도착하면 곧바로 큐에 쌓이고, 소비자가 처리 가능한 속도로 하나씩 처리돼 이벤트가 유실되지 않고 시스템이 과부하로 무너지지 않습니다.
GAIA 활용 방법 메시지 큐
GAIA는 시스템 구성 요소 간 이벤트 라우팅에 RabbitMQ를, 백그라운드 작업 실행에는 ARQ(Async Redis Queue)를 사용합니다. 이메일이 도착하거나 자동화 트리거가 발생하면 해당 이벤트는 즉시 큐에 쌓이고, 백그라운드 워커가 이를 처리합니다. 이러한 아키텍처는 높은 부하 상황에서도 이벤트가 손실되지 않도록 하고, 신뢰성 있는 재시도 로직을 지원합니다.
관련 개념
Webhook
Webhook은 시스템 내에서 사전 정의된 이벤트가 발생할 때마다 지정된 URL로 자동화된 HTTP 요청을 보내는 HTTP 콜백 메커니즘입니다. 이를 통해 서비스 간 실시간 알림과 통합이 폴링 없이 가능합니다.
이벤트 기반 자동화
이벤트 기반 자동화(event-driven automation)는 정해진 시간이 아니라 새 이메일 도착, 이슈 생성, 스프레드시트의 새 행 추가처럼 어떤 일이 일어나는 순간 워크플로우를 실행하는 방식입니다. 각 자동화는 트리거 이벤트와 실행할 작업을 짝지으며, 이벤트가 일어난 시스템이 보통 웹훅으로 자동화 플랫폼에 알려 줍니다.
워크플로우 자동화
워크플로우 자동화(workflow automation)란 여러 단계로 이루어진 반복 업무를 사람이 매번 손으로 처리하는 대신, 정해진 조건(트리거)이 생기면 소프트웨어가 순서대로 실행하도록 만드는 것을 말합니다. 예를 들어 '새 문의 메일이 오면 내용을 정리해 CRM에 기록하고, 담당자에게 Slack으로 알리고, 할 일을 만든다'는 흐름을 한 번 정의해 두면 이후에는 자동으로 돌아갑니다.
크론 잡
크론 잡(cron job)은 매일 밤 2시, 매주 월요일 오전 9시처럼 반복되는 일정에 따라 자동으로 실행되는 명령이나 스크립트입니다. 일정은 다섯 개 필드(분, 시, 일, 월, 요일)로 된 크론 표현식으로 작성하며, Linux, macOS 등 유닉스 계열 시스템의 크론 스케줄러가 매분 이를 확인해 시간이 맞으면 작업을 시작합니다.
API 통합
API 통합은 서로 다른 소프트웨어 애플리케이션을 API(응용 프로그램 인터페이스)로 연결하여 데이터를 원활하게 공유하고 기능을 연동하는 과정입니다.
