들어가며
Slack에는 하루에도 여러 번 다음과 같은 요청이 올라왔습니다.
"테스트 서버 하나만 만들어 주실 수 있나요? 도메인도 붙여 주시고요."
"어제 띄운 서버, 밤에는 꺼지게 해 주세요."
"prod에서 이 에러가 계속 나는데 뭐가 문제인지 봐 주실 수 있어요?"
각 요청은 10분 안에 처리되는 작업입니다. 그러나 모든 요청이 SRE를 거쳐야 했고, SRE가 회의 중이면 처리가 지연되었습니다. 이 요청들은 반복 빈도가 높고, 위험도가 낮으며, 처리 절차가 정해져 있습니다.
이에 Slack 멘션으로 이러한 요청을 처리하는 운영 에이전트 헤르메스(Hermes)를 개발했습니다. 이 글에서는 헤르메스를 구축하고 운영하면서 발생한 문제, 문제 해결 과정에서 정한 설계 원칙, 그리고 앞으로 전환할 구조를 설명합니다.
헤르메스 개요
헤르메스는 Nous Research의 오픈소스 에이전트 hermes-agent를 기반으로 합니다. 에이전트 본체는 오픈소스를 그대로 사용하며, 저희가 직접 구현한 부분은 다음과 같습니다. 헤르메스가 접근하는 계정과 권한, 저희 인프라에 맞춘 절차서인 스킬, 그리고 다른 에이전트에게 위임하는 작업입니다.
스킬은 "이런 요청이 오면 이 순서로 처리한다"는 내용을 STCLab 환경에 맞춰 정리한 절차서입니다. 서버 생성, 장애 조사, 관측 연결 등 요청 유형별로 하나씩 작성되어 있으며, 헤르메스는 질문 내용에 맞는 스킬을 선택해 해당 절차대로 작업합니다.
헤르메스는 관리용 mgmt 계정의 EC2 인스턴스 한 대에서 실행됩니다. 인바운드 포트는 열려 있지 않으며, Slack과는 헤르메스가 아웃바운드 연결을 맺어 통신합니다. AWS 계정은 mgmt, dev, prod 세 개이며, 헤르메스는 mgmt 계정에서 나머지 계정의 지정된 역할로 전환해 접근합니다.
운영 초기에 발견한 문제
운영 초기에 다음 두 가지 문제가 확인되었습니다.
장기 기억 용량 초과로 인한 갱신 중단
헤르메스에는 세션이 종료되어도 유지되는 장기 기억이 있으며, 세션을 시작할 때마다 장기 기억 전체가 프롬프트에 포함됩니다. 운영 초기에 장기 기억 사용량이 한도의 96%에 도달했고, 이후 몇 주 동안 새로운 내용이 저장되지 않았습니다.
또한 장기 기억에는 "이 작업은 권한이 없다"는 내용이 저장되어 있었으나, 실제 권한과 절차서는 이미 변경된 상태였습니다. 이로 인해 매 대화에 포함되는 장기 기억의 내용과 절차서의 내용이 일치하지 않았으며, 이 상태가 한동안 발견되지 않았습니다.
셸 외 도구를 통한 승인 절차 우회
위험한 셸 명령은 실행 전에 Slack으로 사람의 승인을 받도록 설정했습니다. 그러나 운영 초기에, 셸이 아닌 다른 도구를 사용하면 승인 절차 없이 실행되는 경우가 확인되었습니다. 승인 절차가 셸 도구에만 적용되어 있었기 때문입니다. 모델은 같은 요청에도 매번 같은 도구를 선택하지 않으므로, 하나의 도구에만 제한을 적용하는 방식으로는 충분하지 않았습니다. 이 문제는 운영에 필요하지 않은 도구를 모두 비활성화하여 조치했습니다.
두 문제의 원인은 모델의 판단 오류가 아니었습니다. 모델은 주어진 기억을 그대로 사용했고, 주어진 도구로 작업을 수행했습니다. 따라서 모델 성능 개선보다, 모델이 잘못된 결과를 내더라도 사고가 발생하지 않는 구조를 만드는 데 집중했습니다.
설계 원칙
에이전트 설계 시 결정해야 하는 사항은 세 가지입니다. 대화와 기억의 저장 위치와 방식, 모델에게 제공할 정보와 도구 및 모델에게 맡기지 않을 작업, 그리고 모델이 실행한 명령의 영향 범위입니다. 세 가지 모두에 다음 원칙을 적용했습니다. 모델은 틀릴 수 있다는 전제로, 모델이 틀리더라도 사고가 발생하지 않도록 설계한다.
1. 기억은 작게 유지하고, 저장 내역을 기록합니다
헤르메스의 세션 단위는 Slack 스레드입니다. 같은 스레드의 후속 질문은 이전 대화를 참조하고, 새 스레드에서는 새 세션이 시작됩니다. 채널에서는 사용자별로 세션을 분리하며, 하루 동안 대화가 없거나 매일 정해진 시각이 되면 세션을 초기화합니다. 대화가 길어지면 오래된 내용은 요약하여 압축하고, 최근 메시지 20개는 원문 그대로 유지합니다.
장기 기억은 수천 자 수준으로 제한했습니다. 장기 기억은 매 세션에 전체가 포함되므로, 용량이 클수록 잘못된 내용 하나가 영향을 미치는 범위가 넓어집니다. 이전 대화가 필요한 경우에는 세션 검색 도구로 조회합니다. 또한 기억 쓰기 감시 플러그인인 memgate를 적용해 저장 내용과 저장 시점을 모두 기록하고, 이상이 있는 경우에만 매일 아침 알림을 보냅니다.
정확성이 필요한 업무 상태는 기억에 저장하지 않습니다. 예를 들어 dev 서버의 켜기·끄기 시각은 기존 스케줄러가 관리하며, 헤르메스는 스케줄러가 읽는 목록에 서버를 등록하는 작업만 수행합니다. 기억은 압축되거나 삭제될 수 있고, 잘못된 내용이 포함될 수 있습니다. 서버 상태를 기억에 저장하면 같은 서버의 켜기·끄기가 두 곳에서 각각 관리될 수 있습니다.
2. 모델에게는 판단만 맡깁니다
에이전트는 모델이 도구를 선택해 호출하고, 결과를 확인하고, 다음 행동을 결정하는 과정을 반복합니다. 헤르메스는 이 반복 구조를 오픈소스 그대로 사용하며, 저희는 모델이 참조하는 정보인 컨텍스트와 모델이 사용할 수 있는 도구를 설계했습니다. 이 작업을 컨텍스트 엔지니어링이라고 합니다.
컨텍스트에는 모델이 모르는 정보만 포함합니다. 스킬에 작성하는 내용은 다음 세 가지로 구분했습니다.
종류 | 예 | 다루는 방법 |
|---|---|---|
범용 지식 | IMDSv2, 최소 권한 원칙 | 작성하지 않습니다. 모델이 이미 알고 있습니다. |
저희 인프라의 사실 | 리전, 네트워크 대역, 표준 템플릿 | 스킬에 명시합니다. |
계속 바뀌는 값 | 최신 AMI, 가격 | 값 대신 조회 방법을 작성합니다. |
범용 지식을 포함하면 프롬프트 길이만 늘어나고, 자주 바뀌는 값을 기록하면 값이 변경된 후 잘못된 답변의 원인이 됩니다.
도구는 필요한 것만 제공합니다. 각 도구는 모델이 실행할 수 있는 행동이므로, 도구 수가 늘어나면 예상하지 못한 실행 경로도 늘어납니다. 승인 우회 문제 이후 브라우저, 화면 제어 등 운영에 필요하지 않은 도구 묶음은 모두 비활성화했습니다.
전문 영역은 해당 영역을 담당하는 다른 에이전트에게 위임합니다. 헤르메스가 모든 작업을 직접 처리하면 필요한 권한과 프롬프트가 계속 늘어납니다. 쿠버네티스 클러스터 내부 확인이 필요한 질문은 클러스터별로 배포된 HolmesGPT에게 SQS 큐로 전달하고, 결과만 받습니다. 따라서 헤르메스에는 kubectl 등 클러스터 접근 권한을 부여하지 않습니다. 사내 지식 질문은 사내 문서를 검색해 근거와 함께 답하는 서퍼봇에게 같은 방식으로 전달합니다.
판단이 필요 없는 작업은 모델에게 맡기지 않습니다. 매일 아침 브리핑, 비용 리포트 등 정기 작업은 정해진 스크립트만 실행합니다. 온프렘 서버에 모니터링 에이전트를 설치하는 작업도 헤르메스가 원격 명령을 직접 작성하지 않고, 사전에 작성된 래퍼 스크립트만 호출합니다. 대상 서버가 허용된 네트워크에 있는지, 설치 파일이 변경되지 않았는지는 래퍼 스크립트가 코드로 확인합니다. 래퍼 스크립트가 실행을 거부하면 헤르메스는 다른 방법을 시도하지 않고 요청자에게 다시 확인합니다.
3. 작업 범위는 프롬프트가 아닌 시스템으로 제한합니다
프롬프트에 금지 사항을 작성하는 것만으로는 충분하지 않습니다. 따라서 헤르메스의 작업 범위는 시스템 설정으로 제한했습니다. 계정별로 최소 권한 역할을 분리하고, 역할을 용도별로 세분화해 역할 하나로 수행할 수 있는 작업을 줄였습니다. 서버 삭제 등 되돌리기 어려운 작업은 사람이 직접 수행합니다.
권한 설정 외에 다음 확인 단계를 적용했습니다. 위험한 셸 명령은 실행 전에 Slack으로 사람의 승인을 받아야 합니다. 사람이 확인하지 않는 정기 작업에서는 승인이 필요한 명령을 거부하며, 답변이나 로그에 비밀값이 포함되면 마스킹하여 출력합니다.
명령을 격리된 환경에서 실행하는 구조는 현재 도입 중이며, 마지막 장에서 설명하겠습니다.
답변 정확도 평가
답변 여부와 답변의 정확성은 별개이므로, 헤르메스의 답변 정확도를 평가했습니다. 운영 중 자주 받는 질문 유형으로 평가 문항을 작성하고, 문항마다 여러 번 질문하여 채점했습니다. 같은 질문에도 답변이 매번 달라질 수 있으므로, 단일 응답의 정답 여부가 아니라 반복 질문 시 정답을 내는 일관성을 측정했습니다.
평가는 Anthropic의 에이전트 평가 가이드를 기준으로 설계했으며, 채점은 다음 세 단계로 진행했습니다.
코드 검증: 상태를 변경하는 명령이 포함되면 실패로 처리하고, 답변 내용을 해당 시점의 실제 AWS 값과 대조합니다.
채점 모델 판정: 답변 모델과 분리된 채점 모델이 답변의 각 주장을 판정합니다.
사람 검토: 실패로 판정된 답변을 사람이 다시 확인해 채점 오류를 제외합니다.
첫 평가에서 오답의 원인을 분석했습니다. 답변을 주장 단위로 분리한 결과, 질문하지 않은 내용을 추가한 주장이 많았고, 사실과 다른 답변도 대부분 추가된 내용에서 발생했습니다. 질문한 내용에 대한 답변은 정확했으나, 질문하지 않은 내용을 추가하는 과정에서 오류가 발생했습니다.
이에 응답 규칙에 "질문하지 않은 내용은 덧붙이지 않는다"는 제한을 추가했습니다. 재평가 결과, 매번 정답을 내는 문항이 늘었고 추가된 내용으로 인한 오답은 크게 줄었습니다. 비용과 응답 시간은 변하지 않았습니다.
장애 질문 처리 방식도 변경했습니다. 기존에는 장애 관련 질문을 HolmesGPT에게 바로 전달했으나, 지표만으로 답할 수 있는 질문이 많았습니다. 이에 지표를 먼저 확인하고, 원인을 묻는 경우에만 HolmesGPT에게 전달하도록 변경했습니다. 이 개선 이후 조사 단계와 소요 시간이 크게 줄었습니다.
현재는 스킬을 정리하거나 규칙을 변경할 때마다 이 평가를 다시 실행하여, 변경 사항의 효과를 측정 결과로 확인합니다.
주요 활용 사례
10월에 지난 45일간의 대화를 집계한 결과, 전체 137개 세션 중 서버 관련 요청이 58개, 장애 조사가 30개였습니다. 주요 활용 사례는 다음과 같습니다.
테스트 서버 생성
개발자는 Slack 스레드 하나에서 서버 생성, 도메인 연결, 자동 켜기·끄기 등록을 요청할 수 있으며, 이 과정에 SRE가 관여하지 않습니다.
"4코어 16GB로 테스트 서버 하나 만들어 줘" → 사양, OS, 디스크를 확인한 뒤 서버를 생성합니다.
"도메인도 붙여 줘" → 서버에 사용할 도메인을 준비합니다.
"평일 아침에 자동으로 켜 줘" → 스케줄러 목록에 등록합니다.
장애 1차 분석
알람이 발생하면 개발자는 해당 스레드에서 헤르메스에게 질문합니다. 헤르메스는 Grafana에서 지표와 로그를 확인하고, 클러스터 내부 확인이 필요하면 HolmesGPT에게 조사를 요청합니다. 답변에는 결론, 확인에 사용한 쿼리와 확인 내용, 다음 확인 항목이 포함됩니다.
아래는 BotManager 로그 수집기에서 API 서버 연결 오류가 반복될 때의 대화입니다. "최근 5분 안에도 계속되고 있어?"라는 후속 질문에는 Loki를 다시 조회해 "없음"이라고 답합니다. "정확한 원인이 뭐야?"라는 질문에는 API 서버의 지표와 로그를 확인한 뒤, 원인이 API 서버가 아니라 수집기 쪽 연결 문제라고 답합니다.
온프렘 검증 서버 모니터링 연동
EKS에서 운영하는 SaaS 제품은 Grafana로 지표를 확인하고 있습니다. 반면 온프렘 납품 전 검증용 서버는 모니터링 대상에 포함되어 있지 않았습니다. 현재는 개발자가 "이 서버 모니터링 붙여 줘"라고 요청하면 헤르메스가 Grafana Alloy를 설치합니다. 각 서버는 제품별 테넌트로 구분되어 mgmt 클러스터의 OTel 스택으로 지표와 로그를 전송합니다. 설치가 완료되면 헤르메스가 해당 서버의 기본 대시보드를 생성하고, 대시보드 링크를 스레드에 게시합니다.
사내 지식 질문의 서퍼봇 연동
"이 고객사 예전에 무슨 이슈 있었어?", "이 알람 지난번엔 어떻게 처리했어?" 같은 질문은 클러스터 조회로 답할 수 없습니다. 이러한 질문을 받으면 헤르메스는 사내 지식을 학습한 서퍼봇을 호출하고, 서퍼봇은 Confluence, Jira, Slack 이력에서 찾은 답변을 출처와 함께 반환합니다.
단일 에이전트 구조의 한계와 다음 구조
사용자 증가에 따라 헤르메스에 요청되는 작업 범위도 넓어졌습니다. Helm values를 수정해 배포 변경을 PR로 올리는 작업, 고객 도메인 작업 전체를 처리하는 작업 등입니다. 현재 구조에서는 이러한 작업으로 확장하기 어려우며, 그 이유는 다음과 같습니다.
성능: 스킬이 수십 개로 늘었고, 에이전트 하나가 모든 스킬의 설명을 참조해 매번 하나를 선택해야 합니다. 스킬 수가 늘어날수록 프롬프트 길이, 스킬 선택 시간, 잘못된 스킬을 선택할 가능성이 함께 증가합니다.
안전: 명령 격리 실행 환경은 도입 중이며, 허용 작업 범위는 스킬 문서의 내용과 계정별 역할 권한으로만 정의되어 있습니다. 조회 위주의 작업에는 충분했으나, 배포 변경 등 쓰기 작업이 늘어나면 모델의 판단과 별개로 작업 범위를 제한하는 장치가 필요합니다.
운영: 상주 프로세스 하나를 팀 전체가 같은 프로필로 사용하므로, 사용자별로 기억이나 권한을 분리하기 어렵습니다. 여러 단계로 구성된 작업의 진행 상태가 서버의 로컬 파일에 저장되어 있어, 서버에 장애가 발생하면 진행 중인 작업도 중단될 수 있습니다.
이에 Amazon Bedrock AgentCore를 기반으로 에이전트 구조를 전환할 계획입니다. AgentCore는 에이전트 운영에 필요한 실행 환경, 도구 게이트웨이, 기억, 관측 기능을 관리형으로 제공하는 AWS 서비스이며, 위의 각 문제에 대응하는 구성 요소를 제공합니다.
현재의 문제 | AgentCore 구성 요소 | 담당할 역할 |
|---|---|---|
격리 실행 환경 도입 중 | Runtime | 에이전트를 세션마다 격리된 환경에서 실행합니다. |
권한이 문서와 IAM에만 정의됨 | Gateway · Policy | 쓰기 도구를 한곳에서 관리하고, 사용자별 도구 사용 범위를 정책으로 정의합니다. Helm 변경은 PR 생성까지만 허용하고 머지는 사람이 수행하는 규칙도 여기에서 관리합니다. |
팀 전체가 하나의 프로필을 공유 | Memory | 세션 기억과 장기 기억을 사용자별로 분리해 관리합니다. |
평가를 사람이 별도로 실행해야 함 | Observability · Evaluations | 에이전트의 호출 순서와 대상을 추적하고, 앞서 작성한 평가를 운영 중에도 지속적으로 실행합니다. |
에이전트의 역할 구성도 변경합니다. 현재는 헤르메스 하나가 모든 요청을 판단하고 처리합니다. 앞으로는 요청을 받아 작업 유형을 판단하는 Orchestrator와, 서버 셀프서비스·장애 조사·고객 도메인 등 영역별 작업을 담당하는 Sub-agent로 역할을 분리할 계획입니다. 이 구조를 Orchestrator–Sub-agent 패턴이라고 합니다. Orchestrator는 작업을 담당할 Sub-agent를 선택하고 결과를 취합해 답변하며, 각 Sub-agent는 담당 영역의 스킬, 도구, 권한만 가집니다. 여러 단계로 구성된 작업의 진행 상태는 서버 외부의 워크플로로 이전하여, 작업이 중단되더라도 이어서 진행할 수 있도록 할 예정입니다.
이 구조로 전환하면 각 Sub-agent가 선택할 스킬 수가 줄어 판단 정확도가 높아지고, 프롬프트 길이가 줄어 응답 속도가 빨라집니다. 허용 작업 범위는 문서가 아닌 정책으로 관리되며, 답변 품질은 측정 결과를 기반으로 개선할 수 있습니다.
현재 테스트 서버 생성, 장애 1차 분석, 사내 문서 검색은 Slack 멘션으로 요청할 수 있습니다. 헤르메스의 개발 목적은 10분 안에 처리되는 작업의 대기 시간을 없애는 것이며, 이 목적은 구조 전환 이후에도 동일합니다.