지금 컴퓨터 사용 에이전트를 이해하는 것이 왜 중요한가
2024년 말부터 2025년까지 AI 에이전트는 "대화 어시스턴트"에서 "운영 에이전트"로 진화할 예정입니다. 컴퓨터 사용 에이전트(CUA)는 그중 가장 급진적인 존재입니다—이제는 단순히 답변만 하는 것이 아니라 컴퓨터를 직접 조작합니다: 브라우저를 열고, 양식을 작성하고, 버튼을 클릭하고, 스크린샷을 읽고, 페이지를 스크롤합니다.
UI 자동화 테스트를 유지하거나 Playwright 스크립트를 작성해본 적이 있다면, 이것이 얼마나 "불가능한지"를 즉시 깨닫게 될 것입니다: 전통적인 자동화는 고정된 선택기와 DOM 구조가 바뀌면 중단되는 방식에 의존합니다. CUA의 접근법은 순전히 시각적 이해 + 좌표 클릭에 기반하며, 프론트엔드 프레임워크의 세부사항을 완전히 건너뛰고 있습니다.
이번 과대광고는 과대광고가 아닙니다. OpenAI는 2024년 12월에 컴퓨터 사용 참조 구현을 출시했으며, Anthropic Claude 3.5 Sonnet도 유사한 기능을 내장하고 있습니다. Hugging Face에서는 SmolVLM을 기반으로 한 데스크톱 제어 미세 조정 모델이 다수 출시되었습니다. 이제 문제는 '가능할 수 있느냐'가 아니라 '생산 중에 얼마나 신뢰할 수 있는가'입니다.
실제로 어떤 공학적 문제를 해결할까요?
가장 직접적인 시나리오는 레거시 시스템 운영입니다. 많은 내부 기업 시스템은 API 인터페이스가 없고, 웹 또는 데스크톱 GUI만 있습니다. 전통적인 솔루션은 취약한 셀레늄 스크립트를 작성하거나 수동으로 작업할 사람을 고용해야 합니다. CUA는 세 번째 경로를 제공합니다: 자연어로 운영 목표를 설명하며, 에이전트가 스크린샷을 통해 요소를 식별하고 클릭과 입력을 주고받는 작업을 수행합니다.
예를 들어, 전형적인 "자동 환급 절차 입력" 시나리오: 사용자가 "OA 시스템을 열고 로그인한 뒤 환급 모듈에 입력하고, 첨부파일을 업로드하여 제출한다"고 말하면 CUA가 순차적으로 완료됩니다. 실패할 때마다 (예: 부착 버튼을 찾지 못하는 경우) 재시도하거나 오류가 발생했습니다.
또 다른 실용적인 시나리오는 다중 도구 데이터 전송입니다. 예를 들어, PDF에서 표를 추출해 엑셀에 붙여넣고, 이메일을 보내는 식으로요. 전통적인 방법은 Excel API를 호출하기 전에 PDF 형식을 파싱해야 하는 반면, CUA는 사람처럼 복사 및 붙여넣기가 가능합니다.
실패할 가능성이 가장 높은 장소들
1. 화면 해상도 및 레이아웃 변경
모니터를 변경하거나 창 크기를 조정하면 CUA가 보는 스크린샷과 좌표가 학습 데이터 분포와 다르게 나타납니다. 같은 버튼이 1920x1080과 2560x1440으로 다르게 배치되어 있습니다. 이것은 결코 작은 문제가 아닙니다 — 저는 4K 화면에서 좌표 이동이 30픽셀 정도 되어 CUA가 세 개의 버튼을 잘못 클릭하는 것을 본 적이 있습니다.
2. 모달 대화 상자와 예상치 못한 팝업
브라우저가 갑자기 "브라우저 충돌" 대화상자를 뜨거나, 시스템이 "업데이트 가능 가능"이나 권한 요청 팝업을 표시합니다...... 수동 조작 시 즉시 처리되지만, CUA의 경우 팝업이 타겟 버튼을 차단한 뒤 "팝업 클릭→ 다시 새 팝업을 클릭하는 루프→→ 빠질 수 있습니다.
3. 운용 속도는 신뢰성과 충돌합니다
안정적인 스크린샷을 보장하기 위해 CUA는 각 작업 후 이미지가 멈출 때까지 기다렸다가 새 프레임을 캡처해야 합니다. 이로 인해 메뉴 클릭→ 선택 → 간단한 조작이 5-8초 정도 걸릴 수 있습니다. 연속 연쇄가 20단계로 이루어져 있다면, 지연은 분 단위 수준에 도달할 수 있습니다. 사용자는 수동으로 인수하기 전에 보통 30초를 기다립니다.
4. 이동 공간이 제한되어 있습니다
현재 CUA는 기본적으로 클릭, 드래그, 키보드 입력, 마우스 휠로만 구현할 수 있습니다. "현재 로그인된 사용자가 누구인지" 또는 "파일 업로드가 시스템 정책에 의해 차단되었는지 여부"를 식별할 수 없습니다. 권한 부족이나 파일 덮어쓰기 프롬프트와 같은 대화 상자를 만나면, 에이전트는 영어 메시지의 의미를 이해하지 못하고 기계적으로 "취소" 또는 "확인"만 클릭합니다.
지금 실행하고 싶다면, 첫 번째 단계는 무엇일까요?
중요한 업무부터 시작하지 마세요. 주간 보고서 스크린샷을 자동으로 생성하고 전송하는 등 고빈도지만 위험도가 낮은 스크립트를 선택하세요.
구체적인 단계:
- 고정 환경: 가상 머신이나 Docker 컨테이너에서 CUA를 실행하여 각 시작 시 데스크톱 해상도, 브라우저 버전, 창 레이아웃을 일관되게 유지합니다. 물리적 환경 교란을 피하려면 Wayland나 Xvfb 가상 디스플레이를 사용하세요.
- 자연어가 아닌 스크립팅 연산: 먼저 Claude나 GPT로 Python 호출을 작성하고, 각 단계를 함수로 정의하세요. 에이전트가 자유롭게 작동하도록 허용하지 마세요. 예를 들어,
def click_login_button(): screenshot = capture(); button_region = find_by_text(screenshot, '登录'); mouse_click(button_region.center_x, button_region.center_y). - 팝업 논리 보호 추가: 각 작업 전에 전체 화면 스크린샷을 찍고 대화 상자를 확인하라(OCR로 'Error', 'Warning', 'Update'와 같은 고정 키워드를 식별). 만약 나타나면 먼저 종료.
- 타임아웃 및 롤백 설정: 단일 단계 작업이 10초 이내에 완료되지 않으면 중단되고 스냅샷이 기록됩니다. 전체 미션이 실패하면 초기 스크린샷 상태로 되돌아갑니다.
대안과 CUA를 포기할 시기
안정성 요구가 높은 경우(재정, 의료, 생산 환경) CUA는 현재 주력 부대로서 적합하지 않습니다. 대안:
- API가 있는 시스템은 셸 스크립트를 래핑하더라도 API 호출을 우선순위로 둡니다.
- 웹 애플리케이션의 경우, Playwright의 시각적 타겟팅(스크린샷 매칭 기반 위치 추적기)을 사용하는 것이 CUA보다 제어하기 쉽습니다.
- 데스크톱 작업이 필요하다면, 제어 트리 위치 기반이며 윈도우가 변경될 때 고장 날 가능성이 적은 RPA 도구(예: UiPath)를 고려하세요.
CUA 포기 신호: 단일 단계 작동 실패율이 15%를 초과하거나, 사용자가 하루에 3회 이상 수정해야 할 경우. 이 시점에서는 전통적인 자동화나 수동 처리를 되돌려야 합니다.
다음 단계는 체계적인 학습입니다
이 글은 프로젝트의 첫 번째 단계일 뿐입니다. 에이전트 설계, 컨텍스트 관리, MCP 프로토콜 및 프로덕션 레벨 루프를 처음부터 마스터하고 싶다면, 보다 체계적이고 독창적인 유료 논문과 강의를 추천합니다: 복구 가능한 장기 연속 운영 에이전트 구축, 실패한 재시도 및 상태 지속성 처리, 그리고 에이전트 대신 더 단순한 규칙을 사용할 때를 배우게 됩니다.
아직 댓글이 없습니다