올해 상반기, 한 글로벌 이커머스 기업의 쇼핑몰이 6시간 동안 멈춰 섰습니다. 이용자들은 결제 버튼을 눌러도 주문을 마칠 수 없었고, 상품 가격과 계정 정보조차 확인하지 못했는데요. 회사가 밝힌 원인은 잘못된 소프트웨어 코드 배포였습니다. 코드 한 번 잘못 내보낸 대가로 반나절 가까이 장사가 멈춘 거죠.
장사가 멈춘 뒤 회사 안에서는 더 큰 논의가 시작됐습니다. 해외 언론이 입수한 내부 회의 자료에는 최근 몇 달간 이어진 장애의 배경으로 ‘생성형 AI 지원 변경’이 적혀 있었고, 안전장치가 아직 갖춰지지 않은 AI 활용도 원인으로 꼽혔죠. 이후 주니어와 미드레벨 엔지니어가 AI의 도움을 받아 바꾼 코드는 시니어 엔지니어가 서명해야 배포할 수 있게 됐습니다.
물론 회사 측의 설명은 조금 다른데요. 회사는 AI 도구가 관여한 장애는 한 건뿐이고, AI가 직접 작성한 코드도 없었다고 밝혔습니다. AI 에이전트가 오래된 사내 정보를 참고해 잘못된 조언을 내놨고, 엔지니어가 그 조언을 따른 것이 원인이었다는 설명이죠.

그런데 이 설명을 곱씹어 보면 오히려 질문이 하나 더 남습니다. AI가 코딩을 했든, AI의 조언을 사람이 따랐든, 그렇게 고친 코드는 실제 서비스에 그대로 올라갔으니까요. 그 코드가 결제와 가격 표시, 계정 조회까지 건드린다는 사실을 배포 전에 확인했다면 결과는 달랐을지도 모릅니다. 결국 빠져 있던 건 코드 수정이 어디까지 영향을 주는지 확인하는 단계, 바로 테스트였습니다.
테스트의 부담은 앞으로 더 커질 수밖에 없습니다. 한 코드 리뷰 플랫폼이 지난해 12월 오픈소스 코드 변경 470건을 분석해 발표한 결과가 있습니다. AI가 함께 작성한 코드에서는 사람만 작성한 코드보다 문제가 평균 1.7배 많이 발견됐죠. 심각도가 높은 이슈도 함께 늘었고요. AI 덕분에 코드를 만드는 속도는 눈에 띄게 빨라졌지만, 검증해야 할 코드도 그만큼 빠르게 쌓이고 있습니다.

쌓여 가는 코드를 검증하기 위해 많은 조직이 이미 자동화 도구와 CI 파이프라인을 갖추고 있습니다. 하지만 도구가 대신해 주는 건 정해진 테스트를 돌리는 일까지인데요. 새 기능이 추가되거나 코드가 바뀔 때 무엇을, 어디까지 확인할지 정하는 일은 여전히 사람의 몫입니다. 요구사항 문서에서 검증 항목을 뽑고 예외 상황을 정리하는 일부터 손이 많이 갑니다. 코드 한 줄을 고쳤을 때 다른 기능이 어디까지 영향을 받는지 판단하려면 제품 구조와 과거 이력까지 꿰고 있어야 하죠. 그래서 똑같이 코드를 고쳐도 담당자의 경험에 따라 테스트 범위가 달라집니다.
경험이 쌓여도 그 경험이 조직에 남지 않는다는 것도 문제인데요. 결함 이력은 이슈 관리 도구 어딘가에 쌓여 있지만, 다음 릴리스의 테스트를 설계할 때 다시 꺼내 쓰이는 경우는 드뭅니다. 앞선 사례에서 AI 에이전트가 오래된 정보를 근거로 조언했던 것처럼, 최신 이력을 모르는 판단은 언제든 엇나갈 수 있죠. 그렇다고 Public AI에 테스트 케이스를 맡겨 보면 결과는 일반적인 체크리스트에 머무는데요. 우리 제품이 어떻게 만들어졌는지 모르니 당연한 일입니다. 더 정확한 답을 얻으려면 소스 코드와 요구사항 문서를 외부 서비스에 올려야 하는 부담도 따라옵니다.

이런 부담 속에서 시니어 엔지니어의 시간은 한정돼 있고, AI가 만드는 코드의 양은 계속 늘어나고 있습니다. 필요한 건 우리 제품의 요구사항과 결함 이력을 알고 있는 검증 체계를 조직 안에 들이는 일입니다. 무엇을 테스트할지 설계하는 단계부터 AI가 함께 움직여야, 빨라진 코드 속도를 테스트가 따라잡을 수 있으니까요.
그 설계 단계를 맡는 것이 파수 AI의 QA AI 에이전트, QA ACE입니다. QA ACE는 기업용 Private LLM인 Ellm을 기반으로 작동합니다. 요구사항 명세서와 기존 테스트 케이스, 결함 이력, 릴리스 노트까지 조직의 QA 자산을 학습해 제품을 이해한 상태에서 테스트를 설계하죠. 요구사항이나 변경 내역을 입력하면 검증할 항목을 뽑아 테스트 케이스로 구성해 주는데요. 코드가 바뀌었을 때 영향을 받는 기능을 추적해 다시 검증할 범위를 제시하고, 결함이 자주 발생했던 영역은 우선순위를 높여 반영합니다. 모든 과정이 Private 환경에서 돌아가기 때문에 소스 코드와 내부 명세 등 민감 정보는 외부로 나가지 않죠.

외부로 나갈 걱정이 없으니, 그동안 반출할 수 없었던 소스 코드와 결함 데이터베이스 전체를 학습 대상으로 삼을 수 있습니다. 담당자는 케이스를 처음부터 쓰는 대신, AI가 도출한 항목을 검토하고 보완하는 데 집중하게 되죠. 담당자마다 들쭉날쭉하던 테스트 설계 기준도 조직 차원에서 일관되게 맞춰집니다. 테스트 결과와 결함 이력은 다음 검증의 학습 데이터로 다시 쌓여 조직의 자산이 됩니다. QA ACE는 파수 AI의 다른 AI 에이전트들과 함께 통합 AI 허브인 Front ACE를 통해 제공돼, 관리자가 정책과 사용 이력을 한곳에서 관리할 수 있습니다.
AI 코딩 도구를 내려놓는 것은 현실적인 선택지가 될 수 없을 테니, 이제 테스트도 같은 속도로 움직여야 할 때입니다. 경쟁력을 가르는 기준은 AI로 얼마나 빨리 코드를 만드는가가 아니라, 그 코드를 얼마나 정확하게 검증하는가입니다. 코드는 AI가 쓰고 검증 설계도 AI와 함께하는 구조를 갖췄을 때, 비로소 속도와 품질을 함께 챙길 수 있는 셈입니다.
AI 코딩 시대에 맞는 QA 환경 구축을 고민하고 계시다면, 파수 AI에 편하게 문의해 주세요.