AI 활용률은 올랐는데, 무엇이 달라졌을까

AI를 쓰는 사람이 늘고, 질문하는 횟수도 많아졌습니다. 하지만 사용량이 늘었다는 사실만으로 일이 나아졌다고 말할 수는 없습니다. 반복 업무가 줄었는지, 결과물의 품질이 좋아졌는지, 아낀 시간을 더 중요한 일에 쓰고 있는지 확인해야 합니다. AI 활용의 성과는 사용 기록보다 달라진 업무에서 드러납니다.

'많이 쓴다'는 이미 성과가 아니다

많이 쓰는 것 자체가 나쁘다는 뜻은 아닙니다. 다만 많이 쓴다와 잘 쓴다는 완전히 다른 이야기인데, 흔히 앞의 것을 성과로 착각합니다.

맥킨지의 연례 AI 현황 조사에서 응답 조직의 약 88%가 최소 한 개 이상의 업무에 AI를 쓰고 있다고 답했습니다. 도입은 사실상 보편화됐습니다. 그런데 같은 조사에서 전사 손익 개선까지 이어졌다고 답한 곳은 소수였습니다. 쓰는 곳은 넘치는데, 성과를 증명하는 곳은 손에 꼽습니다.

MIT NANDA 이니셔티브의 2025년 리포트는 더 뾰족합니다. 기업 생성형 AI 파일럿의 약 95%가 측정 가능한 손익 효과를 내지 못했다고 짚었습니다. 도구를 안 써서가 아닙니다. 쓰는 것과 성과가 나는 것 사이가 벌어져 있어서입니다. 수치는 조사마다 기준과 표본이 다르지만, 도입은 높고 성과는 소수라는 방향은 일관됩니다.

허영 지표와 의미 지표

마케팅에는 허영 지표(vanity metric)라는 말이 있습니다. 팔로워 수나 페이지뷰처럼 숫자는 커져도 실제 성과를 설명하지 못하는 경우를 가리킵니다. AI 활용률도 도입 현황을 파악하는 데는 유용하지만, 그것만으로 성과를 판단하면 착시가 생깁니다. 얼마나 쓰는지에 더해 무엇이 나아졌는지를 함께 살펴야 합니다.

왼쪽 열은 얼마나 썼는가를 세고, 가운데 열은 무엇이 달라졌는가를 잽니다. 왼쪽만 보면 워크숍 몇 번 돌리고 활용률이 올랐다는 보고로 끝납니다. 정작 회사에 남는 것은 없습니다.

'잘 쓴다'는 두 축으로 정의된다

그렇다면 잘 쓴다는 무엇인가. 아이파트너즈는 이를 두 축으로 정의합니다.

운영 효율성의 목표는 하나, 담당자의 시간을 판단과 기획처럼 더 가치 있는 일로 옮기는 것입니다. 누적 자산은 쌓였는지로 판가름 납니다. 작년에 만든 에이전트가 올해 신입의 첫 출근날부터 작동하고 있다면, 그것이 자산화된 상태입니다.

두 축은 따로 움직이지 않습니다. 효율성이 자산으로 이어질 때만 잘 쓴다가 완성됩니다. 그리고 그 사이에는 많은 조직이 놓치는 갈림길이 하나 있습니다. AI로 반복 업무를 자동화해 처리 시간을 줄이는 데까지는 어렵지 않습니다. 문제는 그다음, 아낀 시간을 어디에 쓰는가입니다.

핵심은 에이전트가 자산이 된다는 점입니다. 사람이 쓰고 흘려보내는 도구가 아니라, 한 번 잘 만들어 두면 운용하고 재사용하고 확장하는 자산입니다. 그래서 아이파트너즈는 사용량이 아니라 무엇이 자산으로 남았는가를 셉니다. 마케팅에서 광고를 비용으로 볼지 자산으로 볼지의 차이와 같습니다. 워크숍이 끝나면 각자 요령만 조금 늘 뿐이지만, 에이전트는 만든 사람이 자리를 비워도 계속 일합니다.

국내에도 이렇게 하는 곳이 있습니다. 현대자동차그룹이 공개한 AX 사례는 사내 생성형 AI의 전사 확산이라는 사용 현황도 내세웠지만, 강조점은 성과를 사용량이 아니라 시간·비용·품질로 증명한 데 있었습니다.

AI를 가장 많이 쓰는 기업이 아니라 가장 제대로 쓰는 기업이 되겠다는 이 사례의 메시지가, 이 글이 하려는 이야기와 같습니다. 눈여겨볼 점은 차트의 어느 줄에도 사용자 수나 호출 횟수가 없다는 것입니다.

분기마다 던지는 질문

활용률 리포트를 덮고 나면 실제로 던져야 할 질문은 이것입니다. 우리의 에이전트들은 이번 분기 회사를 얼마나 효율적으로 만들었고, 자산으로 얼마나 쌓였는가. 이 질문에 숫자로 답할 수 있으면 잘 쓰고 있는 것입니다. 답이 활용률이 높다는 것밖에 없다면 아직 착시 속에 있는 것입니다. 실무에서는 이 질문을 다음 항목으로 나눕니다.

• 이 업무의 처리 시간이 도입 전후로 얼마나 줄었는가
• 사람이 하던 반복 작업 중 몇 %가 자동화됐는가
• 지금 운영 중인 에이전트·RAG 자산은 몇 개이고, 분기마다 늘고 있는가
• 한 번 만든 것을 다음 프로젝트가 재사용하고 있는가
• 그렇게 아낀 시간이 더 가치 있는 일로 옮겨 갔는가

질문을 숫자로 답하려면 지표마다 산식과 재는 주기를 먼저 정해 두어야 합니다. 도입한 뒤에 재는 법을 정하면 좋게 나온 숫자만 골라 보고하게 됩니다. 아이파트너즈가 쓰는 기준은 다음과 같습니다.

결국, 계속 지켜봐야 안다

여기까지가 무엇을 재느냐였다면, 포커스는 하나 더 있습니다. 재는 것을 한 번으로 끝내지 않고 계속 지켜보는 것입니다. 많이 쓰는지와 잘 쓰는지는 분기 보고서 한 장으로 판가름 나지 않습니다. 활용률은 이번 달에 올랐다가 다음 달에 꺾이고, 성과는 몇 주 늦게 따라옵니다. 한 시점만 찍으면 늘 착시가 생깁니다.

가장 쓸모 있는 방법은 두 축을 하나의 사분면에 겹쳐 보는 것입니다. 가로축은 사용량, 곧 많이 쓰는가이고 세로축은 성과와 자산, 곧 잘 쓰는가입니다. 팀과 프로젝트가 지금 어느 칸에 있는지가 한눈에 드러납니다.

그래서 활용률 대시보드 옆에는 항상 성과·자산 대시보드를 함께 둡니다. 자동화율, 시간 절감, 누적 에이전트 수, 재사용률을 주기적으로 갱신하면서요. 두 숫자가 함께 움직이는 모양을 보면 다음에 할 일이 정해집니다.

활용률은 얼마나 썼는가를 알려 주고, 모니터링은 잘 쓰고 있는가를 알려 줍니다. 이것은 한 번 재는 프로젝트가 아니라 계속 돌리는 습관이어야 합니다.

목적지는 결국 '자산화'다

지표와 모니터링이 향하는 곳은 하나, 자산화입니다. 많이 쓰느냐도 잘 쓰느냐도 결국 그래서 조직에 무엇이 남았는가로 수렴합니다. 활용률을 목표로 삼으면 활용률만 남지만, 자산화를 목표로 삼으면 활용률은 그 과정에서 따라옵니다. 순서가 중요합니다.

여기서 말하는 자산화란 개인의 머릿속에 있던 요령이 조직이 소유하고 재사용하는 형태로 바뀌는 것입니다. 기준은 간단합니다. 만든 사람이 자리를 비워도 계속 작동하면 자산이고, 그 사람과 함께 사라지면 자산이 아닙니다.

자산화는 한 번에 도달하는 상태가 아니라 올라가는 사다리에 가깝습니다. 지금 조직이 몇 층에 있는지부터 확인하면 다음에 무엇을 해야 할지가 분명해집니다. 활용률이 높아도 Level 0에 머무르면 자산은 0입니다.

한 층 올라가는 데 필요한 것은 거창하지 않습니다. 층마다 넘어야 할 문턱이 하나씩 있습니다.

• Level 0 → 1 — 잘 된 프롬프트를 팀이 볼 수 있는 곳에 적습니다. 무엇을 넣었고 무엇이 나왔는지까지 함께 남깁니다
• Level 1 → 2 — 입력과 출력, 검증 기준을 정해 누구나 같은 결과를 얻도록 에이전트로 묶습니다. 만든 사람이 없어도 돌아가는지가 기준입니다
• Level 2 → 3 — 담당자와 접근 권한, 실행 기록, 정기 점검을 붙입니다. 이 단계부터는 도구가 아니라 운영 대상입니다

자산화가 목적인 이유는 복리 때문입니다. 효율화는 그 분기에 한 번 효과를 내고 끝나지만, 자산은 다음 분기의 출발선 자체를 올립니다.

작년에 만든 에이전트 위에 올해 것을 얹고, 그 위에 내년 것을 얹습니다. 쌓인 자산이 많을수록 같은 노력으로 더 멀리 갑니다. 1년쯤 지나면 활용률이 비슷한 두 회사의 실력이 갈리는 지점이 여기입니다. 그래서 아낀 시간을 더 가치 있는 일로 옮겼는가라는 서두의 질문에 대한 가장 좋은 답 하나는 이것입니다. 그 시간으로 다음 자산을 만들었다.

이번 분기에 시작할 세 가지

처음부터 대시보드를 완벽하게 짤 필요는 없습니다. 다음 세 가지만 갖춰도 활용률 밖의 숫자를 보기 시작할 수 있습니다.

• 반복 업무 목록과 기저선 — 팀마다 반복 업무를 열 개 안팎으로 적고, 지금 건당 얼마나 걸리는지 재 둡니다. 자동화율과 시간 절감의 분모가 여기서 나옵니다
• 성과·자산 대시보드 한 장 — 활용률 옆에 자동화율, 시간 절감, 누적 운영 자산, 재사용률 네 칸을 둡니다. 스프레드시트 한 장으로 시작해도 충분합니다
• 자산 목록 — 만든 에이전트와 프롬프트, RAG를 한곳에 모으고 담당자, 현재 층(Level), 재사용 횟수를 적습니다. 목록에 없는 것은 자산으로 세지 않습니다

닫으며

이번 분기에는 “AI를 얼마나 썼는가”에 한 가지 질문을 더해 보세요. “그래서 무엇이 나아졌고, 다음에도 쓸 수 있는 무엇이 남았는가.”

자주 묻는 질문