# 10월 5일
AI 에이전트가 이름만 그럴듯하지 사실 단순히 모델+프롬프트+데이터 소스+도구의 조합에 불과하다면 답은 명확하다.
모델은 어차피 다 좋아질거기 때문에 최대한 많은 기업들이 쓰는 데이터 소스를 부지런히 붙여 가고(어차피 다 API를 쓸거라 이것도 성능 차별화는 불가할 것이다. 모두가 동일한 수준의 데이터를 동일하게 붙이게 된다), 최대한 많은 기업들에게 도움되는 도구를 미련하게 추가해 가는 것(이것도 궁극적 해자가 되지는 못한다. 결국 좋은건 모두가 따라할거기 때문에)이 에이전트 플랫폼이 가야하는 방향이다.
약간의 버티컬 도구를 제휴로 추가해가는 것 정도가 그나마 해볼만한 차별화이지만 절대적인 변별력이 있지는 않을 것이다. 기업/공공 부문이 ‘모두’ AI를 쓰고, 그러기 위해 모든 프로바이더가 모두 뻔한 전략을 취한다. (사내 데이터 연결해 다양한 유용한 툴 콜링 연결된 소위 ‘에이전트’ 제공하고)
이것은 너무도 뻔하고 너무도 시시한 사업 전략(이랄 것도 없는 전략)이기 때문에 그냥 이대로 미련하고 겸손하게 쭉 실행해가면 된다. 그냥 집중하는 시장의 고객들 목소리 듣고 필요한 툴 콜링 및 데이터 소스 중점적으로 연결하면 그게 곧 해자가 된다. 모델도 동일하고 성능도 동일한데 이 서비스가 (한국 기업/공공 고객일 경우) 보다 한국에 특화되어 있다면 굳이 다른걸 쓸 필요가 없고, 마찬가지로 (일본 기업/공공 고객의 경우) 연결된 도구와 데이터가 보다 일본에 특화되어 있으면 다른걸 쓸 이유가 없다.
에이전트 빌더 이런 것들은 다 그냥 지나가는 사족이고 누구나 만들 수 있는 컴포넌트일 뿐이다. 크게 보면 에이전트는 별게 아니고(그냥 모델+프롬프트+데이터+툴 믹스 정도), 저 중 내가 하는데 남이 못할건 하나도 없고 거꾸로도 마찬가지다. 그러니 그냥 고객을 빨리 많이 모아 놓는 것이 아무리 보아도 전부다.
# 10월 12일
보통의 직장인들은 OpenAI Agent Builder를 포함해 에이전트 제작을 위한 워크플로우 제작을 절대 사용하지 않을 것이다. 아니, 못할 것이다. 그건 사실 사내 상위 10% 이른바 ‘프론티어’ 유저들에게도 매우 어렵고 생소한 도구이고 개념이다.
따라서 에이전트를 저렇게 설계하면 필패한다. n8n, make 같은게 신기하긴 해도 실제 그걸로 생산성 향상을 이루었다는 구체적 사례는 존재하지 않는다. 직장인의 업무가 항상 그렇게 루틴하지 않거니와 설사 루틴한 업무가 있다 한들 평범한 직장인이 n8n 류의 워크플로우를 설계하는건 너무 어렵기 때문이다. (이건 마치 배운다고 아무도 쓰지 못하는 프롬프트 엔지니어링과 유사하다)
오히려 우리는 더 쉽고 실용적으로 가야 한다. Multi LLM도 나는 (일반 사용자가 모델을 구별하는게 현실적으로 어렵기에) 굳이 필요하다 생각하지 않지만 그건 그냥 시장의 마케팅적 수요라 보고 제공한다 하더라도, 일반 사용자는 (온갖 청킹 전략, Agentic RAG, 유료 파서 등의 도입을 통한) RAG 성능 향상 또한 사실 체감하기 어렵다.
따라서 (어차피 노력해도 불가능한) 업무 전체를 Agentic하게 처리하는 것이 아니라, 업무의 요소 요소를 편리하게 만들어주고 업무 전체는 원래 하던 것처럼 사람이 직접 하도록 하는 것이 보다 보편적이고 실용적인 제품 전략이 될 것이다.
따라서 Agent는 Model+Prompt+Data Source+Tool calling 정도의 조합으로 한계를 명확히 하고, 그냥 좀 더 Localize 된 도구의 개발, 사내 데이터 연동 정도로도 내년 한해 충분히 훌륭한 제품이 될 수 있을 것이다.
오히려 대화라는 UX가 불편할 수 있으므로 Non-agentic tool을 강화하는게 좋겠다는 생각이 나는 계속 든다. 유행을 따라갈 필요가 없다.
그리고 ChatGPT류의 서비스들이 (우리를 포함해) 앱스토어가 되면 어떤 앱이 있느냐가 중요할 것이다. 요컨대 직접 Canva를 만들려고 하면 다리가 찢어진다. 플랫폼이 킬러 앱을 어디까지 직접 만들 수 있나? 무조건 좋은 앱(=에이전트)들과 적극 협력하는 것만이 답이다.
여전히 남는 두가지 고민은 이거다. 해외 진출과 B2C 진출. 에이전트가 사용할 수 있는 도구가 Localize 될수록 고객은 편리함을 느낀다. 하지만 그럴수록 해외 진출은 어려워진다. 어디까지 Localize 할거냐, 예컨대 더존이나 이카운트 ERP를 연동할 시간 vs. 더 큰 일본 시장에 진출할 시간 둘 중 선택해야 하는 것이다. 어디가 더 기업가치를 높일 수 있는 전장인가, 그곳의 경쟁 상황은? 여러가지를 따져야 하는 어려운 의사결정이다.
B2C는 B2B보다 훨씬 많은 토큰이 소비된다. (대부분 컴패니언류 앱들에서) 따라서 매출도 더 클 수 밖에 없다. 이에 역시 무시할 수 없는 중대 고민 지점이다. 특히 많은 토큰 소비량이 필요한 비즈라우터 제품의 성공을 위해서는 모든 것이 다 연결되어 있다. 이 두가지 남은 고민을 끝내면 이제 내년 전략 수립을 완료하고 그리로 달리게 될 것이다.
# 10월 14일
기업들은 딱 자기한테 필요한 기능을 요구한다. 하지만 그 기능은 그 회사 말고는 거의 쓸 곳이 없다. 같은 업종에서는 쓰일 수 있지만 그래도 Customizing이 필요하다. 그러므로 Agentic AI는 곧 SI가 될 것이다.
Palantir 떡상 이후 요즘 국내에서 부쩍 온톨로지 전문회사로 둔갑한 회사들이 많은데, 이 역시 온톨로지라 쓰고 그냥 SI로 읽는게 바람직할 것이다. 어디로 가야하나? 국내 B2B 고객 니즈에 맞추려면 SI가 되고, 그러면 필연적으로 비용 상승 및 재활용 불가 상황에 맞딱뜨리게 된다.
B2C는? 돈 좀 된다고 하면 모두 다 따라하는데 역시 쉽지가 않다. 시장은 작은데 뛰어드는 사람은 너무 많다. Gen AI 제품은 특히 따라 만들기가 쉽다. 그럼 해외로 가야하나? 공부와 탐색이 적극적으로 필요한 시점이다.
대부분의 SI성 Agentic AI는 업그레이드가 불가할 것이다. 고로 구축과 동시에 구형 모델이 되고 용도 폐기될 것이다. 사내 현업에서 실제로 잘 사용되지 않을 것이다. Agentic AI에 대한 기업들의 현타는 너무 자명한 일일진데, 그 이후는 무엇일까? 우리의 KPI는 어디에 있을까? 정말 중요한 질문이다. 곧 답을 찾을 것 같다.
# 10월 21일
요새 WSJ를 구독하는데 좋은 기사가 많다. 이 기사를 보면 정말 미국에서 지금 AI 쩐의 전쟁이 어떻게 이루어지고 있는지-얼마나 미쳐 돌아가는지- 간접적으로 느낄 수 있다.
# 10월 23일
안타깝게도 대부분의 엔드유저들은 성능 차이를 거의 이해하지 못한다. 예컨대 오픈소스로 80% 나오는데 유료 제품이 95%가 나온다고 치자. 그렇지만 사람들은 백엔드에서 우리가 유료 제품으로 교체해서 업그레이드 되었다고 홍보한다 한들 큰 차이를 인지하지 못한다. 안살 사람이 그걸로 인해 사지도 않고.
그러다보니 그런 시간과 공수를 들일 바에야 아예 없던 기능을 새로 추가하는게 유저 입장에서는 훨씬 이 서비스의 활용도와 매력도가 증가하게 된다. 따라서 어차피 정해진 한정된 자원을 가지고 서비스를 만들어야 하는 상황에서 0.8이 1이 되는 부분보다 0가 0.8이 되는 상황의 기능에 더 주안점을 둘 수 밖에 없다.
시장이 성숙해 모든 플레이어가 비슷한 오퍼링을 할 때에는 어쩔 수 없이 ‘우리가 좀 더 나아요’ 주장하기 위해 0.8 -> 1 하는 역량에 집중해야 하겠으나, 앞으로 적어도 1-2년은 그럴 때가 아닐 것이다.
앞으로 1-2년은 기업들이 AI에 지출하는 비용을 지독하게 통제한다거나, 보안을 유별나게 챙긴다거나, AI에게 기대하는 기능이 아주 완벽하게 작동하기를 바라지는 않을 것이다. ‘일단 돌아는 가요, 어 이런 것도 되네?, 오 신기해요!’ 딱 이 정도 지점에서 가성비에 맞는 Mass adoption이 일어날 것이고, 우리도 그 정도 길목을 선점하는 것이 우리가 가야할 길이 될 것이라 본다.
‘맞춤형 AI’가 되면 당연히 고객 만족도는 수직 상승하겠으나, 그만큼 초기+운영 비용도 함께 상승할 거라서 수요자로서나 공급자로서나 Mass adoption은 어려울 것이다. 따라서 적절히 취할 것은 취하되 일부는 또 과감히 포기하고 가는 것도 전략이 될 수 있다고 본다.
# 진짜 사용할 기능은 무엇인가?
고객의 진짜 수요와 고객사 담당자 개인의 관심사를 구분해 내야만 한다. 예컨대 누군가 에이전트 빌더나 Workflow 요청을 했다고 치자. 그러나 그런 것은 절대 엔드 유저는 소화해 낼 수 없다.
열심히 개발해 그걸 낸다 하더라도, 실제 고객사 내에서 그걸 잘 활용해 에이전트를 만들 수 있는 유저는 없다고 확신할 수 있다. AI를 도입하는 팀 담당자들조차 겨우겨우 노력해 한두개를 만들 수 있을 뿐이다.
물론 그렇게 만든다 한들 직원들은 거의 아무도 쓰지 않는다. 고생해서 만든 ‘사내 에이전트’는 거의 모든 회사의 데이터에서 전사 AI 대화량의 도합 1% 미만만 사용되는데, 이는 우리가 곧 논문으로도 낼 예정이다.
그러니 요구되는 기능과 시장의 유행을 전부 다 제품에 반영해서는 안된다. 우리 제품의 방향이 어느정도 서 있고, 묵묵히 그 길을 가야만 우리가 온갖 유행을 다 갖다 붙인 짬뽕이 아니라 나름의 타겟 유저가 있고, 그에 맞는 설계 철학이 있는 일관성을 갖는 제품이 될 수 있다. 시장에서 그런 제품만이 일정한 고정 고객을 확보하고 살아남을 수 있을 것이라 나는 생각한다.
# 가성비
매일 자정이 되면 우리는 여러 기업들이 AI를 어떻게 활용하는지 데이터가 쭉 성적표처럼 나오는데, 나는 거기서 기업들이 얼마나 가성비를 중시하는지 좀 놀랄 정도다. 물론 그런 회사들이라서 우리 제품을 쓰는 것일 수도 있으나, 이제 고객사가 많다보니 그냥 대체로 기업들이 그런 행태를 보인다고 좀 일반화해도 무방할 것이다.
예컨대 성능이 좋고 다소 비싼 기능 또는 모델이 있다고 치자. 그리고 거기에 성능이 다소 안좋지만 보다 저렴한 대안이 함께 제공된다고 하면 정말 십중 팔구의 기업들이 금방 후자로 갈아타곤 한다. 거기엔 어떠한 저항도 고민도 별로 보이지 않는다.
나는 기업들이 당연히 SOTA를 추구할거라 생각했는데 생각보다 그렇지가 않다. 물론 이 상황에서 대단히 아이러니한건 GPT-5가 나오자마자 ‘언제 나와요?’를 거의 모두가 동시에 묻는다는 사실이다. 하지만 막상 오픈하고나면 기업 담당자들이 훨씬 더 중시하는건 최신 모델보다는 활용 비용이다. 그런 데이터를 보고 있노라면 전략을 더욱 깊이 고민할 수 밖에 없다.
담당자 또는 임원들 또는 직원들의 단순 선호와 실제 사용 데이터간의 괴리가 매우 크다. 선호를 아주 충족시키지 못하면 뒤쳐지는 제품 같이 보여서 안되겠지만, 그래도 실제 사용 데이터를 높이는 방향으로 (예컨대 비중을 한 3:7 정도로) 잡아야 하지 않을까 싶다. 난이도가 높다.
# Routing
엔드유저가 쓰는 프론트엔드 단에서 미래 AI 이용의 표준적인 UX에 대한 단상을 SNS에 따로 올렸는데 여기에도 기록해두자면 아래와 같다.
OpenRouter에 아직 OpenAI가 정식 발표하지도 않은 GPT-5 Image 모델이 선출시되었다. GPT-5의 Reasoning 능력으로 사용자 프롬프트를 자동으로 고도화한 후 Image-1 모델을 결합해 이미지를 생성해낸다. 그래서 프롬프트를 대충 넣어도 양질의 그림이 그려진다.
앞으로 이렇게 모달리티간 연결-결합이 한 모델 내에서 자동으로 이루어지면 이미지 뿐 아니라 비디오, 오디오 등 모든 면에서 점점 쉬운 UX로 양질의 결과물이 뽑히게 될 것으로 보인다. Agentic tool calling 역시 사용자가 대충 써도 알아서 추론해 적합한 Tool을 찾아가는 것을 어렵지 않게 예상해 볼 수 있겠다.
이미 모델 개발사가 너무 많고 한 개발사 안에도 모델 종류가 다양하기 때문에, 결국 엔드유저의 프론트엔드에서는 ChatGPT처럼 적합한 모델이 자동으로 선택되는 형태가 미래 AI 모델 이용의 표준적 UX가 되지 않을까 싶다.
그럴수록 우리 BizRouter 역시 사용자 요청에 가장 적합한 모델을 찾아 알아서 분기해주는 형태로 발전해 갈 수 있기에 미래 AI 인프라에 꼭 필요한 제품이 될 수 있다고 생각한다.
# 10월 24일
‘에이전틱 AI’는 아무리 생각해도 과대평가 됐다. 현재까지 나온 온갖 종류의 에이전트들, 그리고 앞으로 나올 (현재 여기저기서 만들어지고 있는) 에이전트들은 전에 안되던게 되니 그냥 조금 신기할 뿐, 실제 기업 현장에서 사용되지 않는다. 쓸 수 없다고 보는게 더 맞는 이야기일 것이다.
그 문제를 극복하려면 기업에 들어가 각 팀을 컨설팅하고 매일 하는 루틴한 업무를 찾아 이걸 자동화 해주어야 하는데 그렇게 되면 AI Agent라기보다는 그냥 SI가 된다. 그런데 SI가 되면 잦은 유지보수가 불가능해져 처음 구축시보다 점점 성능 유지/향상이 어려워진다.
모델도 계속 업그레이드 해주어야 하고, 기능 요구사항도 계속 추가/개선해 주어야 하고, 모델이 바뀐 만큼 프롬프트도 조금씩 바꿔줘야 하고, 다른 사내 데이터 연동도 더 하고 싶어지고 하고픈 일은 점점 많아지는데 개발을 대행한 회사가 맨날 저 일만 붙들고 있을 수 없기 때문에 고객사는 점차 Agentic AI를 외치다 막상 목적 달성은 못하고 지치게 된다.
기업들의 AX와 Agentic AI 도입을 돕는 소위 ‘AI 좀 다루는’ 개발사들은 고객들의 그런 지속적인 유지보수에 별로 관심이 없을 것이다. (아무래도 신규 구축 프로젝트 일감이 유지보수 일감보다 당연히 더 많이 벌 수 있을테니 만든걸 계속 가꾸어 나가고 싶은 고객사의 인센티브와 개발사의 인센티브는 Align이 안된다.)
따라서 한번 만들어 놓고 개발사가 빠진 소위 ‘Agentic AI’는 맞춤형으로 구축돼 그럭저럭 돌아는 가겠으나 처음 구축 당시의 만족도가 한 80% 정도라면(많이 쳐서 90%) 시간이 지나며 그 편의성과 실제 회사에서의 활용 빈도가 계속 줄어들 것이다.
특히 다른 모든 IT를 통틀어 Gen AI의 개발/발전 속도가 가장 빠르기 때문에, 사내에 구축한 AI Agent들은 시간이 6개월만 지나도 구식이 될 것이다. 하지만 계륵인 것은, 정확히 특정 부서를 인터뷰해 과제를 도출하여 에이전트를 맞춤형으로 개발해야만 그나마 회사에서 쓸만해진다는 사실이다. 그러기에 Agentic AI는 너무나 역설적이다. 맞춤형으로 개발해 놓고 6개월만 지나면 금방 구형이 되지만, 그렇다고 맞춤형으로 안하기도 뭣한(그렇게라도 안하면 실상 사내 AI 도입은 단순 업무용 대화나 RAG 좀 하는거 외에 딱히 쓸 데가 없을 것이기 때문에) 그런 정말 계륵같은 존재가 될 것이다.
하지만 꽤 자명해 보이는건 이같은 맞춤형 AI 개발이 거의 대부분의 경우에서 ROI를 뽑을 수 없을거라는 부분이다. 일단 인터뷰를 해서 뭔가를 만든다 한들 처음 팀이 원했던 것과 상당히 다른 결과물이 딜리버 될거라는 점, 그래서 현업에서 사실 거의 못쓰는데 좀 더 개선을 해보려고 하면 이미 개발사는 떠났다는 점(다시 돌아와 정열을 불태우게 하기도 비용 문제로 상당히 어렵다는 점), 결국 사내에서 직접 해야한다고 느끼더라도 사내에 그 에이전트를 직접 건드리고 수정할 마땅한 인력도 없다는 점 이런 이유들로 인해 대부분의 경우에서 ‘우리 회사 맞춤형 Agentic AI’ 개발 프로젝트는 실패할 것이다. 물론 실패했다고 공식적으로 아무도 인정하지 않겠지만.
그런 점에서 나는 지금 이 시점에 가장 안전한 전사 가성비 AI 확산 전략은 그냥 아무 것도 하지 않고 웍스AI 정도 도입하는거라고 생각한다. 웍스AI는 기업당 가입비 30만원 외에 일단 다운코스트가 전혀 없다. 기업 입장에서 ROI는 결국 투자비 대비 얼마를 얻는가인데 투자한 비용이 제로에 수렴하기에 높은 배율의 양수 ROI를 내기가 매우 쉽게 시작하는 셈이다.
물론 웍스AI 같은 ‘기성품 AI’ 도입은 우리 회사 맞춤 AI가 아니기 때문에 당연히 뭔가 현업 부서가 딱 원하는게 없고, 맞춤형으로 만든 것이나 버티컬 AI 제품들보다 떨어지는 부분이 당연히 있다. 우리 웍스AI가 제공하는 회의록 기능을 가지고 Otter나 티로에 비교하는 엔드유저(웍스를 도입한 기업에 소속된 분들)들이 있다. 우리는 밥 먹고 그것만 만드는 버티컬 회사는 당연히 이길 수 없다고 생각한다. 오히려 그렇게 전문화된 제품들과의 제휴를 통해 웍스AI에 채널링하는게 모두를 위해 좋다고 생각한다. 이미 그렇게 준비중인 파트너들도 있고.
어쨌든 기업들 입장에서는 웍스AI 기성품을 도입하더라도 자사가 Agentic AI를 도입했다고 충분히 말할 수 있다. 우리 회사 업무에 딱 특화된 제품을 만든 것은 아니지만 고작 30만원의 작은 비용으로 시장의 거의 모든 AI 모델, 시장의 거의 모든 MCP 에이전트, 시장의 거의 모든 버티컬 에이전트(우리가 제휴를 통해 소싱할)를 쓸 수 있는데 굳이 수억-수십억씩 주고 구축하자마자 구형이 될 도구를 잔뜩 개발할 필요가 있을까? (심지어 이제 이 프로젝트를 하자고 주장한 부서는 그 수억-수십억 투자에 대한 ROI 평가라는 부메랑을 분명히 받게 되어 있다.)
따라서 Agentic AI가 유행이라고 해서 모든 회사가 지금 당장 비싼 돈을 내고 우리 회사 맞춤형 AI 에이전트를 만들 필요는 없다. 길지도 않게 한 일년만 지나면 기업용 사내 Agent 구축의 표준 매뉴얼, 성공/실패 사례, Best Practice가 전세계에서 업종별로 쏟아져 나올 것이다. 무료로 가져다 쓸 수 있는 오픈소스 프레임워크부터 SaaS 기반의 저렴한 기업용 버티컬 에이전트들도 엄청나게 많아질 것이다. 그러므로 괜히 지금 먼저 해서 돈만 잃고 실패 사례 중 하나가 될 필요는 없다.
일례로 OpenAI는 2023년 12월 야심차게 내놓은 Assistants API를 2025년 3월 일방적으로 일몰 예고하고, Response API를 내놓은 후 데이터 마이그레이션도 제공하지 않고 있다. 그동안 OpenAI를 믿고 개발해 온 수많은 전세계 개발자들의 원성이 자자하지만 OpenAI는 대응하지 않고 있다.
올해 들어서만 OpenAI, Google, Anthropic, Azure, AWS가 서로 호환되지 않는 각자 자기만의 Agents SDK를 별도로 출시했다. 이 중 어떤 SDK가 가장 범용적이 될지 아직 모르고, 언제든 앞선 사례처럼 용도 폐기되거나 변경될 수 있다.
그러므로 지금 목숨건 쩐의 전쟁을 벌이는 글로벌 AI 빅테크들조차 모두 이제 막 에이전트를 시작하는 극초기 상황인데 이런 때 국내 기업들이 뭔가 ‘맞춤형 AI 에이전트’를 개발한다는 것은 사실 나는 빨라도 지나치게 빠른 시점이라 생각한다. (그래서 우리나라가 ChatGPT 유료 결제 2등 국가이겠지. 이렇게 새로운건 유행처럼 다 먼저 해야하는 사람들이니.)
마지막에 이 글이 웍스AI 홍보를 위해 쓴 것처럼 되었는데, 나는 진심으로 이렇게 생각한다. (우리가 얼마나 가성비가 높은지 사람들이 잘 모를듯 하여 지난주 SNS에 데이터를 그대로 공개했다.) 그래서 웍스AI가 이런 Value Proposition과 모습을 갖는 제품이 된 것이고, 요즘 많은 고객들에게 채택되고 있는 이유일 것이다.
아직 어디로 튈지 모르는 Gen AI나 AI 에이전트를 그냥 가장 가성비 좋게 우선 전사에 깔아 일단 직원들이 어떻게 쓰는지 지켜보면서 보편적 생산성 향상을 추구해 가는 것이 뭔가 폼나지는 않아도 나중에 보면 각자 자기가 속한 업계 안에서 가장 똑똑한 전략이었다고 느끼게 되리라 확신한다.
내년부터 (어느 누구도 공식적으로 인정하지는 않겠지만) 맞춤형 AI 에이전트 개발 실패 사례가 쏟아질 것이기 때문이다.
# 10월 26일
한 교수 친구가 AI 이후 일과 사람의 미래에 대한 책을 쓰는데 ‘AI 에이전트가 온다’는 챕터에 대한 인용구를 요청해왔다. 해당 챕터를 보니 맥락은 요즘 모두가 외치듯 ‘AI 에이전트가 세상을 바꾼다’는 것인데 도저히 그렇게 긍정적으로 쓸 수 없어 최대한 균형감 있게 써보았다. 아마 책이 나올 때까지는 한참 걸릴 것이고, 책에는 크게 편집되어 나올 것으로 보이니 여기에 현재 내 생각을 기록해둔다.
대부분 위와 겹치는 이야기인데 다만 다른게 하나 있다면 비싼 문제는 AI로 풀어볼 가치가 있다는 부분이다. 지난주에 한 AI 회사를 만났는데 비싼 AI 솔루션으로 보험 회사의 수기로 된 문서를 자동화하는 프로세스를 풀고 있었다.
기존에 사람이 할 수 밖에 없는 일이었는데 그걸 자동화하여 보험회사 업무 프로세스 상당 부분의 처리 속도와 정확도를 개선할 수 있으면 투자금이 비싸도 할만한 가치가 있는 일로 보였다. 그래서 AI 에이전트 개발은 가성비가 높으면(예컨대 20억 들여 구축해 연간 100억 절감) 할만하겠구나 하는 생각을 하게 됐다.
다만 그런 문제를 잘 찾아서 현존하는 기술로 가성비 좋게 풀 수 있는지, 그 솔루션을 계속 쓸 수 있는지 이런 것들을 잘 따져서 프로젝트 시작 여부를 판단해야 할 것이다.
[전문]
AI 모델의 추론 능력이 급격히 향상되며 이제 사람과 유사한 사고 과정을 AI가 대신할 수 있게 되었다. 또한 기존에는 사전 학습된 내용을 바탕으로 대답만 할줄 알던 모델이 이제 사내 데이터를 참고하고 사내 DB나 직원들의 브라우저, 컴퓨터를 직접 사용할 수 있게 되며 회사 업무의 많은 부분을 자동화할 수 있는 가능성을 보이고 있다.
다만 AI가 기존에 사람이 모든 과정을 일일이 지시해야 했던 RPA를 넘어 보다 다양한 업무 상황에 범용적으로 기여할 수 있다는 점은 부인할 수 없으나 다음과 같은 이유들에서 지나친 낙관론은 주의해야 한다고 생각한다.
- 우리 회사 데이터와 업무 프로세스를 반영한 ‘맞춤형 AI 에이전트’라야 실제 현업에 도움이 될거라는 점
- 하지만 이같은 우리 회사 ‘맞춤형 AI 에이전트’는 구축 비용이 비싸다는 점
- AI는 발전이 너무 빨라 이같은 ‘맞춤형 에이전트’는 출시와 동시에 바로 구형이 된다는 점
- 해당 에이전트를 자체 구축한게 아니라면 외주 개발사는 스스로 계속 개선할 인센티브가 떨어진다는 점
- 결국 지속적인 개선을 위해서는 자체 구축이든 외주든 비용이 생각보다 계속 많이 들어갈거라는 점
위와 같은 이유들로 인해 나는 기업들의 AI 에이전트 도입이 유행 -> 광풍 -> 실망 -> 암흑기 -> 재기의 과정을 거치리라 생각한다. 지금은 유행과 광풍 사이 정도에 와있다고 본다. 하지만 캐즘이 올거라는 이야기가 AI 에이전트가 발전하지 않으리라는 의미는 아니다. 모든 기술이 그렇듯 지금은 모두가 새로 온 이것을 ‘어떻게 쓰는지’ 배우는 중이다.
나는 요즘 많은 기업들의 AI 에이전트 개발과 도입을 도우며 직원들은 누구나 각자 저마다의 수많은 반복 업무를 대신해주는 AI를 바란다고 느낀다. 하지만 의사결정권자들이 정말 집중해야 하는 것은 그 모든 직원들의 요구 속에서 가장 비싼 업무를 골라야 한다는 점이다. 어차피 사내 자원은 한정되어 있고, 만들자마자 구식이 될거라면 기존에 가장 많은 직원들이 공통적으로 하고 있던 업무를 자동화해야 한다는 말이다.
자동화해도 별로 비용 절감 효과가 없는 일을 적당한 예산을 들여 할거라면 그런 일은 굳이 지금 할 필요가 없다. 어차피 시간이 6개월, 1년만 지나도 그런 만들기 쉬운 에이전트는 지금 개발 비용의 1/100 정도로 빌려 쓸 수 있는 것들이 시장에 쏟아져 나올 것이다.
고로 가장 비싼 문제를 풀 것이 아니라면 나는 굳이 유행에 휩쓸리지 말고 조금 숨 돌리고 시장을 관망해도 좋다고 생각한다. 물론 지금 수준의 AI 기술로는 아직 우리 회사의 가장 비싼 문제를 풀 수 없을 수도 있다. 어느 경우이든 나는 앞으로 무수할 AI 에이전트 개발 실패 사례 중 하나가 되지 않으려면 조금 지켜봐도 된다고 생각한다. 물론 실패에서 배우는 것도 분명 도움이 되는만큼 작은 잽을 많이 치며 배움에서 쌓아 올려갈지, 아니면 남들이 돈 쓰며 실패한 사례에서 배우고 한 방에 펀치를 날릴지는 경영자 각자의 판단에 달렸다.
우리가 지난 IT 역사에서 보았듯 ‘우린 지금부터 메타버스 회사요’, ‘Mobile First 회사요’ 하던 회사들은 사실 그 목적을 이루지 못했다. 요즘 정말 많은 회사들이 ‘AI First’를 외치는 것을 보면 데자부를 느낀다. ‘우리가 앞으로 AI를 업무에 잘 써보겠어요’ 하는 경영자의 의지는 알겠는데 진짜 AX는 AX를 돕겠다는 회사들이 으레 하는 영업 멘트처럼 ‘마법과 같이’, ‘혁신적으로’ 오지 않는다. 내가 볼 때 가장 성공 확률이 높은 기업 AX는 특정 업무용 에이전트 개발보다 전 직원에 대한 보편적인 최신 AI 제공 뿐이다. 그 과정에서 합리적인 비용 고려는 필수다. 경영자의 생각보다 직원들의 AI 수용 속도는 훨씬 느리고 점진적일 수 있다.
# 10월 27일
이제 이 긴 글을 끝낼 때가 왔다. 마침 오늘 WSJ 기사를 보니 이런게 있다. 미국처럼 부유한 나라 뿐 아니라 모든 개도국들이 소버린 AI 개념에 매료돼 가열찬 AI 투자를 하고 있다는 내용이다. 여기에는 엔비디아의 젠슨 황이 인도 통신사 CEO에게 저녁 식사 자리에서 했다는 대화가 나오는데 그 CEO는 그걸 이렇게 기억하고 있다.
“If you believe in something, go all in.”
(무언가를 믿는다면, 거기에 전력투구하라)
이 기사도 보면 미국 기업들도 신규 채용 규모를 크게 줄이고 있다고 한다. 결국 전세계 기업들의 AI 채택이라는 거대한 흐름은 앞으로 10여년간의 가장 큰 빅 웨이브가 될 것이다. 거기에는 ChatGPT, 웍스AI 같은 전사 도입용 General AI, Harvey AI, 슈퍼로이어, 티로/Otter 류와 같이 특정 부서나 목적을 위한 Vertical AI, 완전히 구체적으로 회사 업무 프로세스에 끼워진 맞춤형 AI Agent, 공장 제조를 돕는 Physical AI까지 전방위적이 될 것이다.
그런 점에서 작금의 유행같은 에이전틱 AI는 분명 근시일 내 실망 지점이 있겠지만 거시 흐름은 비가역적인 AI 발전과 기업들의 ‘초도입’을 그리고 있다.
# 10월 29일
말뿐인 AX가 아니라 진짜 전사적으로 AI를 잘 써서 생산성을 높이려면 누구나(여기서 누구나는 일반 직원들을 포함) 에이전트를 최대한 쉽게 많이 만들 수 있어야 한다. 그러려면 워크플로우는 너무 어렵다. 결국 추론 능력이 향상되면 워크플로우는 AI가 알아서 사람보다 잘 짤 것이다.
사람은 1) 무슨 일을 하고 싶은지와 2) 어떤 능력을 사용할 수 있는지(사내 이러저러한 DB에 연결되어 있다는 정보)만 AI에게 잘 알려주면 그걸로 충분하다. 그러면 워크플로우 설계는 (그리 멀지 않은) 미래의 AI가 알아서 할 것이다. (마치 후배에게 지도하듯 사람이 가진 업무 방법을 자연어로 알려줄 수 있는 Claude Skills가 그런 가능성을 보여주고 있다.)
# 11월 2일
어제 가까운 사람들과 함께하는 몇몇 단톡방에 젠슨 황의 이 인터뷰 영상을 공유했다. 이미 9개월 전에 촬영된 팟캐스트인데, 한시간이 넘는 분량이지만 정말 시간을 일부러 내서 열심히 시청해야 하는 내용이다.
데이비드 하사비스의 이 영상도, 샘 알트만의 이 영상도, 제프 베이조스의 이 영상도 다 생각 정리에 깊은 도움을 준다.
결과적으로는 앞으로 10년 내에 완전히 다른 세상이 올 것이고(이것은 상수), 그 주도는 빅테크들이 할 것이며, 그 모습은 지금의 언어 모델 수준이 아닌 물리 세상을 그대로 복제한 세계 모델(World Model)과 모두가 상상만 하던 개인 비서와 로봇 세계로 현실화될 것이다.
거기서 우리는 무엇을 할 수 있는가? 무엇을 해야 하는가? 아주 어렵고 까다로운 문제이자 제약 조건이지만 분명한건 이 엄청난 변화에 최대한 가까이 몸 담고 있어야 한다는 사실이다.
일단 지난 3년간 내가 이 분야에 몸 담으며 느낀건 우리가 고객 접점에 있고, 고객이 우리껄 통해 AI를 만나면 미래에 어떻게 변하든 우리에게 기회가 생긴다는 사실이다. 큰 형님들이 세상을 어떻게 바꿔가실지는 도통 알 수 없지만, 분명한건 내가 영향을 미칠 수 있는건 그 중 아주 아주 작다는 사실이다. 따라서 지금 보폭을 크게 가져가는건 매우 위험하다고 느낀다.
오히려 이럴 때일수록 딱 고객에 붙어서 큰 형님들이 개발한걸 적절히 잘 ‘편집/가공’해 시장에 딜러버리하는 회사가 내가 할 수 있는 일의 전부이자 그나마 이 생태계에 기여하며 10년의 기하급수적 성장에 올라탈 수 있는 유일한 방법이라고 느낀다.
# 함께 성장하기
이 고민을 같이 할 수 있는 동료들을 계속 찾고 있다. 한국에서 그래도 가장 많은 고객을 보유하고, 그래도 상당히 수준 높은 동료들과 이 고민을 함께하며 개인과 회사의 성장을 이루어갈 똑똑한 인재를 만나기를 희망한다.
GPU 30만장으로 세계 3위 AI 인프라 보유국이 된건 분명 좋은 소식이지만 인구 기준으로 보면 활용 전략을 잘 세워야 할 것이다. 미국은 전세계가 고객이고 중국은 14억 내수가 있지만 한국은 5천만 내수가 그렇다고 소버린 AI만 쓰는 것도 아니기 때문에.
그러면 이제 그런 ‘세계 3강’ 인프라 위에서 개발/추론된 모델을 가지고 고객 접점의 응용 서비스를 만드는 회사로서 이같은 거시 환경 변화를 어떻게 레버리지해야 할지, 앞으로 Google, OpenAI, Anthropic 같은 AI 큰 형님들과 소버린 AI들 사이에서 10여년의 엄청난 AI 발전 속에 무슨 서비스를 내놓아 어떤 포지션을 가져가야 할지, 어떤 해자를 만들어 낼 수 있을지, 누가 우리의 고객이며 어떤 지속 가능한 가치를 만들 수 있을지 이런 것들에 대한 답을 만들어 갈 아주 유능한, 그리고 보다 많은 제약 속에서 더 어려운 문제 푸는걸 좋아하는 동료들이 필요하다.
지난 3년간 우리가 전통적인 채용 플랫폼을 통한 채용을 한번도 하지 않고 오직 지인 추천과 SNS를 통해서만 아주 조금씩 모시고 있다. 이번에도 그렇게 하려고 한다.
—
AI3 전 포지션 채용 안내
- 모집중인 포지션: PM(Project Manager, 우리 제품 및 고객사 제공 제품의 기획 및 총괄), BD(Business Development, 제안 및 세일즈 전반), 개발자(Backend/Frontend), UI/UX Designer
- 우리가 일하는 방식: 비즈니스팀(PM/BD)은 저와 함께 삼성동 코엑스 사무실로 매일 출근. 제품팀(개발자/디자이너)은 전면 재택 근무. 세일즈는 올해 100% Inbound로 진행해 왔으나 내년부터는 Outbound 추진 예정. 제품팀의 모든 실무는 Slack과 비대면 콜로 활발히 진행. 모든 업무에 AI 적극 활용 지향. 쓸데없는 미팅이나 사람에 대한 고민 없이 오직 고객에 필요한 것인지에만 집중하는 문화.
- 대우 및 혜택: 2027년 상장을 목표로 하는 가운데 지금 합류할 경우 가장 낮은 기업 가치로 정말 의미있는 스톡옵션 제공 가능. 우리가 지향하는 해자가 압도적으로 낮은 비용으로 고객의 AI 진입 장벽을 획기적으로 낮추는 것이기에 이 경쟁력 유지를 위해 급여를 크게 올려드릴 수는 없지만 급성장하는 산업 분야에 급성장하는 회사라는 점은 분명하기에 개인의 고도 성장은 확실히 보장. AI에서 일해야만 AI 시대에 살아남는 사람이 될 수 있고, 특히 우리는 고객이 많기에 현장의 수요를 가장 많이 아는 전문가가 될 수 있음. 추가로 매년 4인 가족 고급 건강검진 무상 제공, 필요한 AI 도구 및 서적 전부 무상 지원, 기타 업무 성과에 필요한 제도에 대한 도입 의견을 내시면 언제든 검토/반영 가능.
- 우리가 만드는 제품: 우리는 AI 모델을 개발하지는 않지만 고객이 모델을 소비하기 위해 필요한 AI 미들웨어를 개발하는 회사입니다. 제품 라인업은 다음과 같습니다.
- 웍스AI (국내 1위 업무용 AI 포털. 앞으로 사내/사외 AI MCP 에이전트를 자유롭게 추가해 이용하는 에이전트 플랫폼으로 발전시켜 갈 계획)
- 비즈라우터 (국내 최초 기업용 LLM 라우터. 앞으로 OpenRouter보다 안전한 기업/공공용 LLM 라우터로 계속 고도화 해나갈 계획)
- AI 문서 번역 솔루션 (DeepL의 1/20 비용으로 동일하거나 그 이상 성능을 내는 기업용 문서 번역 솔루션 및 API로 계속 고도화 예정. 최근 LS그룹이 전사 도입)
- 신제품 – 2026년 웍스AI 및 비즈라우터와 연동되는 2종의 신제품 출시 예정. 계속 AI 모델과 고객 중간 지점에서 시장에 필요하지만 존재하지 않는 제품들 선보일 계획.
- 모집 기간: 2025년 11월 3일 (월) ~ 계속
- 접수 방법: join@ai3.kr 로 자유 형식의 이력서 및 자기소개서 발송
지금 우리는 고작 14명의 작은 팀입니다. 물론 분야별 협력사들 덕분에 700개가 넘는 고객사의 수십만 엔드유저를 모시며 한국에서 가장 많은 기업/공공 부문이 AI를 만나는 프론트엔드를 만들어가고 있습니다.
아직 팀이 아주 작은 정예 팀일 때 합류하세요. 우리는 앞으로도 직원을 30명 미만으로만 유지할 계획입니다. 할 일이 아주 많고 하고 싶은 일도 아주 많습니다. 하지만 우리 팀엔 아직 당신이 없습니다. 지금은 오로지 반드시 AI에 올라탈 때입니다.
—
이 글을 쓰기 시작한게 10월 5일인데 공개하는 시점이 11월 2일이다. 거의 한달간 쓴 글인 셈이다. 보통 탈고를 잘 안하는 편인데 오늘은 위 내용이 기억이 전혀 안나 한번 쭉 읽어보았다. 요즘 정말 눈코뜰새 없이 바쁜 가운데 틈틈이 느낀 바를 정리해 왔다. 그런데 결국 한달동안 생각한게 다 비슷한거 같다.
해자가 없는데 어떻게 만드나? 그래도 모델과 고객 사이에 있는거 같다. 제품 만들 기회가 많아 보이고, 다만 한국 시장 내수가 작아 Upside가 제한적일테니 적절한걸 만들어야 한다. 이 정도가 지난 한달간 고민의 결론이다.
내가 최근 몇년간 정말 어려웠다. 특히 지난 일년이 정말 평생 처음 겪어 본 초고난도였는데, (언젠가는 말할 기회가 있을 것이다) 그때 우리 집 찬장에 붙여 놓고 항상 위로 받은 문구가 있다.
AI 시장에서 우리 것이 아닌 것도 있을 것이고, 우리 것도 있을 것이다. 우리 때가 아닐 때도 있을 것이고 또 이따금 운이 좋아 우리 때가 맞을 때도 있을 것이다. 모든걸 다 취할 순 없고 그러려고 할수록 스트레스 받으며 더 안될 확률만 높아질 것이다.
그러니 치열하게 고민하며 제품 만들되 그냥 우리가 할 수 있는 정도만 얻으려 해야할 것이고, 아닌건 할 수 있는 여력이 되고 때가 맞는 다른 사람들에게 적극적으로 소개하고 넘기는게 오히려 좋을 것이다. (지난주 기재부에서 온 AI 에이전트 개발 건이 있었는데 레퍼런스로 볼 때는 우리가 하는게 맞았겠으나 우리보다 더 잘할 수 있는 Finance AI 전문 회사가 있어 토스하기도 했다.)
그래도 시장 자체가 엄청나게 성장하고 있는건 분명하므로 이따금 몇개만 해도 충분히 큰 회사가 될 수 있다. 그게 기왕 똑같이 일을 하는거 큰 파도 위에 있어야 하는 이유다. 너무 욕심을 부리면 안되고 열심히 하되 너무 과도하게 무리를 해서도 안된다.
아주 긴 게임이기 때문에 시장 흐름을 잘 보고 필요한 제품을 만들되 과거 블록체인 때 실수를 반복하면 안될 것이다. 한국 시장은 작고, 한국에서 만든 제품은 해외에서 사용해주지 않는다. 이 제약 조건은 AI에서도 안타깝지만 동일하게 통한다.
따라서 ‘우리가 세상을 바꾼다’라는 허무맹랑한 낙관주의는 경계해야 하고, 지나친 패배주의도 또한 경계해야 한다. 네이버가 있어도 언제나 카카오, 쿠팡, 배민, 토스가 나오기 때문이다. 하지만 이들 모두가 매출 대부분이 내수에서 발생하는 기업이라는 점을 잊어서도 안될 것이다.
Charles Pyo 