#
모두가 모든 고객을 얻지는 못한다. B2B는 자기 조직이 감당 가능한 캐파가 있고, 고객이 원하는 서비스가 다 다르기 때문에 모두가 모든 고객을 상대할 수 없다. 그런 점에서 내가 엣지가 있는 제품/서비스 영역에서 시장이 계속 성장하는지만 집중할뿐 경쟁은 크게 신경쓸 필요가 없다.
왜냐면 경쟁이라고 생각하는 제품/서비스/회사가 실은 전혀 다른 영역(구체적으로 들어가면 어차피 내가 서비스하지 못하는 영역)에서 엣지가 있을 가능성이 높기 때문이다. (그러니 어차피 그 영역에서 내가 엣지가 없으므로 엄밀히 따지면 경쟁이라 착각하는 것일뿐 경쟁이 아니다.)
거기서 그냥 경쟁이라고 생각하고 자꾸 경쟁사를 의식하는 것은 어쩌면 내 엣지가 무엇인지 아직 발견하지 못했거나 이 큰 시장을 내가 다 먹을 수 있다고 큰 착각을 하고 있는 것일 뿐이다. 여기서 진짜 중요한 것은 경쟁사나 경쟁 환경이 아니라 고객과 고객 환경이다.
내 상품이 어떤 엣지가 있고 그게 어떻게 지속적으로 고객 가치를 유지할 수 있는지, 고객이 타사 상품이나 우리 제품의 주변 영역으로 넘어가지 않고 우리 것을 계속 써야 하는 이유가 무엇인지 그 점을 고민하고 제품에 녹여야 하는 것이다.
Gen AI에서는 모두가 곧 상향 평준화되고 모든 제품이 비슷한 가치를 제공할 것이다. 차별화 할 수 있다고 생각하기엔 모두가 같은 모델, 프롬프트, 데이터 자원에 액세스하고 있고 앞으로도 그럴 것이다. 따라서 지속 가능한 Moat라는 것은 사실상 없다고 봐야 하고 그냥 누가 먼저 영업을 해서 고객 접점에 있느냐, 누가 그들의 전환비용을 가장 먼저 높여 놓았느냐 정도가 되지 않을까 싶다.
그럼에도 불구하고 사무직 AI 대전환이라는 시대 변화가 시작되었고 이는 비가역적이다. 모든 회사가 안할 수 없는 상황이 될 것이고 모든 회사에 PC가 처음 깔리던 때만큼이나 오랜시간 엄청나게 큰 시장이 될 것이다. 그러니 큰 Moat가 없어도 관련 시장에 있는 거의 모두가 먹고 살 것이고, 각자 분야에서 나름의 엣지를 갖춘 회사들은 최소 상장하고 제2 판교에 사옥 세울 정도는 거뜬히 될 것이다.
#
이쪽 일을 하는 사람들은 직감적으로 느끼고 있겠으나 내년 정도부터는 RAG 기술에 캐즘이 오고 극히 일부 데이터만 RAG에서 처리하게 될 것이다. 오히려 보다 많은 데이터-주로 기업들이 진짜 연결하고 싶어 하는- 사내 데이터는 Text to SQL로 사내 DB를 직접 쿼리하는 형태의 MCP가 봇물처럼 개발되며 내년 정도에는 RAG는 전체 Gen AI를 구성하는 일부 컴포넌트 지위로 격하될 것이다.
사실 지금까지는 다른 대안이 없었기 때문에 사람들이 RAG 기법을 지속적으로 연구하고 프롬프트를 극한으로 꼬면서 어떻게든 할루시네이션을 줄인 ‘정답’을 AI가 말해주기를 바라며 RAG를 RAG답지 않게 사용하려 노력해왔다.
질문과의 유사도에 따라 전체 문서에서 일부 문단만을 검색해 맥락에 그때그때 실어주는 방식의 RAG 기술은 그 기술의 구현 원리 때문에라도 당연히 정답을 줄 수 없다. 그러나 많은 기업들은 엑셀 파일을 전처리하고 프롬프트를 고치고 또 고치며 자전거를 가지고 자동차처럼 달리지 못한다고 전체 Gen AI 기술의 효용을 평가절하 해왔다.
하지만 올 하반기부터는 기업들이 사내 데이터를 직접 콜하는 MCP(소위 ‘에이전트’) 개발을 경쟁적으로 하고 있고, 이들을 연결하는 MCP Client(소위 ‘에이전트 플랫폼’)들이 많이 나오며 마침내 그들이 원하던 ‘정답을 말하는 AI’를 갖게 될 것이다.
우리도 실험해보면 MCP를 통해 DB를 직접 쿼리하는 방식은 할루시네이션이 아예 제로가 된다. DB에서 정확히 원하는걸 직접 가져와서 맥락에 실었는데 틀릴 수가 없는 것이다. 물론 매번 모든 사용자 요청을 다 사내 DB에 때리기에는 RAG가 더 유리한 지점들도 있다. (사용자 매뉴얼, 인사 규정집, 사내 복지 제도 등) 하지만 숫자에는 아무래도 DB 직접 콜이 훨씬 유리할 것이다.
그래서 내년 정도가 되면 사내 DB를 얼마나 잘 연동해 놓은 오케스트레이션 플랫폼이 구축되어 있느냐가 이제 기업들의 AI 활용 준비 상태를 알려주는 척도가 될 것이고, 이 분야는 이제 내년에 선도적인 기업들의 실제 사례가 처음 나타나기 시작하니 앞으로 한 3년은 대기업-중견-중소기업으로 퍼지며 굉장히 큰 시장이 될 것이다.
그리고 역시나 맨 위 섹션에서 언급했듯이 아무도 모든 고객을 먹지 못한다. 앞으로 회사 규모를 막론하고 정말 ‘모든 회사’가 가지 않을 수 없는 길이기에, 아주 큰-그래서 고객의 니즈도 저마다 미묘하게 다른- 시장이 될 것이기 때문이다.
#
지금의 대화형 인터페이스는 버젓이 UI가 있던 때보다 사용자 입장에서 더 후진 것이 사실이다. 사용자는 익숙한 UI가 없으면 채팅창에 자기가 무얼 어디까지 요청할 수 있는지 모른다. 그래서 MCP가 수백개 붙은 슈퍼 에이전트 플랫폼이 와도 지금의 인터페이스에서 사용자는 그 기능을 100% 활용하기 어려울 것이다.
지난 20년간 익숙해진, 엑셀을 만들 때의 UI, 슬라이드를 만들 때의 UI, 웹사이트를 이용할 때의 UI가 저마다 사용자의 머리에는 이미 자리잡고 있기 때문이다.
하지만 그렇다고 채팅형 인터페이스가 영원히 별로라고 이야기하기는 어려울거 같다. 나는 이 인터페이스가 정말 좋은 인터페이스인가에 대해 계속 고민하고 있는데 현재까지의 결론은 ‘현재는 불편한 것이 확실하다. 하지만 앞으로 진짜 AI가 사람을 대신해 모든 일을 알아서 해올 시대가 되면 더 이상 불편하지 않을 것이다”이다. 틀릴 수도 있지만 UI 시대로 돌아가야 한다는 주장은 이제 하지 않기로 했다. 왜냐면 UI는 사람이 일할 때 필요한 것이지만 컴퓨터가 일을 한다면 사실 ‘화면’은 필요하지 않기 때문이다. 그래서 지금의 불편은 과도기적이라 생각하게 되었다.
앞으로 머지 않은 미래가 오면 정보를 제공하는 웹사이트는 있으되 화면은 필요 없게 될 것이고(굳이 방문하지 않고도 모든 정보를 알 수 있게 될테니), AI가 사람이 원하는 일을 대신 수행하게 되면 굳이 사람이 이해하기 쉽게 만들어 놓은 화면은 없어도 될테니 말이다. (ex. KTX/SRT 예약을 에이전트가 대신하게 되면 굳이 앱이 없어도 되는 것처럼)
#
기업들을 만나다보면 정말 생각지도 못했던 지점이 굉장히 중요하구나 하는 깨달음을 얻는 경우가 있다. 그래서 어쨌든 이런 지점들은 나름의 해자가 될 것으로 보인다. 접근하지 못하는 AI 모델은 존재하지 않고, 접근하지 못하는 프롬프트나 접근하지 못하는 에이전트 오케스트레이션 기법, 고급 RAG 기법 또한 존재하지 않는다. 오직 접근하지 못하는 것은 고객의 목소리를 들을 기회다. 이 시장에서는 앞으로 그것만이 경쟁 우위가 된다.
물론 모두가 듣는 이야기가 한정적이기 때문에 이런 목소리를 들을 기회가 있는 회사들은 조금씩 다른 각자의 영역에서 다같이 먹고 살 것이다. 이런 목소리를 들을 기회가 없는 회사들은 이 시장에서 우위를 얻을 수 없다. 일시적인 기능 차이는 사실 베끼지 못할 것이 없기 때문이다. 누구를 위한 어떤 제품인가 하는 컨셉을 잡는 것이 훨씬 더 중요하다.
#
모델 경쟁이 심화되며 모델간의 변별력은 앞으로 점점 떨어질 것이다. 앞으로는 무조건 싼 모델을 써도 고객들은 잘 모를 것이다. 오히려 MCP 커넥터들만 잘 붙여 오케스트레이션만 잘하면 고객 만족은 무조건 올라갈 것이다. 그래서 앞으로는 누가 아주 싸게 서빙할 수 있는 ‘가성비’ 모델을 잘 만드느냐가 굉장히 중요해질 것이다.
예컨대 최상의 지능을 가진 ‘두뇌만 있는’ o4보다 사내외 DB와 연결되어 ‘팔다리가 잔뜩 달린’ GPT-4o가 더 사용자에게 훨씬 큰 만족을 주게 될 것이다. 에이전트는 사용자 요청 하나를 처리하기 위해 전보다 훨씬 많은 토큰을 맥락과 추론 등에서 마구 소비하게 될 것이고, 그러기 위해서는 가성비 있는 모델에 대한 수요가 내년부터는 매우 커질 것이다.
요컨대 그동안 사람들이 주목한 것은 오로지 Gemini 2.5 Pro가 더 좋다더라, Claude 4가 새로 나왔다더라, o4나 GPT-5가 새로 나온다더라 하는 이른바 SOTA 모델들의 향연이었다면 이제 내년부터는 그게 아니라 ‘적당한 지능과 압도적으로 저렴한’ 중간 모델이 실제 현업에서 가장 인기있는 모델이 될 것이다.
#
우리도 이러저러한 고민을 통해 올 하반기 기업들이 쓰기 좋은 에이전트 플랫폼을 내놓는다. 내부 테스트를 하고 있는데 일단 아주 기대가 된다. 모두가 답이 없는 전인미답의 길이지만 그래도 우리 제품을 선택한 고객사들에게는 현존하는 가장 좋은 제품을 드리고 싶다는 욕심이 있다.
그래서 ‘우리 제품이 세계 최고에요’ 단언할 수는 없지만 ‘적어도 한국에서는 가장 좋은 기업용 에이전트를 준비해 올게요’ 정도는 조심스럽게 약속할 수 있다고 생각한다. 에이전트 기능은 우리 제품을 일찍부터 활발히 쓰고 있던 고객사들에 순차적으로 제공할 계획인 관계로 아직 웍스AI를 사용하지 않는 기업들은 여기에서 제품소개서를 받아 보시고 여기에서 직접 가입하실 수 있다.
또한 기업들을 위한 최고의 에이전트 플랫폼을 개발하는 일을 함께할 수도 있고, 이 제품을 고객들에게 판매하는 파트너가 될 수도 있다. 현재 MCP 서버를 개발하고 있거나 배타적으로 좋은 데이터를 가지고 있는 회사들은 에이전트로 제공할 수 있는 파트너십을 맺을 수도 있다. 여러 협력을 전방위적으로 준비하며 우리 제품을 쓰는 고객들의 ‘압도적 만족’을 위한 건강한 생태계를 설계하고 있다.
적어도 한국에서는 기업과 공공 부문이 쓰기에 가장 좋은 AI 에이전트 플랫폼 하나는 제대로 만들어 볼 작정이다. 그간의 모든 경험과 고통을 바탕으로 이 정도 문제도 제대로 풀어내지 못하면 안된다고 생각한다.
Charles Pyo 