#
다니다보면 사람들은,
특히 VC들은 내게 “그거(API) OpenAI가 막으면 어떻게 해요?”라고 묻는다. API 의존적인 서비스라는 것이다. 나는 결코 그럴 일은 없고 그럴 수 없다고 생각한다. 왜냐면 이미 OpenAI는 우리에게 한참 떨어지는 API를 주기 때문이다. 언제나 최상의 AI는 자기만 가지고, 언제나 조금 떨어지는 아이를 API로 제공한다.
(비슷한 질문으로 “그거 OpenAI가 가격 올리면 어떻해요?”도 있는데, 나는 동일 성능의 가격은 지난 2년간 1/100로 떨어졌다고 답한다. 즉, 비싼 모델은 신제품 상위 모델일 것이고, 걔는 기존에 못하던 더 비싼 연봉 노동자의 업무를 할 수 있을테니 그 모델의 ROI 측정 기준은 지금의 SOTA 모델과 분명 다를 것이다.)
이는 API로 제공할 때 부득이 대화 맥락이나 메모리(장단기 기억) 등을 활용하기 어렵고, 아무래도 ChatGPT는 서비스이기 때문에 딱 기초 모델 하나만으로는 다 커버하기 어려운 여러 부가 트릭들을 통해 대화 경험을 극대화 시킬 수 있기 때문이다.
그리고 우리에게 활용이 허용된건 딱 기초 모델 하나뿐이기에, (물론 대화 맥락 관리+임베딩 정도는 Assistant API를 통해 낮은 수준으로 제공되고 있지만) LLM을 만든 자가 직접 제공하는 채팅 서비스의 사용자 경험은 애초에 동일할 수 없다고 판단하고 쫓아가는 것이 합리적이다.
#
그렇다면 API를 가지고 만드는 서비스는 애초에 가망이 없는가?
글쎄 그건 좀 다른 이야기인거 같다. 왜냐면 사람마다/조직마다 여러가지 이유로 ChatGPT를 쓰기 어려운 경우가 있기 때문이다. 예컨대 비용 문제(회사에서 쓰면 월 최소 계정당 $30, 많게는 $60까지), 해외로 데이터가 넘어가는 문제, 문화적으로 서비스 생김새/만듦새가 이질적이어서 유저들이 어려움을 느끼는 문제 등등으로 인해 ChatGPT가 좋다는걸 알고도 쓰지 못하는 경우가 있을 수 있기 때문이다.
그런 경우에는 저런 비용, 규제, 사용성 문제가 일정 정도 해소된 대안을 찾게 마련인데, 그때는 성능이 모델 개발사가 직접 만든, 저 세상 세팅의 넘사벽 채팅 서비스보다 좀 떨어진다 해도-물론 그럼에도 불구하고 ChatGPT를 제외하면 API 소비자들은 다 상황이 동일하기에- 충분히 고려 가능한 대안이 될 수 있는 것이다. 그 대화 성능 차이가 너무 크게 차이나면 안되겠지만 말이다.
개인적으로 내가 느끼기에 API를 통한 대화 성능은 현재 순정 ChatGPT 대비 최소 20% 이상 떨어진다. 이건 꽤 큰 차이인데 그렇다고 아주 못쓸 정도는 아닌 수준이다. 내가 볼 때 OpenAI나 Anthropic은 자기가 만든 채팅 서비스의 우위를 API 대비 그 정도 수준에서 계속 가져갈 것으로 보인다. (그래야 고객들이 자기네 채팅 서비스를 비싼 월정액 요금 내고 쓰니까)
그래서 API 소비자로서 우리의 목표는 어느정도 열위에 있는 모델 성능을 고객들이 ChatGPT에 대해 느끼는 불만(비용, 규제, 사용성)으로 최대한 상쇄시키는 전략만이 현재로서 우리가 취할 수 있는 최대의 선택지라고 생각한다. (OpenAI가 API와 ChatGPT 사이의 대화 성능 격차를 줄여주는 것은 우리가 할 수 있는 일 밖의 일이니.)
그래서 우리는 저 3대 고객 불만을 최대한 많이 해소해주는 방향으로 현재 사업 방향을 잡고 있다. 저 세가지 문제는 개인들에게는 결정적인 문제가 아닐 수 있지만, 기업들에게는 사용 여부를 좌우할 정도로 매우 큰 문제일 수 있으니.
관건은 그 AI 모델 외적인 부분에서 이제 얼마나 고객들을 얻을 수 있는 해자를 구축할 수 있느냐 하는 것일테다. 다행히 우리는 조금씩 감을 잡아가고 있다. 어디로 가야지 해자를 구축할 수 있을지 고객들을 만나면서 점점 배우고 확신을 가지게 되어가고 있다. 왠지 이대로 꾸준히 나아가다보면 해낼 수 있을 것 같다.
#
내년에는 확실히 AI Agent의 시대가 도래할 것이다.
기업들도 과거의 단순 RPA를 넘어 이제 내년에는 확실히 직원들이 여러 직무별 AI Agent를 두고 일하는 모습을 목격하기 시작할 것이다. 물론 대중화되고 진짜로 여러 직무에서 나 대신 일을 현저히 빨리 끝내주는 Agent는 점점 개선과 발전이 필요하겠지만 적어도 내년이 Agent를 실무에서 써보기 시작하는 원년이 되리라는 점은 이제 부인할 수 없어 보인다.
물론 또 유행처럼 아무나 모두가 ‘에이전트, 에이전트’ 노래를 부르겠지만 중요한건 ‘이런 것도 돼요’ 하는 화려한 기능이 아니라 진짜 현장의 실무를 5분이라도 빨리 끝나게 해주는 ‘실용성’을 갖는 Agent만이 ‘찐’으로 유저들의 선택을 받을 것이다.
그런 점에서도 우리는 상당히 유리하다고 생각한다. 이미 많은 기업 고객들을 매일 만나며 현장의 니즈를 듣고 있고, 이미 고객사의 추상적 니즈를 들으면 그걸 어떤 형태의 ‘서비스’로 만들어 실제 고객사 직원들에게 제공할지 구상하는 기획력을 가지고 있다.
그리고 그렇게 기획된 제품을 위한 프롬프트를 짜서 AI 모델을 제어할 수 있는 실무 경험과 능력이 있고, 그렇게 맞춤화 된 프롬프트와 기획(제품화 된 고객 니즈)을 가지고 실제 제품으로 개발해 출시할 무수한 노하우와 실력을 갖춘 개발팀이 있다.
심지어는 그렇게 출시되고 고객들에게 제공된 제품을 다시 고객이 잘 활용하도록 교육하고 설명할 수 있는 전문가들까지 갖추고 있다. 요컨대 여러 여건상 ChatGPT를 쓰지 못하는 기업들이 다른 이유들로서 충분히 선택할 수 있는 이유를 하나씩 만들고 있는 셈이다.
나는 내년의 Agent에서도 우리가 올해 구축해 놓은 이같은 프로세스가 충분히 유의미하게 작동하리라 생각한다. 적어도 고객의 문제를 실제로 해결해주는 ‘찐 Agent’를 만들 각오와 역량, 그리고 인프라는 충분히 갖추어졌다고 보는 것이다.
물론 Agent 역시 ChatGPT와 Cluade가 제일 잘하겠지만, 역시나 위와 같은 이유로 누구나 전교 1등하고만 일할 수는 없는 것이다. 우리의 목표는 사람들이 전교 1등이 아니라 반에서 1등과 일을 하는데, 충분히 만족스러운 다른 이유들을 가진 제품이 되도록 하는 것이다.
그리고 지금 비싸서 Realtime API(ChatGPT의 고급 음성 모드와 비슷한 기능을 외부 앱도 활용할 수 있도록 해주는 API. 다만 현재 1분만 대화해도 4-5달러 수준의 도저히 활용 불가능한 비용이 나온다)를 아무도 안쓰듯, 그리고 그걸 안써도 딱히 사는데 별 지장이 없는 것처럼 모두가 아주 아주 연봉이 높은 전교 1등과 일하지 않는다고 하여(아예 AI를 쓰지 않는 회사도 많으니) 경쟁력 저하로 이어지지는 않을 것이다.
경쟁력 저하는 내가 볼 때는 아주 고급 AI의 조력을 필요로 하는 지극히 일부 분야(국방, 우주, 사이버 보안, 과학 연구 등)를 제외하고는 적정 AI의 조력으로도 충분히 막을 수 있다고 본다.
#
요즘 크립토 분야에서는 AI를 붙이고 싶어서 그야말로 혈안이다.
개중에 이 글은 아주 길고 장황하게 썼는데 그 논지는 “LLM 학습은 지금처럼 중앙집중식 클라우드에서 하는게 효율적일지 몰라도 sLLM(SLM이라고 하는게 맞는거 같은데 다들 sLLM이라 부르니..) 같은건 집에서 노는 GPU를 크립토 인센티브 목적으로 자발적으로 제공한 사람들이 제공한 컴퓨팅 자원을 활용해 학습시키는게 더 효율적이지 않겠느냐”는 이야기.
흠 글쎄.. 그런 프로토콜이 나온다면 나는 오히려 검열저항성으로 인해 주로 음성적인 모델(만들어져서는 안되는 위험하고 폭력적이고 19++금, 마약 제조법을 가르쳐주고 핵 버튼을 누르고 싶어 하는 모델들)이 판을 치게 되지 않을까 한다. 근데 사람들은 그런걸 만들고 싶어할테고 아마 OpenAI, Anthropic 등에서는 그런 모델 만들면 짤릴테니 대안이 필요할지 모른다. 그런데 그러면 판도라의 상자를 여는 것은 아닐런지 모르겠다. AI 학습의 탈중앙화가 나는 왠지 만들어져서는 안될 모델의 수월한 개발로 들리고, 그걸 감추기 위해 ‘sLLM을 만드는데 더 효율적이다’라는 논리가 반복적으로 등장할지 모른다.
근데 벌써부터 B2C용 Gen AI 제품의 PMF가 야설/야동에서 주로 찾아지고 있는걸 보면(굳이 링크하지는 않겠다.) 지난 20년간 쭉 그래 왔듯이 원하든 원치 않든 검열을 피하고 싶은 AI 분야(딥페이크, 연예인/지인 1인 학습 모델, 19금 AI 챗과 컴패니언)도 분명 큰 시장을 차지하게 될 것이다.
#
지금의 현실에서는 미래에 뜰 분야를 오래 하고 있는 회사가 유리할 것 같다.
당장은 어차피 다들 남의 Foundation Model 가져다가 버티컬한 애플리케이션 만들며 PMF 찾는 초기 단계인거고, 근데 이게 그쪽을 파다보면 그게 그 버티컬 도메인 날리지든 고객 니즈든 또는 FM을 어떻게 쓰면 잘쓴다 하는 여러 노하우(프롬프트 엔지니어링, 청킹, 전처리, UI/UX 등등)든 간에 어쨌든 타사는 모르는 나름의 사용 해자가 생기는 법이니 기왕이면 미래에 뜰 분야에 대한 기술적/도메인적 날리지가 쌓이는 것이 유리할 것이다.
모두가 동일 조건에서 온갖 AI API가 던져진 가운데(즉, 출발선이 같은 가운데) 이제 각자의 아이디어로 각자 선택한 영역에서 요이땅을 한건데 이게 2년, 3년이 지나버리면 남의 모델 가져다 만든 서비스도 쉽게 따라하는걸 포기하거나 불가능한 상태가 되어버릴 것이고 그럼 그게 곧 해자로 작동할 것이다 이 말이다.
지금 벌써 그런 서비스들을 많이 보고 있다. 누가봐도 이거 그냥 GPT나 Claude나 LLaMA 아니면 Gemini 쓴건데, 아니면 Flux나 동영상 모델 쓴건데 그래도 막상 나더러 만들라고 하면 어떻게 만들어야 할지 잘 모르겠는 그런 서비스들이 많이 보이고 있다. 만약 그런 서비스들이 각 모델을 어떻게 써야 더 좋은 결과물이 나오는지, 그리고 고객이 좋아하는건 무엇인지, 어떻게 보여주었을 때 가장 구매를 많이 하는지 등등의 노하우가 쌓이고 나면 이제 ‘저거 나도 생각했던거야’, ‘저 정도는 금방 만들지’ 같은 소리가 쏙 들어가게 될 것이다.
결국 식재료는 어디서나 누구나 구할 수 있지만(물론 구하기 힘든 식재료도 가끔 있고 같은 재료라도 귀한 산지는 좋은 쉐프만 구할 수 있지만-마치 GPT5 나오기 전에 일부 개발자만 초대로 먼저 받아보듯이-) 좋은 쉐프라야 어떤 식재료를 어떻게 조합하고 어떻게 써야 고객이 좋아하는 맛난 음식이 나오는지 알고 있는 것과 같다. 고객은 누구나 먹을 줄은 알지만 만들줄 아는 사람은 일부다. 특히 잘 만드는 것은 쉐프 수준의 일이다. 그게 바로 AI 모델과 사용자 사이에 일어나는 일이다. 중간에 버티컬을 파는 쉐프들의 역할이 매우 매우 중요하고 없어지지 않을 것이다.
#
재미있는 방향을 찾았다.
AI는, 특히 엔터프라이즈 AI는 기업/공공의 AI 도입 시장 규모가 앞으로 상상도 못하게 커질거다보니 정말 대기업부터 중소기업까지 안들어오는 곳이 없다. 그래도 내가 볼 땐 시장이 워낙 커질거라서 잘 만들고 있으면 충분히 좋은 사업이 될 수 있다.
누구나 같은 재료(Foundation Model)을 가지고 기업 고객의 문제(생산성 향상을 통한 경쟁력 강화)를 해결해주려고 한다. 그 중간이 우리같은 서비스 레이어에 있는 회사들의 역량이다. 모두가 접근 가능한 재료가 다 똑같지만 우리가 좀 더 맛집을 할 수 있는 clue들을 찾고 있다.
그리고 조금씩 찾아지고 있다. 내년은 이 기세를 몰아 더욱 큰 서비스, 더욱 큰 회사를 만들어 가보려고 한다. 계속 이 지점에서 고민하다보니 AI 모델이 아니라 고객 접점의 서비스 레이어에서만 할 수 있는 일들이 있는데, 그것들이 시대 흐름상 매우 중요해 보인다.
글은 그냥 한 2주에 걸쳐 나에게 메모하듯이 적어 놓은 것들이어서 주제는 딱히 없는데 어쨌든 이런 큰 흐름에서 좋은 AI의 조력을 받고 싶은 회사는 우리가 만들고 있는 웍스AI 엔터프라이즈(지난주 출시된 따끈따끈한 제품이다. 100% Self-serve-직접 가입부터 운영까지- 가능한 기업 맞춤형 GPT 환경이다. 출시하기도 전에 ‘이겨놓고 싸운다’는 느낌이 들 때가 일하면서 정말 가끔씩 있었는데, 그럴 땐 결과가 항상 좋았다. 이번에 만들면서 그런 감정이 분명하게 들었다.)를 이용하시거나, 우리와 함께 사업을 전개하시면 된다.
우리가 정말 내년에 PMF를 찾으면, 서비스 레이어에서 획을 긋는 제품으로 발전시켜 갈 것이다.
#
우리나라 풀뿌리 경제 주체의 AI 경쟁력 강화
또 하나 내년에 시작할 일이 전국 회사와 관공서에 AI를 확산하며 정말 풀뿌리 AI 활용 능력을 키워가는 일이다. 이건 정말 대한민국의 미래를 위해서도 꼭 필요한 일인데, 직장수의 99%, 직장인의 81%가 다니는 중소기업의 AI 활용 능력이 대기업에 비해 현저히 떨어진다. 대-중소기업간 경쟁력 격차는 AI 도입으로 인해 전례없이 커지고 있다.
우리가 그런 솔루션을 경쟁사들이 도저히 따라올 수 없는 말도 안되게 합리적인 가격으로 모든 중소벤처기업과 기초자치단체, 학교 등에 제공해 풀뿌리 AI 경쟁력 강화에 일조하고자 한다. 이같은 일에 관심있는 분들은 여기에서 명단을 등록해 주시기를 부탁드린다.
조만간 우리가 배운 모든 노하우를 쏟아내서 전국으로 보낼 AX 전사들을 육성할 계획인데, 그 모집이 시작될 때 가장 먼저 안내드리고자 한다. 교육은 우리 모든 노하우와 기업 컨설팅 사례와 자료들을 모두 공개하고 제공할 계획이라 유료로 운영될 예정이다.
그러나 한국에서 Gen AI를 활용해 실전에서 기업들의 생산성 향상 프로젝트를 해온 가장 많은 케이스들을 소개할거라 정말 많은 공부가 될 것이고, 능력 향상과 관점이 탁 열리는 것이 있으리라 확신한다.
내가 직접 대표 선생을 맡아 정말 어느 곳에 보내도 기업/단체들의 AI 도입에 이해도와 전문성이 가장 뛰어난 사람들로 만들 계획이다. 그리고 이 분들이 전국을 돌아다니며 AI 강의도 하고 AX 컨설팅도 하며 수강료의 수십배 이상의 매출을 개인적으로 올릴 수 있도록 하는 것이 내년의 목표다.
나뿐 아니라 Gen AI 분야 최상위급 강사진들과 실제 기업 현장에서 우리와 함께 AX 프로젝트를 진행하고 있는 담당자들의 목소리도 들으려 한다. 정말 기대하고 있고, 정말 자신있게 기업의 AI 도입과 확산을 돕는 전사들을 키워보고자 한다. 그게 앞으로 우리의 큰 자산이 될 것이다. 그리고 AI를 도입하려는 기업들도 담당자들을 보내면 사내 AI 확산에 큰 도움이 될 것이다. 조만간 시작할 계획이니 명단에 관심을 남겨주시면 곧 안내드리겠다.
Charles Pyo 