지난주 이 글에 이은 두번째 배움 공유
# 조용히 매일 갖추어져 간다
Azure OpenAI Service(요새 업계에서는 줄여서 ‘AOAI’라고 한다. 작년에는 Azure에서도 OAI라고 했으나 지금은 AOAI로 통일된듯 하다) 문서를 종종 보게되는데 업데이트가 거의 실시간이다. 지금 미국이, 전세계가, MS나 빅테크들이 얼마나 AI의 기회에 진심인지 엿보이는 대목이다. 아무도 주목하지 않는 개발 문서이지만 거의 매주 업데이트되고 있다. 오늘 새벽에 일어나 이것저것 좀 보다가 비전 모델을 위한 이미지 프롬프트 엔지니어링 문서가 나왔길래 팀에 공유했다. 다른 문서 항목들이나 기능들도 계속 추가되고 있다.
# 추론의 국외 처리
PTU라는게 있다. Provisioned Throughput Units의 약자로, GPT 모델을 우리에게만 할당된 전용 서버에서 돌릴 수 있게 하는 기능이다. 기본적으로 API로 GPT 모델을 돌리는데는 OpenAI API를 쓰는 것, AOAI API를 쓰는 것 두가지 방식이 있는데 둘다 내가 ‘내 데이터가 정확히 어느 지역으로 날라가서 어디서 답변이 생성되어 돌아오는지’ 확인하거나 통제하지 못한다.
나는 처음에는 AOAI에서 클라우드 인스턴스 배포하듯이 지역을 선택해 모델을 배포할 수 있는줄 알았는데 그게 아니라 데이터만 내가 지정한 지역에 보관되고 그 데이터를 실어서 어딘가에 가서 추론을 하여 토큰을 생성해 오는 것은 일반적인 경우 모두 국외에서 처리된다고 한다.
(여기 보면 작은 글씨로 “Azure OpenAI 서비스는 고객이 선택한 지역에 모든 고객 데이터를 저장하지만, ‘글로벌’로 표시된 모든 모델 및 배포 유형의 경우 전 세계 모든 Azure OpenAI 지역에서 추론 또는 미세 조정을 위해 해당 배포에 의해 전송 및 출력되는 프롬프트 및 완료를 처리할 수 있습니다.”라고 명확히 설명되어 있다.)
그래서 국내 데이터 국외 반출 우려가 있는 일부 규제 업종에서는 AOAI를 그대로 사용하지 못하고 한국 리젼에 배포된 PTU를 써야 하는데 이게 상당히 비싸고 실제 물리적인 GPU를 써야 하기 때문에 데이터 센터에 설비를 대는 시간 때문에 물량도 한국에 항상 준비되어 있는 것이 아니라고 한다.
그럼에도 불구하고 GPT 모델의 월등한 성능을 이용하고 싶어하는 규제 업종(대표적으로 금융, 교육, 방산 등)에서는 PTU가 유일한 대안인거 같다. 결국 우리나라 규제 업종의 기업들은 현재 상대적으로 성능이 떨어지는 모델을 On prem으로 자기 데이터센터에 깔거냐 vs. MS 한국 리젼에 좀 비싸지만 PTU를 깔아서 더 좋은 GPT 모델을 쓸거냐 그 고민을 할 수 밖에 없을듯 하다.
그리고 아마 대체로 나올 질문이 뻔한 use case의 경우 전자도 어느정도 성능이 나왔을테다. 그게 이제 소위 금융권 AI 챗봇들일 것이고, 작년과 올해 다들 어느정도 공부를 했으니 이제 내년부터는 다음 세대의 AI 서비스를 저마다 또 진화된 형태로 내놓아야 할텐데 아무래도 자유도가 커질수록 추론 능력이 더 뛰어난 모델이 필요해지기 때문에 기업들 고민이 많을거다. 금융위가 규제를 일부 완화해 보겠다는 제스처를 취하고 있는 것도 그 일환일 것이고.
# 다소 미묘한 규제들
AI 모델이 사용자의 요청을 국외에서 처리하는 것이 구체적으로 어디서 문제가 될까? 나도 요새 규제 산업을 대상으로 영업을 해야하는 입장이 되다보니 이 점이 상당히 까다로운, 그리고 내가 알아야 하는 문제가 되었다.
대체로 개인정보보호법, 정보통신망법, 그리고 금융권 고객의 경우 전자금융업법과 금융권 클라우드 서비스 이용 가이드라인, 마지막으로 클라우드 보안인증(CSAP) 정도가 이제 관련이 있는 규제들로 파악된다.
그 중 일단 다뤄지는 대화에 ‘개인정보’가 포함되어 있지 않다면 설사 국외에서 대화를 처리하더라도 개인정보보호법과 정보통신망법의 일부 개인정보 관련 조항에서의 저촉 대상은 되지 않는 것으로 파악된다. 금융권의 경우는 PTU를 쓰는 것이 최소한의 출발점이고, 단계적으로 CSAP 자격을 확보해 가는 것이 필요해 보인다.
근데 AI에 뚜렷한 기준 같은건 없어서 사실 알음알음 OpenAI API도 쓰고 PTU도 쓰고 국산 모델 On prem도 쓰고 다양하게 써보고 있다고 한다. 아직은 생성형 AI가 신영역이다보니 아무래도 오래된 규제가 못따라오는 측면이 있어서 현실화 될 필요가 있는 것 같다.
지금은 그냥 아직 ‘용기있는 리더가 자기에게 좀 더 유리하게 해석해도 되는’ 상황인거 같다.
# 우리의 주권 AI
음. 일단 AI 주권이 필요하기는 하다. 너무 뛰어나서 모두가 모든 데이터를 해외에 의존하기 시작하면 지금 벌어진 격차는 더 벌어져 도저히 따라가기 힘든 수준이 되기 때문이다. (물론 지금도 이미 쩐의 전쟁으로 격차는 계속 벌어지는 중이다)
최근에 좀 아쉬운 일이 있었는데 앞서 이야기한 규제 업종(이번에는 교육)에 영업을 위해 위 CSAP 인증을 보유한 한 국산 클라우드 업체와 미팅하다가 LLaMA와 같은 오픈소스 모델 지원 계획이 없다는 이야기를 들었다.
전략상 자기 클라우드에서는 자신들이 개발한 국산 모델만 지원할 계획이니 그 모델을 써야만 CSAP 인증을 필요로 하는 국내 규제 산업을 대상으로 영업이 가능할거라는 이야기였다. 음 근데 당연히 성능이 좋으면 why not인데 이제 그 모델로는 GPT만큼의 성능이 안나오니까 좀 답답한 것이다.
현재 CSAP를 보유한 국산 클라우드들은 대부분 자사 모델을 가진 빅테크들이라서 아마 어쩔 수 없이 비슷한 정책을 가져가지 않을까 싶다. 결국 우리나라 교육 업종에 AI를 넣으려면 울며 겨자먹기로 성능이 매우 떨어지는 국산 모델을 써야만 하는 것이다. (참고로 ‘울며 겨자먹기’라는 표현은 내가 쓴게 아니라 그 미팅에서 클라우드 담당자께서 직접 하신 말씀이다. 정확한 워딩은 “저희 모델의 성능이 부족한걸 너무 잘 알지만 규제 업종에 판매하시려면 울며 겨자먹기로 이 모델을 쓰셔야 할거에요”였다.)
음 이렇게라도 ‘한국의 AI’를 살려야 하는 것인가. 한국 영화를 살리기 위해 상영관을 의무적으로 할당했던 스크린 쿼터제도 떠오르고. 그래도 뭐 AI 주권을 위해서라면 일부 불가피한 면도 있어 보인다. 포기하고 모두 GPT만 쓰면 그것도 또 안되니까.
CSAP 인증이 있는 국산 클라우드들 중 명확한 자기 모델이 없는 집의 경우는 거기서 약간 틈새 시장이 있어 보인다.
지금 AWS에 가보면 자체 Bedrock 모델도 있고, 자기가 거액을 투자해 GPT 대항마로 계속 키우고 있는 Anthropic 모델도 있고 또 Mistral이나 특정 버티컬 전용 모델(금융 특화 LLM 등) 등 수십가지 모델을 API 호출로 쉽게 쓸 수 있게 하고 있다.
원래 Azure에는 LLM이 GPT 밖에 없었는데 지금은 AWS에 대항하기 위해 라인업을 갖추어 오픈소스 모델을 포함해 현재 1,755개 AI 모델을 이용할 수 있다.
AWS는 huggingface나 Replicate처럼 오픈소스 모델을 import해서 사용할 수 있는 기능을 Preview(Beta) 상태로 오픈하기도 한 상태다.
국내에서도 이렇게 import까지는 아니더라도 주요 오픈소스 모델을 이용할 수 있는 CSAP 인증 클라우드가 있다면 나름대로 틈새 시장이 될 수 있을거라고 생각한다. (하지만 충분한 GPU도 없고 수요도 그만큼 없겠지?)
적절한 선택 대안이 있다면 규제 산업 내 모든 고객들이 ‘울며 겨자먹기’를 하지 않아도 될 것이기 때문이다. 그리고 무엇보다 한국에서도 한국어를 잘하는 오픈소스 AI 모델을 좀 육성할 필요가 있다고 생각한다.
지금 한국의 빅테크들은 대부분 자체 모델 개발을 하지만 모두 Closed source여서 이런 부분에는 학계나 정책의 방향성이 일부 필요하지 않나 싶다. 소버린 ‘오픈소스’ AI 모델.
# (반복) 프롬프트의 애플리케이션화
그동안은 탈옥 프롬프트를 막기 위해 보안 프롬프트를 따로 프롬프트에 넣어주어야 했다. 우리도 지금 그러고 있는데 최근 보니 Azure에 ‘AI 서비스’라는게 생겼다.
결국 뭐냐면 많은 LLM 활용 개발자들이 공통적으로 느끼는 Pain point를 앱화 해놓은 것이다. 공과금 영수증 등의 이미지로부터 텍스트를 자동 추출하는 기능, 문장/문서 내용 요약, 프롬프트 보호, 문서 번역, 유해한 답변 차단, 입출력 정보에서의 개인정보 식별, Groundedness check(할루시네이션 여부를 검증하는 기능. MS에서는 ‘근거 검색’이라고 훌륭히 번역해 놓았다.) 등 종전에는 모델을 가져다가 전문 프롬프트 엔지니어가 프롬프트를 빡세게 구성해야만 구현 가능했던 기능들이나 모델에 넣기 전 별도로 전처리/후처리 개발이 필요했던 기능들을 패키징해서 손쉽게 호출해 이용할 수 있도록 해놓았다.
사실 우리 웍스AI에서 이미 OCR 도구, 문서 번역 도구, 보안 프롬프트, 문장 요약 등으로 고생해서 자체 구현해 놓은 것들이다. 그러니 뭐냐면 그동안 개발자+프롬프트 엔지니어가 고민하면서 커스텀으로 만들어 놓은 기능들이 점차 누구나 호출해 쓸 수 있는 앱화 된다는 것이다.
스마트폰 초기에 게임사들이 리더보드(랭킹)나 친구 맺기 같은 기능 저마다 따로 만들고 있는게 너무 귀찮았는데 그러다보니 그걸 플랫폼화해서 ‘너네는 그냥 게임만 잘 만들어. 나머지 자질구레한건 우리가 미리 만들어 놓은걸 그냥 써’ 했던 회사가 OpenFeint라고 있었다.
나중에 Apple이 Game Center를 만들어 내재화하기도 했지만(결국 그래서 끝판왕이 OS를 가진 회사다. 언제나 앱 개발사들이 재주 부려서 잘된다 싶으면 내재화한다.) 그런 반복을 다시 LLM에서도 보는 중이다.
즉 지난 2년은 일단 모델부터 주고 ‘야 이거 가지고 뭐할 수 있는지 맘대로 해봐’ 일단 스마트폰 던지듯이 던진 것이다. 그래서 OpenAI와 MS가 구경하고 있다가 개발자들이 모델 가지고 어떻게 쓰나 ‘유용성’ 측면에서 통계적으로 가장 잘 작동하는 Killer App들을 찾았을 것이고 ‘반복성’ 측면에서 또 비슷한 것들을 찾았을 것이다.
그래서 유용성 측면에서도 Azure의 경우 ‘프롬프트 카탈로그’라는 카테고리에서 일부 모델이 잘 작동하는 프롬프트 묶음을 손쉽게 끌어다 쓸 수 있게 만들어 놓았고(아직 근데 살펴봤는데 여기는 개선이 많이 필요하다. 범용화된 프롬프트는 아무래도 아웃풋의 품질이 떨어질 수 밖에 없어 고객 맞춤형 프롬프트는 시장이 성장할수록 하나의 상수가 될 가능성이 높다고 본다), 반복성 측면에서는 ‘AI 서비스’라는 이름으로 마치 위의 OpenFeint 사례처럼 끌어다 쓸 수 있게(‘너희는 게임에만 집중해’처럼 ‘너희는 유용성에만 집중해’) 만든 것이다.
어쩌면 유용성 측면에서 앞으로 프롬프트가 점점 더 고도화/맞춤화 될 것이기 때문에(매번 모델을 새로 만들거나 고객 맞춤형으로 파인튜닝하기에는 ROI가 안나오기에), 거기 집중해 보다 양질의 아웃풋을 고객마다 다르게 출력하게 하기 위해 보안이나 번역, 요약, 할루시네이션 체크 등 반복적인 기능들은 고민하지 않아도 되도록 App화되는 수순인 것으로 이해된다.
# AI와 사람의 합주
몇몇 고객들을 위해 최근 서승완 유메타랩 대표, 이승필 사용성연구소 대표와 같은 훌륭한 프롬프트 엔지니어들과 일하고 나도 곁눈질로 배워 직접 프롬프트도 고치고 짜고 해보면서 느낀 것은 프롬프트가 범용화, 앱화, 표준화되는 것은 한계가 명확할거라는 점이다. 모델이 고도화되며 프롬프트 엔지니어링을 전처리해 내장하는 모델도 나오고, 점점 더 프롬프트 엔지니어링이 쉬워지는 일은 필연적일 것으로 보이지만 그렇다고 맞춤형 프롬프트와 그렇지 않은 프롬프트 차이에 별 차이가 없을거라는 생각은 점점 사라지고 있다.
오히려 누구나 접근 가능한 동일한 모델을 가져다가 저마다 다른 고객의 문제를 정확히 긁어주기 위해서는 중간에 사람이 필요하다. 물론 어느정도 업종별 프레임워크나 패키지 세트 같은게 있어서 좀 그 과정을 빠르게 해야하겠지만(그게 이제 회사마다의 경쟁력이고 노하우가 될 것이다), 사람이 없어서는 안될 것이다.
이에 따라 만든 프롬프트를 수정하거나 개선해주는 일종의 ‘AS’ 기능도 당연히 필요하고, ‘답변이 잘 안나오는데요?’ 전화해서 물어볼 창구도 필요하다. 만든다고 직원들이 다 잘쓰는게 아닐거기 때문에 임원과 직원들을 대상으로 한 교육 기능도 반드시 필요하고, 아예 회사에 들어가서 업무를 분석해 LLM이 들어가 효율성을 증대시키는 부분을 찾아 직접 맞춤형 프롬프트까지 짜줄 수 있는 컨설팅 기능도 세트로 같이 만들어져야 한다. AI라고 해서 그냥 기계가 알아서 해주겠지 하면 안된다. 요컨대 AI 모델과 사람의 완벽한 합주 내지는 콜라보가 되어야지 AI로 인간의 불편함이나 비효율성을 크게 개선할 수 있을 것이다. AI 혼자 재주부려서는 그냥 ‘오 신기하네, 끝’이 될 것이다.
이 단락을 뭔가 정리를 못한거 같은데 그러니까 재밌는 게임은 Game Center나 OpenFeint가 못만들어주고 오직 게임사의 영역이듯이, 고객 맞춤형 프롬프트는 Azure나 OpenAI가 못짜준다. 대신에 보안, 할루시네이션 체크, 개인정보 보호, 유해성 체크 등 반복적으로 필요한 프롬프트는 플랫폼화해서 앱처럼 쉽게 호출해 쓸 수 있게 해주겠다는 것이다. 역설적으로 말하면 고객 맞춤형 ‘초개인화 프롬프트’에 해자가 있을 수 있다는 것이다.
모델도 공공재, 잠시 우리 노하우라 생각했던 보안 등 반복 프롬프트도 이제는 공공재라면 오히려 저마다 다른 고객들의 도메인 날리지와 문제, 개선 가능성을 파악해 이를 고객 맞춤형으로 짜주는 능력이야말로 생성형 AI 시대의 해자가 될 수 있지 않겠나 싶다. 어찌보면 웃긴게 극단적으로 자동화되는 시대에 극단적으로 수동/노가다의 영역에 경쟁력이 있는게 아니겠나 생각하는 것이다.
물론 그것도 하다보면 점점 자동화 가능성이 생기고, 속도가 빨라지겠지. 고객 맞춤형 초개인화 프롬프트를 빠르게 짜줄 수 있는 능력이 곧 누구에게나 열려있는 완전히 평등한 슈퍼 지능(LLM)을 사용하는 시대의 핵심 비즈니스가 아니겠나 그런 생각에 이르게 된다.
많은 어떤 Prompt Wizard나 WYSIWYG AI App Builder 같은 방향들을 보았는데 그런 방향은 아닐거 같다. 위자드는 멋있지만 언제나 ‘누구나 쉽게 만들 수 있는’ 범용성을 지향하는 제품은 고객 ‘맞춤형’을 포기해야 하기 때문이다. 그러려면 초개인화(물론 나는 이 용어가 ‘초거대 인공지능’과 같은 그냥 ‘초격차’ 시리즈 마케팅 용어라 생각해 평소에는 쓰지 않는다. 그냥 어떤 느낌인지 설명하기 위한 추상적 표현이라 생각해 주면 좋겠다)의 목표를 달성하기 어렵다.
근데 그 핵심은 그런 고객 맞춤형 프롬프트를 개발/구동/테스트/상용 운영 할 수 있고 교육 + 컨설팅 기능을 통합 제공할 수 있는 한 가운데에 ‘제품’이 있느냐일거 같다.
다행히 우리에게는 기업용/업무용 GPT를 지향하는 ‘웍스AI’라는 제품이 한 가운데 있고, 김덕진 소장, 그리고 앞서 언급한 서승완, 이승필 대표 등 생성형 AI 분야의 소위 ‘1타강사’들이 기업 교육과 컨설팅 업무 일부를 지원하고 있다.
그러나 이 분들은 워낙 바쁘고 ‘1타’이다보니 개별 기업 업무를 이해해서 프롬프트까지 만들고 웍스AI 제품에 녹여서 ‘그냥 우리가 알아서 밥 잘 차렸으니 맛있게 드세요’ 할 수 있는 기능은 이제 우리가 앞으로 구축해 가야하는 Deep consulting의 영역이라 생각한다.
예전에 내가 액센츄어에 잠깐 있었는데 거기서 하는 일이 기업 고객들의 (사업이 잘되게끔 도울) IT 전략을 먼저 세운 다음에 그걸 실행하는 다음 단계가 붙어 있었다. 물론 액센츄어는 주로 전략만 세우고 실제 실행은 Offshore 센터나 솔루션사로 토스하곤 했는데 이제 앞으로 그 실행 영역을 잘 만들어가서 교육/컨설팅, 그리고 핵심 제품과 훌륭한 선순환 구조를 만드는 것이 앞으로 우리의 목표다.
# 우리가 협업할 수 있는 지점들
긴 글을 쓰는 일은 언제나 시간과 고통이 드는 일이다. 그래도 뭔가 쓰면서 찾다가 배우기도 하고 안되던 정리도 되고 해서 좋은 일이다. 없던 기회가 만들어지기도 한다. 항상 부끄러운 삶이고 내 부족한 경험과 생각을 남기는거 자체가 부끄러운 일이지만 그래도 해야하는 이유는 거기서 나와 비슷한 종류나 깊이의 고민을 하고 있는 사람들을 만나거나 적어도 내가 가진 것을 얻고 싶은 사람을 만날 수 있기 때문이다.
그런 점에서 생성형 AI에 들어오고 나서 짧은 일년 반 동안의 느낌과 흐름을 간단히 정리해보고 있고 역시 언제나처럼 나도 기대할 수 있는게 있으면 좋다. 그래서 다음과 같은 것들을 좀 부탁드려 보려고 한다.
1. 강사: 전국에 계신 생성형 AI 강사들은 sales@wrks.ai 로 연락주시기 바란다. 월 99,900원짜리 가장 비싼 ‘웍스AI‘의 AGI 플랜을 강사들께는 1년간 무료로 드리려고 한다. 대신 크고 작은 다니시는 강의에서 웍스 사용법이나 강점들을 소개해 주시면 그걸로 충분하겠다.
강사가 아닌 유튜버나 인플루언서들도 환영이다. 누구든 웍스AI를 같이 알리는데 일조하고픈 분들은 연락주시기 바란다. 업무 혁신에 있어서는 강의나 서적, 방송에서 알려도 부끄럽지 않은 제품으로 발전시켜 갈 자신이 있다. 그 가능성을 먼저 알아본 선구안들이 되어 주시기를 부탁드린다.
2. 동료: 웍스AI를 가지고 투자 유치를 시작할 계획이라 나를 도와 함께 IR을 진행할 IR/전략 담당자를 채용하려고 한다. 생성형 AI, 특히 업무용 AI 분야에서 유용한 글로벌 제품을 만들어가는 과정에 동참할 좋은 인재가 있다면 pyo@ai3.kr 로 연락 부탁드린다.
3. 고객: 기업 내에 GPT 도입이 필요한 회사는 연락주시면 좋겠다. 이미 대기업/공공기관 레퍼런스도 있고, 제품이 좋아 늘고 있다. ChatGPT Enterprise 대비 90% 이상 저렴한 월 고정비에 기능은 더 많고, OpenAI에는 없는 우리 회사 진단 컨설팅, 맞춤형 프롬프트 개발, 도입 교육, 직원 대상 사용 교육, 프롬프트 개선과 추가 AS, 언제나 전화 가능한 고객지원까지 가능하다.
앞으로 업무용 AI 채택은 기업들에게 생산성 향상을 위해 필수적이고, 그러면 우리만큼 원스톱 서비스를 통으로 제공할 수 있는 이 분야 업체는 별로 없다고 생각한다. 그리고 우리 비즈니스가 커지면서 자연스레 우리를 도와준 강사나 인플루언서들과 교육/컨설팅 비즈니스를 공동 개발하며 함께 발전해 갈 수도 있다고 생각한다. (세상은 넓고, 기업들의 AI 도입은 이제 완전 초입이다.)
이미 지금 그렇게 하고 있는데 ‘기업용 ChatGPT'(뭘 말하는건지 가장 직관적으로 이해가 되므로 편의상 이렇게 지칭) 도입을 희망하는 회사를 소개해주시는 분들께는 소개비도 보장해 드리려 한다. sales@wrks.ai 로 연락 부탁드린다.
다음에 또 기회가 되면 계속 다른 주제들로 최근의 느낌과 배움들을 정리해 보고자 한다. 언제나 뭔가 필요할 때 나누고, 그러면 또 얻고 더 배우고 이랬던거 같다. 끝으로 모든 배움과 경험은 서로 영향을 주며 더 크게 발전하기에, 나와 함께 일하고 있는, 언제나 내게 큰 배움을 주고 있는 동료들에게 감사함을 전한다.
Charles Pyo 