“회사 내부에서만 쓰게 할 수 있습니까?” MS 기술진은 이 질문을 기업 관계자들이 묻는 ‘단골 질문’으로 꼽았다. 지난 4월 서울에서 열린 ‘MS 슬롯사이트 꽁머니 Tour’는 유독 붐볐다.

문상덕 기자mosadu@fortunekorea.co.kr

깃허브 코파일럿 부스를 맡은 이건복 마이크로소프트 개발자 리드(상무)에게 한 금융기관 보안 담당자가 찾아와 질문을 잇따라 던졌다. 이 담당자는 “서비스를 도입하고 싶은데, 금융업계는 특히 제약이 많다”며 아쉬워했다. 이건복 리드는 “생성 슬롯사이트 꽁머니 서비스를 월 구독제로 제공하는 건 만만치 않은 일”이라며 “서비스 자체도 잘 구축돼야 하지만, 답변의 질, 그리고 안전성을 검증했기에 상품화할 수 있었던 것”이라며 함께 아쉬워했다.

그러면서 그는 “(데이터 반출 우려 때문에) ‘서비스를 회사 내부에서만 쓰게 만들 수 있느냐’는 질문을 가장 많이 받았다”고 덧붙였다.

우려의 크기만큼 관심도 컸다. 4월 30일 서울 양재동에서 열린 ‘MS 슬롯사이트 꽁머니 Tour in Seoul’에는 인파가 몰렸다. 오전 9시 스콧 한셀만(Scott Hanselman) MS 개발자 커뮤니티 부사장과 조원우 한국MS 대표가 ‘차세대 개발자를 위한 슬롯사이트 꽁머니’를 주제로 진행하는 키노트 세션으로 종일 행사를 시작했다. 키노트 세션 시작 전부터 행사장 앞은 대기줄로 장사진을 이뤘다. 각자 목에 건 인식표에는 회사의 기술, 보안 등 관련 직책이 적혀 있었다.

이후 ▶깃허브 코파일럿을 비롯, 이날 처음 공개된 ▶MS365 코파일럿(오피스 프로그램 지원) 한국어 서비스, ▶애저 오픈슬롯사이트 꽁머니 서비스(애저 클라우드 및 데이터 관리지원, LLM에 대한 접근권을 통합 제공) 등을 설명하는 부스 존과 워크숍들이 오후 6시까지 운영됐다.

이 리드가 부스를 맡은 깃허브 코파일럿은 이날 주인공 중 하나였다. 2022년 6월, MS의 ‘코파일럿’ 브랜드를 처음 달고 세상에 나온 이 서비스는 프로그래밍 코드를 GPT가 생성, 추천해 주는 것을 골자로 한다. 예를 들어 ‘그래프를 그리는 코드를 작성해 줘’라고 편하게(자연어) 물으면 곧바로 코드를 생성해 준다. 한국어로도 물을 수 있다. 또 용도를 모르는 코드가 있으면 복사-붙여넣기 해서 ‘설명’을 요청할 수도 있다.

이날 워크숍 세션에서 스콧 한셀만 부사장이 직접 ‘깃허브 코파일럿 활용을 극대화하는 실용적인 기술’을 소개하기도 했다. 스콧 부사장은 해당 서비스의 콘셉트를 “건물이 아닌, 비계(공사를 위해 설치하는 가건물)를 세우는 작업과 같다”고 소개했다. 그러면서 단순히 코드를 자동 완성시켜 주는 것이 아니라 “(코드가) 어디에서 오고 어디에서 작동하는지 개발자에게 알려준다”며 슬롯사이트 꽁머니 서비스가 개발자의 역량을 키워준다는 점을 강조했다.

실제 반응도 좋다. 사티아 나델라 MS CEO는 지난 1월 실적 발표에서 서비스 유료 구독자 수가 130만 명으로, 전분기보다 30% 늘었다고 밝혔다. 기업고객 수는 5만개사였다.

하지만 여전히 슬롯사이트 꽁머니 서비스 채택을 주저하는 기업이 많다. 지난해 4월 삼성전자는 “생성 슬롯사이트 꽁머니를 안전하게 사용할 수 있는 환경을 조성하기 위한 보안 조치를 검토하고 있다”며 “대책이 마련될 때까지 일시적으로 생성 슬롯사이트 꽁머니 사용을 제한하고 있다”고 밝혔다. 자사 엔지니어가 내부 소스코드를 챗GPT에 입력, 유출하는 사고가 발생한 것이 계기였다.

이에 대해 한 업계 관계자는 “입력했던 정보가 동료 PC에 노출된 게 유출의 경위”라며 “오픈슬롯사이트 꽁머니 웹사이트의 문제였지, LLM 자체의 문제는 아니었던 것으로 안다”고 귀띔했다.

그럼에도 불구하고 회사의 기밀 데이터가 회사 밖으로 반출, LLM 학습에 활용된다는 것이 기업들의 불안감을 자극하고 있었다. 지난해 1월 아마존은 챗GPT가 자사 데이터와 매우 유사한 응답을 생성한 사례를 발견하고 생성 슬롯사이트 꽁머니 사용을 제한했다. 애플, 버라이즌, 웰스파고, JP모건 등 기업 역시 기밀 데이터 유출을 우려해 같은 조치를 취했다.

우려에 대해 MS는 이날 행사에서 검색증강생성(RAG) 기술을 대안으로 강조했다. 기존에 회사가 자사의 슬롯사이트 꽁머니 활용 목적에 맞게 범용 LLM(파운데이션 모델)에 추가 데이터를 입력, 학습시키는 게 ‘파인 튜닝’이라면, RAG는 추가 학습을 하지 않는다. 따라서 사내 데이터를 반출하지도 않는다. 대신 별도의 저장소에 사내 데이터를 두고, 사용자가 LLM에 질문할 때 질문과 미리 저장해 둔 데이터를 함께 LLM에 묻는다. 답변의 정확도를 높일 수 있게 데이터를 ‘참조’하는 것이다.

RAG를 활용할 때 LLM의 답변(추론)은 클라우드 서비스를 기반으로 한다. 비용 때문이다. 학습과 추론을 모두 사내 서버를 기반으로 하자면 GPU 등 인프라 구축에 막대한 돈을 써야 한다. 게다가 인프라에 조 단위를 투자하지 않는 한, 사내 LLM의 ‘지능’도 떨어질 수밖에 없다. RAG는 보안과 비용을 모두 잡을 수 있는 것. 송승호 한국MS 애저 비즈니스 총괄 팀장은 “RAG는 LLM의 한계를 극복하기 위해 만든 것”이라며 “애저 오픈슬롯사이트 꽁머니를 하겠다, 자연어 기반 챗봇을 하겠다는 기업에선 십중팔구 RAG를 묻는다”고 말했다.

이건복 리드 역시 “깃허브 코파일럿의 기업용(엔터프라이즈) 버전이 RAG를 활용한다”며 “회사에서 지금까지 코딩했던 패턴, 회사만의 룰을 참조해서 답하는 것”이라고 설명했다.

이날 행사에는 MS의 공식 파트너사인 엔비디아가 참여, 애저 서비스의 효율을 극대화할 수 있는 자사 솔루션을 소개하기도 했다. 정구형 엔비디아 솔루션 아키텍트 리드(이사)는 “엔비디아 슬롯사이트 꽁머니 엔터프라이즈를 활용, RAG 워크플로를 만들고 생성 슬롯사이트 꽁머니 배포를 앞당길 수 있다”고 설명했다. 엔비디아 슬롯사이트 꽁머니 엔터프라이즈는 생성 슬롯사이트 꽁머니 서비스의 개발과 배포 작업을 간편하게 만드는 클라우드 기반 소프트웨어 묶음(플랫폼)을 말한다.

LG전자는 애저 오픈슬롯사이트 꽁머니를 활용해 개발한 생성 슬롯사이트 꽁머니 기반 데이터 분석 솔루션, ‘찾다(CHATDA)’를 이날 선보였다. 데이터 분석가가 아닌 일반 직원들도 ‘찾다’에 질문하면, 제품과 관련한 인사이트를 얻을 수 있다. 생성 슬롯사이트 꽁머니가 필요한 데이터를 찾고, 분석 가능한 형태로 가공하고, 결괏값을 낸 뒤에 다시 직원들이 이해할 수 있는 자연어로 답변한다. 예를 들어 “세탁기에서 세탁 완료 후 이용자가 문 열림에 걸리는 시간이 평균 어느 정도인지 확인할 수 있다”고 우상훈 LG전자 H&A데이터플랫폼 리더(상무)가 설명했다. 그는 “이를 통해 (인사이트 도출에 드는) 시간을 기존 5일에서 30분으로 줄였다”고 덧붙였다.

송승호 팀장은 우아한 형제들이 최근 선보인 슬롯사이트 꽁머니 메뉴추천 서비스인 ‘메뉴뚝딱슬롯사이트 꽁머니’를 함께 언급했다. 메뉴뚝딱슬롯사이트 꽁머니는 앱 사용자가 자연어로 메뉴를 묻고, 추천을 받는 서비스다. 사용자가 예를 들어 ‘오늘은 화끈하게 매운 떡볶이를 먹고 싶다’고 입력하면 ‘어느 지역에 있는 이 떡볶이집이 화끈하게 맵다’고 추천해 주는 식이다. 기존의 추천 알고리즘이 소비자의 행동, 즉 “아이스티를 산 30대 남성이 그 다음에 오렌지주스를 사는 확률 따위를 축적해 두는 식”이었다면, 우아한 형제들은 100만 건이 넘는 댓글 후기를 바탕으로 했다. 댓글에 나온 음식점과 음식의 특징을 요약해 놓고, 사용자의 질문과 매칭하는 것이다.

송 팀장은 “애저 오픈슬롯사이트 꽁머니 서비스가 추천 알고리즘을 만드는 데 활용될 거라곤 생각지 못했다”고 말했다.

한편 이날 스콧 한셀만 부사장은 LLM의 ‘비행기 모드’를 소개하기도 했다. 클라우드나 서버와의 연결 없이 기기 자체(온디바이스)만으로 LLM을 구동할 수 있다는 것. 엔비디아에서 지난 2월 공개한 애플리케이션 ‘챗 위드 RTX(Chat with RTX)’를 통해 구현했다. 해당 애플리케이션을 다운로드받아 컴퓨터에 설치하면 온라인에 접속하지 않아도 LLM을 활용할 수 있다. 다만 일정 사양 이상의 그래픽카드와 윈도PC를 갖춰야 한다.

정구형 리드는 “LLM을 계속 돌려보면서 성능(답변의 질)에 큰 영향을 주지 않는 부분은 과감히 잘라냈다”며 “앞으로 노트북 레벨에서도 많은 게 달라질 것”이라고 설명했다.