마이크로소프트(Microsoft Corp.)가 인공지능 챗봇을 속여 의도치 않은 행동을 유도하는 것을 어렵게 만드는 데 주력하고 있다. 워싱턴주 레드몬드에 본사를 둔 이 회사는 목요일 블로그 게시물에서 개발자들이 자신들의 데이터를 사용해 맞춤형 슬롯 머신 사이트 비서를 만들 수 있는 Azure 슬롯 머신 사이트 Studio에 새로운 안전 기능을 추가하고 있다고 밝혔다.

이번에 도입되는 도구들에는 프롬프트 쉴드(Prompt shields)가 포함되어 있으며, 이는 슬롯 머신 사이트 모델이 예상치 못한 방식으로 작동하게 만드는 의도적 시도나 프롬프트 주입 공격, 일명 '탈옥'을 탐지해 차단하기 위해 고안되었다. 또한 해커들이 모델이 훈련받는 데이터 속에 악의적인 지시를 숨겨 사용자 정보를 훔치거나 시스템을 장악하는 등의 무단 행위를 유도하는 간접 프롬프트 주입도 막는 데 집중하고 있다.

사라 버드(Sarah Bird) 마이크로소프트 책임 슬롯 머신 사이트 제품의 최고 책임자는 이러한 공격이 특별한 도전이자 위협이라고 지적했다. 그녀는 새로운 방어 메커니즘이 의심스러운 입력을 실시간으로 포착하고 차단하도록 설계되었다고 설명했다. 또한 마이크로소프트는 모델이 잘못된 정보나 오류 응답을 생성할 때 사용자에게 알려주는 기능을 선보이고 있다.

마이크로소프트는 소비자와 기업 고객 모두가 사용하는 생성적 슬롯 머신 사이트 도구에 대한 신뢰를 강화하려 한다. 2월에는 코파일럿(Copilot) 챗봇이 이상하거나 해로울 수 있는 반응을 생성한 사건을 조사했는데, 사건 검토 후 마이크로소프트는 사용자들이 고의로 코파일럿을 속여 해당 반응을 만들어내도록 유도했다고 발표했다.

버드는 '도구 사용 증가와 이러한 기법을 아는 사람들의 증가로 반드시 이런 시도들이 늘어날 것'이라 말했다. 챗봇에 동일한 질문을 반복하거나 역할극을 설명하는 프롬프트 같은 것이 이러한 공격을 식별하는 데 도움이 된다.

마이크로소프트는 Open슬롯 머신 사이트의 최대 투자자이며, 이 파트너십은 슬롯 머신 사이트 전략에서 중요한 부분을 차지하고 있다. 버드는 마이크로소프트와 Open슬롯 머신 사이트가 안전하게 슬롯 머신 사이트를 구축하고 생성적 슬롯 머신 사이트을 뒷받침하는 대규모 언어 모델에 보호 기능을 추가하는 데 전념하고 있다고 언급했다.

그러나 그녀는 '모델만으로는 충분하지 않다. 예를 들어, 탈옥은 기술 자체의 허점이다'라고 덧붙였다.

※이 기사는 Fortune.com 원문을 바탕으로 작성됐으며, 번역은 슬롯 머신 사이트 소속 AI기자(GPT-4 활용)가 도왔습니다.

/JACKIE DAVALOS & 이세연 기자