2026년 08월 17일 2m read

AI를 다른 SaaS 앱처럼 취급하지 마십시오.

Liron Hakim Bobrov
Liron Hakim Bobrov

프롬프트, 출력 결과, 그리고 작업 실행 등 위험이 발생하는 곳에서 AI를 안전하게 보호해야합니다.

직원들은 생산성을 높이고, 배우는 데 수년이 걸릴 기술을 도입하기 위해 AI를 활용하고 있습니다. 이러한 활용 범위는 콘텐츠 초안 작성, 코드 작성, 그리고 자동화된 워크플로 구축에 이르기까지 다양합니다. 일부 AI 사용은 공식적으로 승인되었지만, 상당수는 그렇지 않습니다.

많은 보안 팀이 이러한 위험에 직면했을 때 가장 먼저 떠올리는 대응 방식은 이를 일반적인 다른 SaaS 위험과 똑같이 취급하는 것입니다. 즉, 앱을 발견하고, 접근을 허용하거나 차단하며, DLP 규칙을 적용하고, 사용 현황에 대해 보고하는 방식입니다. 이 모델은 전통적인 SaaS 환경에서는 제대로 작동하지만, AI 환경에서는 다릅니다.

AI 위험은 항상 앱, 파일, 또는 구조화된 데이터 필드 내에만 깔끔하게 놓여 있지 않습니다. 위험은 프롬프트, 응답, 그리고 AI 시스템이 스스로 수행할 수 있는 작업에서 나타나며, 이를 보호하기 위해서는 다른 제어 방식이 필요합니다.

전통적인 제어가 AI에서 한계를 보이는 지점

수많은 AI 보안 도구들이 CASB와 DLP 기술을 차용합니다. CASB로 직원이 사용하는 AI 앱을 식별 및 액세스를 통제하고, DLP로 신용카드 번호, 자격 증명, 규제 데이터, 소스 코드 등 널리 알려진 민감 데이터를 탐지하는 방식입니다.

이러한 제어 방식은 SaaS 환경의 위험을 줄여주지만, AI를 위해 설계된 것은 아닙니다.

AI 위험은 맥락적이고 의미론적입니다. 사용자가 무엇을 묻고 있는지와 그들의 비즈니스 맥락에 따라 달라지기 때문에 맥락적이며, 인간이 말하는 방식을 이해해야 하므로 의미론적입니다. 사용자가 깔끔한 신용카드 번호, API 키, 또는 고객 기록을 그대로 붙여 넣지 않아도 위험은 존재할 수 있습니다. 이들은 구분 기호를 제거하거나, 여러 줄에 걸쳐 데이터를 분할하거나, 암호화하거나, 다른 말로 바꾸어 표현하거나, 모델에게 부분적인 정보로부터 의미를 재구성하도록 요청할 수 있습니다.

“어제 문제 된 고객”, “사고 보고서의 관리자 토큰”, “이사회 준비 회의에서 논의한 인수 대상”을 언급할 수도 있습니다. 정적인 패턴 매칭 방식으로는 이러한 위험을 모두 놓치게 됩니다.

기존의 앱 제어 기술은 해당 사용자가 AI 도구에 접근할 수 있는지만 결정할 수 있습니다. DLP는 이미 학습된 데이터 패턴만 찾아냅니다. 둘 다 프롬프트의 진짜 의도나 주변 컨텍스트의 민감도를 제대로 이해하지 못합니다.

결국 보안 팀은 딜레마에 빠집니다. 너무 엄격하게 제한하면 사용자는 보안 팀의 시야에서 벗어난 도구를 사용하게 됩니다. 너무 관대하게 허용하면, 프롬프트, 출력 결과, API, 또는 에이전트를 통해 데이터가 유출될 수 있습니다.

엔터프라이즈 AI 보안구매자 가이드 | eBook을 다운로드하세요

AI 보안은 상호작용을 이해해야 합니다

AI를 보호하려면 상호작용 자체를 검사하는 제어가 필요합니다.

즉 프롬프트, 응답, 그리고 에이전트의 작업 실행을 컨텍스트 내에서 분석해야 합니다. 이는 사용자가 모델에게 공개 문서를 요약해 달라고 요청하는 것과, 기밀 비즈니스 전략을 노출하려 시도하는 것의 차이를 이해하는 것을 의미합니다. 또한 이는 AI 에이전트가 승인되지 않은 작업을 시도할 때나, 프롬프트 인젝션 공격이 행동 조작을 시도할 때를 식별하는 것을 의미합니다.

기본적인 차단 방식은 여기에서 확장될 수 없습니다. 목표는 컨텍스트 기반의 정밀함입니다.

컨텍스트가 AI 위험을 변화시키는 방법

AI 상호작용안전한 사용위험한 사용보안 시스템이 이해해야 할 사항
콘텐츠 제작마케터가 공개용 캠페인 브리핑을 작성합니다.마케터가 미공개 주요 릴리스 세부 정보를 사용하여 출시 브리핑을 작성합니다.사용자, 데이터 민감도, 대상, 의도.
소프트웨어 개발개발자가 AI에게 일반적인 코드를 설명해 달라고 요청합니다.개발자가 AI에게 고객별 로직이 포함된 독점 코드를 설명해 달라고 요청합니다.코드에 IP, 기밀 또는 고객 컨텍스트가 포함되어 있는지 여부.
AI 에이전트 내부 에이전트가 승인된 지식 기반 콘텐츠를 검색합니다.내부 에이전트가 제한된 지식 기반 콘텐츠를 검색하여 외부로 공유합니다.작업이 승인되었는지 및 출력이 안전한지 여부.
프롬프트 처리사용자가 승인된 콘텐츠를 요약합니다.사용자가 AI에게 기밀 정보를 추론하거나 재구성하도록 요청합니다.프롬프트의 의도나 응답이 정보 노출을 발생시키는지 여부.

AI 네이티브 제어는 앱 자체를 넘어 사용자가 누구인지, 무엇을 묻고 있는지, 어떤 비즈니스 컨텍스트가 관련되어 있는지, 그리고 프롬프트를 허용해야 하는지를 바탕으로 결정을 내려야 합니다.

이는 보안 정책이 상호작용 내부에서 작동해야 함을 의미합니다. 민감한 데이터가 노출되거나 안전하지 않은 작업이 수행되기 전에 프롬프트, 응답 및 모든 에이전트 작업을 분석해야 합니다. DLP는 여전히 알려진 데이터 패턴을 보호하는 데는 유용하지만, AI 보안은 AI가 실제로 어떻게 사용되는지 관리하는 데 필요한 컨텍스트를 추가합니다.

Cato AI 보안은 AI 상호작용 내부에서 정책을 실행합니다

Cato는 CASB, DLP, 그리고 AI 보안을 단일 플랫폼으로 통합하여, 보안 팀이 일관된 가시성과 제어력을 가지고 SaaS 및 AI 사용을 관리할 수 있도록 돕습니다.

Cato AI 보안은 앱 액세스 시점뿐만 아니라, AI 상호작용 내부에서 제어를 적용합니다. 사용자, 애플리케이션, 데이터 민감도 및 의도와 같은 컨텍스트를 사용하여 프롬프트, 응답 및 에이전트 작업을 분석합니다.

이를 통해 보안 팀은 AI가 어떻게 사용되고 있는지에 대한 가시성을 확보하고, 민감한 데이터 유출을 방지하며, 프롬프트 인젝션, 모델 오용, 무단 작업, 데이터 유출과 같은 위험으로부터 AI 앱과 에이전트를 보호할 수 있습니다.

통제된 도입을 목표로 합니다. 조직은 직원들이 AI를 사용하고, 워크플로에 AI를 통합하며, 새로운 사용 사례를 실험하도록 허용하는 동시에, 익숙한 CASB 및 DLP 가이드레일을 AI 위험이 실제로 나타나는 곳, 즉 프롬프트, 출력, 작업까지 확장할 수 있습니다.

상호작용을 보호하고 비즈니스를 활성화하세요

AI를 차단하는 것이 안전하게 느껴질 수 있습니다. 하지만 실제로는 종종 더 많은 위험을 초래합니다.

사용자들은 원하는 도구에 접근할 수 없을 때 우회 방법을 찾습니다. 정책이 너무 획일적이면 직원들은 이를 피해 갑니다. 섀도 AI가 증가하고, 가시성은 떨어지며, 보안 팀은 실제로 무슨 일이 일어나고 있는지 통제할 능력을 잃게 됩니다.

더 나은 방법은 통제된 도입입니다.

CASB와 DLP는 SaaS 발견, 액세스 제어, 민감한 데이터 보호 및 컴플라이언스를 위해 여전히 필수적입니다. AI 보안은 가시성과 정책 실행을 AI 상호작용 자체로 확장함으로써 이들을 보완합니다. 프롬프트는 중요합니다. 출력 결과도 중요합니다. 에이전트의 작업 실행도 중요합니다. 의도 역시 중요합니다.

보안 팀에게는 애플리케이션과 데이터를 제어하기 위한 CASB 및 DLP, 그리고 AI가 실제로 어떻게 사용되고 있는지 제어하기 위한 AI 보안이 모두 필요합니다.

AI를 다른 SaaS 앱처럼 취급해서는 AI를 활성화할 수 없습니다. CASB 및 DLP의 기반과 상호작용 자체를 보호하는 AI 네이티브 제어를 결합할 때 비로소 AI를 활성화할 수 있습니다.

Related Topics

Liron Hakim Bobrov

Liron Hakim Bobrov

Product Marketing Manager

Liron Hakim Bobrov는 AI 보안 전문 제품 마케팅 매니저입니다. 현재 Cato Networks에서 제품 마케팅 매니저로 근무하며, 변화하는 AI 위험 환경에 대처하고 AI 보안 솔루션을 자신 있게 구현할 수 있도록 기업을 지원합니다. 이전에는 Alice에서 제품 마케팅 및 콘텐츠 담당 수석 이사로 재직하며 AI 보안 및 신뢰/안전 제품의 시장 진출 전략, 메시지 및 콘텐츠를 총괄했습니다. 텔아비브 대학교에서 MBA를, 예루살렘 히브리 대학교에서 사회복지학 학사 학위를 받았습니다.

Read More