LLM(대형 언어 모델)을 기반으로 구축된 생성적 인공 지능(AI) 애플리케이션은 비즈니스를 위한 경제적 가치를 창출하고 가속화할 수 있는 잠재력을 보여주었습니다. 응용 프로그램의 예는 다음과 같습니다 대화형 검색, 고객 지원 상담원 지원, 고객 지원 분석, 셀프 서비스 가상 비서, 잡담, 리치 미디어 세대, 콘텐츠 검토, 안전한 고성능 소프트웨어 개발을 가속화하는 코딩 동반자, 다중 모드 콘텐츠 소스에서 얻은 더 깊은 통찰력, 조직의 보안 조사 및 완화 가속화 그리고 훨씬 더. 많은 고객이 생성 AI 애플리케이션을 개발하면서 보안, 개인정보 보호, 규정 준수를 관리하는 방법에 대한 지침을 찾고 있습니다. 설계 및 아키텍처 단계에서 LLM 취약성, 위협 및 위험을 이해하고 해결하면 팀은 생성 AI가 가져올 수 있는 경제적 및 생산성 이점을 극대화하는 데 집중할 수 있습니다. 위험을 인식하면 생성 AI 애플리케이션의 투명성과 신뢰가 강화되고, 관찰 가능성이 높아지며, 규정 준수 요구 사항을 충족하는 데 도움이 되고, 리더가 정보에 입각한 의사 결정을 내릴 수 있습니다.

이 게시물의 목표는 AI 및 기계 학습(ML) 엔지니어, 데이터 과학자, 솔루션 설계자, 보안 팀 및 기타 이해관계자가 보안 모범 사례를 적용하기 위한 공통 정신 모델 및 프레임워크를 갖도록 역량을 강화하여 AI/ML 팀이 이동할 수 있도록 하는 것입니다. 속도를 위해 보안을 포기하지 않고 빠릅니다. 특히 이 게시물은 이전에 보안 원칙을 접해본 적이 없는 AI/ML 및 데이터 과학자가 LLM을 사용하여 생성 AI 애플리케이션을 개발하는 맥락에서 핵심 보안 및 개인 정보 보호 모범 사례를 이해할 수 있도록 돕고자 합니다. 또한 AI에 대한 신뢰를 훼손할 수 있는 일반적인 보안 문제에 대해서도 논의합니다. LLM 응용 프로그램을 위한 OWASP(Open Worldwide Application Security Project) 상위 10개, AWS를 사용하여 생성 AI로 혁신하는 동시에 보안 태세와 자신감을 높일 수 있는 방법을 보여줍니다.

이 게시물에서는 LLM을 사용하여 생성적 AI 애플리케이션을 개발하는 동안 위험 관리 전략을 설계하는 세 가지 안내 단계를 제공합니다. 먼저 LLM 솔루션의 구현, 배포 및 사용에서 발생하는 취약성, 위협 및 위험을 조사하고 보안을 염두에 두고 혁신을 시작하는 방법에 대한 지침을 제공합니다. 그런 다음 생성적 AI에 보안 기반 구축이 어떻게 필수적인지 논의합니다. 마지막으로 이를 LLM 워크로드 예시와 연결하여 신뢰 경계를 넘어 심층 방어 보안을 설계하는 접근 방식을 설명합니다.

이번 포스팅이 끝날 무렵, AI/ML 엔지니어, 데이터 과학자 및 보안에 관심이 있는 기술자는 생성 AI 애플리케이션을 위한 계층화된 방어를 설계하기 위한 전략을 식별하고, LLM용 OWASP 상위 10개 보안 문제를 일부 해당 제어에 매핑하는 방법을 이해하고, 이에 대한 기본 지식을 구축할 수 있습니다. 애플리케이션에 대한 다음과 같은 주요 AWS 고객 질문 주제에 답변합니다.

• 이 지침을 통해 가장 큰 영향을 미칠 수 있는 애플리케이션에서 LLM 기반 생성 AI를 사용할 때 발생할 수 있는 일반적인 보안 및 개인정보 보호 위험은 무엇입니까?
• AWS의 생성 AI LLM 애플리케이션 개발 수명 주기에서 보안 및 개인 정보 보호 제어를 구현하는 방법에는 어떤 것이 있습니까?
• 조직에서 생성적 AI LLM 애플리케이션을 구축하여 LLM을 사용하여 생성적 AI 애플리케이션에 대한 신뢰도를 높이고 위험을 관리하는 방법에 어떤 운영 및 기술 모범 사례를 통합할 수 있습니까?

생성적 AI를 개발하는 동시에 보안 결과 개선

LLM을 사용하는 생성적 AI를 통한 혁신을 위해서는 보안을 염두에 두고 시작하여 조직 탄력성을 개발하고, 보안 기반을 구축하고, 심층 방어 보안 접근 방식과 보안을 통합해야 합니다. 보안은 공동 책임 AWS와 AWS 고객 사이. AWS 공유 책임 모델의 모든 원칙은 생성 AI 솔루션에 적용됩니다. LLM 솔루션을 구축할 때 인프라, 서비스 및 데이터에 적용되는 AWS 공동 책임 모델에 대한 이해를 새롭게 하십시오.

조직의 탄력성을 개발하려면 보안을 염두에 두고 시작하세요.

보안 및 규정 준수 목표를 충족하는 생성 AI 애플리케이션 개발을 위한 조직 탄력성을 개발하려면 보안을 염두에 두고 시작하세요. 조직의 탄력성은 다음을 이끌어내고 확장합니다. AWS Well-Architected 프레임워크의 복원력 정의 조직이 중단으로부터 복구할 수 있는 능력을 포함하고 준비합니다. LLM을 사용하여 생성적 AI를 개발하기 위한 전반적인 준비 상태와 잠재적 영향에 대한 조직의 탄력성을 평가할 때 보안 상태, 거버넌스 및 운영 우수성을 고려하십시오. 조직이 생성 AI 및 LLM과 같은 최신 기술의 사용을 발전함에 따라, 의도하지 않은 결과로부터 자산과 비즈니스 라인을 보호하기 위한 계층형 방어 전략의 초석으로 전반적인 조직 탄력성을 고려해야 합니다.

LLM 지원 시 조직의 탄력성은 매우 중요합니다.

모든 위험 관리 프로그램은 탄력성의 이점을 누릴 수 있지만 조직의 탄력성은 생성 AI에 있어 상당히 중요합니다. LLM 애플리케이션에 대한 OWASP 식별 상위 10개 위험 중 XNUMX개는 위험 관리를 위해 아키텍처 및 운영 제어를 정의하고 이를 조직 규모에서 시행하는 데 의존합니다. 이러한 XNUMX가지 위험은 불안정한 출력 처리, 공급망 취약성, 민감한 정보 공개, 과도한 대리인 및 과도한 의존입니다. 아이디어 시작부터 연구, 애플리케이션 개발, 배포 및 배포에 이르기까지 제품의 전체 라이프사이클에 걸쳐 AI, ML 및 생성적 AI 보안을 핵심 비즈니스 요구 사항이자 최우선 순위로 고려하도록 팀을 구성하여 조직의 탄력성을 높이십시오. 사용. 인식 외에도 팀은 거버넌스, 보증 및 규정 준수 검증 관행에서 생성적 AI를 고려하기 위한 조치를 취해야 합니다.

생성적 AI를 중심으로 조직의 탄력성을 구축하세요.

조직은 조직 내에서 AI/ML 및 생성적 AI 보안을 위한 역량과 기능을 구축하는 방법을 채택하기 시작할 수 있습니다. 생성 AI를 설명하기 위해 기존 보안, 보증, 규정 준수 및 개발 프로그램을 확장하는 것부터 시작해야 합니다.

다음은 조직 AI, ML, 생성 AI 보안에 대한 5가지 주요 관심 영역입니다.

• AI/ML 보안 환경 이해
• 보안 전략에 다양한 관점을 포함
• 연구개발 활동 확보를 위한 선제적 조치
• 인센티브를 조직 결과에 맞춰 조정
• AI/ML 및 생성 AI의 현실적인 보안 시나리오 준비

생성적 AI 수명주기 전반에 걸쳐 위협 모델 개발

생성적 AI를 구축하는 조직은 위험 제거가 아닌 위험 관리에 중점을 두고 다음을 포함해야 합니다. 위협 모델링 및 사업 연속성 계획 생성적 AI 워크로드의 계획, 개발 및 운영. 기존 보안 위험은 물론 생성 AI 관련 위험을 사용하여 각 애플리케이션에 대한 위협 모델을 개발하여 생성 AI의 프로덕션 사용에서 역방향으로 작업합니다. 일부 위험은 귀하의 비즈니스에서 허용될 수 있으며, 위협 모델링 연습은 귀하의 회사가 허용 가능한 위험 성향이 무엇인지 식별하는 데 도움이 될 수 있습니다. 예를 들어, 귀하의 비즈니스에서는 생성적 AI 애플리케이션에 대해 99.999% 가동 시간이 필요하지 않을 수 있으므로 다음을 사용하여 복구와 관련된 추가 복구 시간이 필요합니다. AWS 백업 과 아마존 S3 빙하 허용 가능한 위험일 수 있습니다. 반대로, 모델의 데이터는 매우 민감하고 규제가 심할 수 있으므로 AWS 키 관리 서비스 (AWS KMS) 고객 관리 키 (CMK) 회전 및 사용 AWS 네트워크 방화벽 데이터 유출로부터 보호하기 위해 수신 및 송신 트래픽에 TLS(전송 계층 보안)를 적용하는 것은 허용할 수 없는 위험일 수 있습니다.

생산 환경에서 생성 AI 애플리케이션을 사용할 때 발생하는 위험(고유적 위험과 잔여 위험)을 평가하여 올바른 기본 및 애플리케이션 수준 제어를 식별합니다. 신속한 주입, 학습 데이터 오염, 모델 서비스 거부, 모델 도난 등 프로덕션 보안 이벤트와 서비스 중단으로부터의 롤백 및 복구를 조기에 계획하고 애플리케이션 요구 사항을 정의할 때 사용할 완화 방법을 정의합니다. 구현해야 할 위험과 제어에 대해 학습하면 생성 AI 애플리케이션 구축을 위한 최상의 구현 접근 방식을 정의하는 데 도움이 되며, 이해관계자와 의사 결정자에게 위험에 대한 정보에 입각한 비즈니스 결정을 내릴 수 있는 정보를 제공합니다. 전반적인 AI 및 ML 워크플로에 익숙하지 않다면 먼저 검토해 보세요. 기계 학습 워크로드의 보안을 향상하는 7가지 방법 기존 AI/ML 시스템에 필요한 보안 제어에 대한 친숙도를 높입니다.

ML 애플리케이션을 구축하는 것과 마찬가지로 생성 AI 애플리케이션을 구축하려면 일련의 연구 및 개발 수명 주기 단계를 거쳐야 합니다. 당신은 AWS Generative AI 보안 범위 매트릭스 선택한 생성 AI 솔루션에 따라 고려해야 할 주요 보안 분야를 이해하기 위한 정신 모델을 구축하는 데 도움이 됩니다.

LLM을 사용하는 생성적 AI 애플리케이션은 일반적으로 다음과 같은 순서에 따라 개발 및 운영됩니다.

• 신청 요건 – 사용 사례 비즈니스 목표, 요구 사항 및 성공 기준 식별
• 모델 선택 – 사용 사례 요구 사항에 맞는 기반 모델 선택
• 모델 적응 및 미세 조정 – 데이터 준비, 엔지니어 프롬프트 및 모델 미세 조정
• 모델 평가 – 사용 사례별 지표를 사용하여 기초 모델을 평가하고 가장 성능이 좋은 모델을 선택합니다.
• 배포 및 통합 – 최적화된 인프라에 선택한 기반 모델을 배포하고 생성 AI 애플리케이션과 통합
• 애플리케이션 모니터링 – 애플리케이션 및 모델 성능을 모니터링하여 근본 원인 분석 가능

팀이 첫 번째 날 소프트웨어 개발 수명 주기의 설계 및 아키텍처 단계의 일부로 보안의 중요한 특성을 이해하도록 합니다. 이는 스택 및 수명 주기의 각 계층에서 보안을 논의하고 보안 및 개인 정보 보호를 비즈니스 목표 달성을 위한 원동력으로 포지셔닝하는 것을 의미합니다. LLM 애플리케이션을 시작하기 전에 위협에 대한 제어를 설계하고 모델 적응 및 미세 조정에 사용할 데이터와 정보가 연구, 개발 및 교육 환경에서 제어 구현을 보증하는지 여부를 고려하십시오. 품질 보증 테스트의 일환으로 합성 보안 위협(예: 학습 데이터 오염 시도 또는 악의적인 프롬프트 엔지니어링을 통해 중요한 데이터 추출 시도)을 도입하여 방어 및 보안 태세를 정기적으로 테스트합니다.

또한 이해관계자는 프로덕션 AI, ML 및 생성 AI 워크로드에 대한 일관된 검토 주기를 설정하고 출시 전에 인간과 기계 제어 및 오류 간의 상충관계를 이해하는 데 조직의 우선순위를 설정해야 합니다. 배포된 LLM 애플리케이션에서 이러한 절충안이 존중되는지 검증하고 보장하면 위험 완화 성공 가능성이 높아집니다.

안전한 클라우드 기반에서 생성적 AI 애플리케이션 구축

AWS에서는 보안이 최우선 사항입니다. AWS는 애플리케이션과 워크로드를 구축, 마이그레이션 및 관리할 수 있는 가장 안전한 글로벌 클라우드 인프라로 설계되었습니다. 이는 300개 이상의 심층적인 클라우드 보안 도구 세트와 정부, 의료, 금융 서비스와 같이 보안에 가장 민감한 조직을 포함하여 수백만 고객의 신뢰를 바탕으로 이루어졌습니다. AWS에서 LLM을 사용하여 생성적 AI 애플리케이션을 구축하면 다음과 같은 보안 이점을 얻을 수 있습니다. 안전하고 안정적이며 유연한 AWS 클라우드 컴퓨팅 환경.

보안, 개인 정보 보호 및 규정 준수를 위해 AWS 글로벌 인프라 사용

AWS에서 데이터 집약적인 애플리케이션을 개발할 때 핵심 보안 및 규정 준수 요구 사항을 충족하는 기능을 제공하도록 설계된 AWS 글로벌 리전 인프라의 이점을 누릴 수 있습니다. 이는 우리가 강화한 것입니다. AWS 디지털 주권 서약, 클라우드에서 사용할 수 있는 가장 진보된 주권 제어 및 기능 세트를 제공하겠다는 우리의 약속입니다. 우리는 귀하가 귀하의 요구 사항을 충족할 수 있도록 역량을 확장하기 위해 최선을 다하고 있습니다. 디지털 주권 AWS 클라우드의 성능, 혁신, 보안 또는 규모를 저하하지 않고 요구 사항을 충족합니다. 보안 및 개인 정보 보호 모범 사례 구현을 단순화하려면 참조 디자인 및 인프라를 다음과 같은 코드 리소스로 사용하는 것을 고려하십시오. AWS 보안 참조 아키텍처(AWS SRA) 그리고 AWS 개인 정보 보호 참조 아키텍처(AWS PRA). 더 자세히 알아보기 개인 정보 보호 솔루션 설계, 디자인에 의한 주권및 AWS에서의 규정 준수 다음과 같은 서비스를 이용하세요. AWS 구성, AWS 아티팩트및 AWS 감사 관리자 개인 정보 보호, 규정 준수, 감사 및 관찰 가능성 요구 사항을 지원합니다.

AWS Well-Architected 및 클라우드 채택 프레임워크를 사용하여 보안 상태 이해

AWS는 고객이 클라우드 환경을 설계할 수 있도록 지원하는 수년간의 경험을 바탕으로 개발된 모범 사례 지침을 제공합니다. AWS Well-Architected 프레임 워크 클라우드 기술의 비즈니스 가치를 실현하기 위해 진화하고 있습니다. AWS 클라우드 채택 프레임워크(AWS CAF). Well-Architected 프레임워크 검토를 수행하여 AI, ML, 생성적 AI 워크로드의 보안 상태를 이해하세요. 다음과 같은 도구를 사용하여 검토를 수행할 수 있습니다. AWS Well-Architected 도구또는 AWS 팀의 도움을 받아 AWS 엔터프라이즈 지원. AWS Well-Architected 도구 자동으로 통찰력을 통합합니다 에 AWS 신뢰 고문 어떤 모범 사례가 마련되어 있는지, 기능을 개선하고 비용 최적화를 위한 기회가 무엇인지 평가합니다. AWS Well-Architected Tool은 다음과 같은 특정 모범 사례가 포함된 맞춤형 렌즈도 제공합니다. 기계 학습 렌즈 모범 사례를 기준으로 아키텍처를 정기적으로 측정하고 개선이 필요한 영역을 식별할 수 있습니다. AWS 고객이 조직 역량을 개발하기 위해 전략을 채택하는 방법을 이해하여 가치 실현 및 클라우드 성숙도를 향한 여정을 점검하세요. 인공 지능, 기계 학습 및 생성 AI를 위한 AWS 클라우드 채택 프레임워크. 또한 다음 행사에 참여하면 전반적인 클라우드 준비 상태를 이해하는 데 도움이 될 수도 있습니다. AWS 클라우드 준비도 평가. AWS는 추가적인 참여 기회를 제공합니다. AWS 계정 팀에 시작하는 방법에 대한 자세한 내용을 문의하십시오. 제너레이티브 AI 혁신 센터.

모범 사례 지침, 교육, 인증을 통해 보안 및 AI/ML 학습을 가속화하세요.

AWS는 또한 다음의 권장 사항을 선별합니다. 보안, ID 및 규정 준수를 위한 모범 사례 과 AWS 보안 문서 교육, 개발, 테스트 및 운영 환경을 보호하는 방법을 식별하는 데 도움이 됩니다. 이제 막 시작했다면 보안 교육 및 인증에 대해 자세히 알아보세요. AWS 보안 기초 그리고 AWS 보안 학습 계획. 당신은 또한 사용할 수 있습니다 AWS 보안 성숙도 모델 빠른 성공부터 시작하여 기초적이고 효율적이며 최적화된 단계를 거쳐 AWS의 다양한 성숙도 단계에서 최고의 활동을 찾고 우선순위를 지정하도록 안내합니다. 귀하와 귀하의 팀이 AWS의 보안에 대해 기본적으로 이해한 후에는 다음을 검토하는 것이 좋습니다. 위협 모델링에 접근하는 방법 그런 다음 팀과 함께 위협 모델링 활동을 주도합니다. 빌더 워크숍을 위한 위협 모델링 훈련 프로그램. 다른 많은 것들이 있습니다 AWS 보안 교육 및 인증 리소스 사용할 수 있습니다.

LLM 애플리케이션 보안을 위한 심층 방어 접근 방식 적용

생성적 AI 워크로드, 데이터 및 정보에 심층 방어 보안 접근 방식을 적용하면 비즈니스 목표를 달성하기 위한 최상의 조건을 조성하는 데 도움이 될 수 있습니다. 심층 방어 보안 모범 사례는 모든 워크로드가 직면하는 많은 일반적인 위험을 완화하여 귀하와 귀하의 팀이 생성적 AI 혁신을 가속화하는 데 도움이 됩니다. 심층 방어 보안 전략은 여러 중복 방어를 사용하여 AWS 계정, 워크로드, 데이터 및 자산을 보호합니다. 하나의 보안 제어가 손상되거나 실패하는 경우 위협을 격리하고 보안 이벤트를 방지, 탐지, 대응 및 복구하는 데 도움이 되는 추가 계층이 있는지 확인하는 데 도움이 됩니다. 각 계층에서 AWS 서비스 및 솔루션을 포함한 전략 조합을 사용하여 생성 AI 워크로드의 보안과 탄력성을 향상할 수 있습니다.

많은 AWS 고객은 다음과 같은 업계 표준 프레임워크를 따릅니다. NIST 사이버 보안 프레임 워크. 이 프레임워크는 식별, 보호, 감지, 대응, 복구 및 가장 최근에 추가된 관리라는 핵심 요소 전반에 걸쳐 보안 방어가 보호되도록 보장합니다. 그런 다음 이 프레임워크를 AWS 보안 서비스 및 통합된 타사 서비스에 쉽게 매핑할 수 있으므로 조직에서 발생하는 모든 보안 이벤트에 대한 적절한 적용 범위와 정책을 검증하는 데 도움이 됩니다.

심층 방어: 환경을 보호한 후 향상된 AI/ML 관련 보안 및 개인정보 보호 기능을 추가하세요.

심층 방어 전략은 먼저 계정과 조직을 보호하는 것부터 시작한 다음, 다음과 같은 추가 내장 보안 및 개인 정보 보호 강화 기능을 계층화해야 합니다. 아마존 기반암 과 아마존 세이지 메이커. Amazon은 보안, ID 및 규정 준수 포트폴리오에 30개 이상의 서비스를 보유하고 있습니다. AWS AI/ML 서비스와 통합되어 워크로드, 계정, 조직을 보호하는 데 함께 사용할 수 있습니다. LLM용 OWASP 상위 10개 항목을 적절하게 방어하려면 AWS AI/ML 서비스와 함께 사용해야 합니다.

다음과 같은 서비스를 사용하여 최소 권한 정책을 구현하는 것부터 시작하세요. IAM 액세스 분석기 에 단기 자격 증명을 사용하여 액세스를 제한하기 위해 과도한 권한이 있는 계정, 역할 및 리소스를 찾으세요.. 다음으로, CMK 사용을 고려하여 저장 중인 모든 데이터가 AWS KMS로 암호화되었는지 확인하고, 모든 데이터와 모델의 버전이 관리되고 다음을 사용하여 백업되는지 확인하세요. 아마존 단순 스토리지 서비스 (Amazon S3) 버전 관리 및 객체 수준 불변성 적용 Amazon S3 객체 잠금. 다음을 사용하여 서비스 간에 전송 중인 모든 데이터를 보호합니다. AWS 인증서 관리자 및 / 또는 AWS 사설 CA, 다음을 사용하여 VPC 내에 보관합니다. AWS 프라이빗링크. 다음과 같은 기능을 갖춘 VPC를 사용하여 조작 및 유출로부터 보호하는 데 도움이 되는 엄격한 데이터 수신 및 송신 규칙을 정의합니다. AWS 네트워크 방화벽 정책. 삽입을 고려해보세요 AWS 웹 애플리케이션 방화벽(AWS WAF) 앞에 웹 애플리케이션 및 API 보호 에 악성 봇, SQL 주입 공격, 크로스 사이트 스크립팅(XSS), 그리고 계정 탈취 사기 통제. 다음을 사용하여 로깅 AWS 클라우드 트레일, 아마존 가상 프라이빗 클라우드 (Amazon VPC) 흐름 로그 및 Amazon Elastic Kubernetes 서비스 (Amazon EKS) 감사 로그는 다음과 같은 서비스에 사용 가능한 각 거래에 대한 법의학적 검토를 제공하는 데 도움이 됩니다. 아마존 형사. 당신은 사용할 수 있습니다 아마존 인스펙터 취약점 발견 및 관리를 자동화합니다. 아마존 엘라스틱 컴퓨트 클라우드 (Amazon EC2) 인스턴스, 컨테이너, AWS 람다 기능 및 워크로드의 네트워크 연결 가능성 식별. 다음을 사용하여 의심스러운 활동으로부터 데이터와 모델을 보호하세요. 아마존 가드듀티의 ML 기반 위협 모델 및 인텔리전스 피드를 제공하고 EKS 보호, ECS 보호, S3 보호, RDS 보호, 악성 코드 보호, Lambda 보호 등에 대한 추가 기능을 활성화합니다. 등의 서비스를 이용할 수 있습니다. AWS 보안 허브 보안 검사를 중앙 집중화하고 자동화하여 보안 모범 사례의 편차를 감지하고 조사를 가속화하며 플레이북을 통해 보안 결과 수정을 자동화합니다. 구현을 고려할 수도 있습니다. 제로 트러스트 인간 사용자 또는 기계 간 프로세스가 요청별로 액세스할 수 있는 항목에 대한 세분화된 인증 및 권한 부여 제어를 더욱 강화합니다. 또한 사용을 고려하십시오 아마존 보안 호수 AWS 환경, SaaS 공급자, 온프레미스 및 클라우드 소스의 보안 데이터를 계정에 저장된 특정 목적의 데이터 레이크로 자동으로 중앙 집중화합니다. Security Lake를 사용하면 조직 전체의 보안 데이터를 보다 완벽하게 이해할 수 있습니다.

생성적 AI 워크로드 환경이 보호되면 다음과 같은 AI/ML 관련 기능을 계층화할 수 있습니다. Amazon SageMaker 데이터 랭글러 데이터 준비 중 잠재적인 편향을 식별하고 Amazon SageMaker 명확화 ML 데이터와 모델의 편향을 감지합니다. 당신은 또한 사용할 수 있습니다 Amazon SageMaker 모델 모니터 프로덕션에서 SageMaker ML 모델의 품질을 평가하고 데이터 품질, 모델 품질 및 기능 속성에 드리프트가 있는 경우 이를 알려줍니다. AWS 보안 서비스와 함께 작동하는 이러한 AWS AI/ML 서비스(Amazon Bedrock과 함께 작동하는 SageMaker 포함)는 자연적 편견의 잠재적 원인을 식별하고 악의적인 데이터 변조로부터 보호하는 데 도움이 될 수 있습니다. LLM에 대한 OWASP 상위 10개 취약점 각각에 대해 이 프로세스를 반복하여 AWS 서비스의 가치를 극대화하여 데이터와 워크로드를 보호하기 위한 심층적인 방어를 구현합니다.

AWS 엔터프라이즈 전략가 Clarke Rodgers가 자신의 블로그 게시물에 쓴 것처럼 “CISO 통찰력: 모든 AWS 서비스는 보안 서비스입니다”, "AWS 클라우드 내의 거의 모든 서비스는 자체적으로 보안 결과를 제공하거나 고객이 보안, 위험 또는 규정 준수 목표를 달성하기 위해 (단독으로 또는 하나 이상의 서비스와 함께) 사용할 수 있다고 주장하고 싶습니다." 그리고 “고객 최고 정보 보안 책임자(CISO)(또는 해당 팀)는 충족할 수 있는 보안, 위험 또는 규정 준수 목표가 있을 수 있으므로 모든 AWS 서비스에 대해 잘 숙지하고 있는지 확인하는 데 시간을 할애할 수 있습니다. 서비스가 '보안, 신원 및 규정 준수' 범주에 속하지 않더라도 말이죠.”

LLM 애플리케이션의 신뢰 경계에서 계층 방어

생성적 AI 기반 시스템 및 애플리케이션을 개발할 때는 다른 ML 애플리케이션과 마찬가지로 동일한 우려 사항을 고려해야 합니다. MITRE ATLAS 기계 학습 위협 매트릭스예를 들어 소프트웨어 및 데이터 구성 요소 출처(예: 오픈 소스 소프트웨어 감사 수행, 소프트웨어 자재 명세서(SBOM) 검토, 데이터 워크플로 및 API 통합 분석)를 염두에 두고 LLM 공급망 위협에 대해 필요한 보호를 구현합니다. 업계 프레임워크에서 얻은 통찰력을 포함하고 위협 인텔리전스 및 위험 정보의 여러 소스를 사용하여 기존 프레임워크에 포함되지 않은 새로운 AI, ML 및 생성적 AI 보안 위험을 설명하기 위해 보안 방어를 조정 및 확장하는 방법을 인식하십시오. 업계, 국방, 정부, 국제 및 학계 소스에서 AI 관련 위험에 대한 동반 정보를 찾아보세요. 이 분야에서는 새로운 위협이 정기적으로 나타나고 진화하며 동반 프레임워크와 가이드가 자주 업데이트되기 때문입니다. 예를 들어 RAG(검색 증강 생성) 모델을 사용할 때 모델에 필요한 데이터가 포함되어 있지 않으면 추론 및 미세 조정 중에 사용하기 위해 외부 데이터 원본에서 해당 데이터를 요청할 수 있습니다. 쿼리하는 소스는 귀하의 통제 범위를 벗어날 수 있으며 공급망에서 잠재적인 손상 소스가 될 수 있습니다. 액세스하는 데이터의 신뢰, 인증, 권한 부여, 액세스, 보안, 개인 정보 보호 및 정확성을 설정하려면 심층 방어 접근 방식을 외부 소스로 확장해야 합니다. 더 자세히 알아보려면 “Amazon SageMaker JumpStart를 사용하여 Generative AI 및 RAG로 안전한 엔터프라이즈 애플리케이션 구축"

LLM 애플리케이션의 위험 분석 및 완화

이 섹션에서는 신뢰 경계와 상호 작용 또는 유사한 적절한 제어 범위와 위험 프로필을 갖춘 워크로드의 고유 영역을 기반으로 몇 가지 위험 완화 기술을 분석하고 논의합니다. 챗봇 애플리케이션의 이 샘플 아키텍처에는 AWS 고객이 일반적으로 LLM 애플리케이션을 구축하는 방식을 기반으로 제어 기능을 시연하는 5가지 신뢰 경계가 있습니다. LLM 지원서에는 정의 가능한 신뢰 경계가 더 많거나 적을 수 있습니다. 다음 샘플 아키텍처에서 이러한 신뢰 경계는 다음과 같이 정의됩니다.

1. 사용자 인터페이스 상호 작용(요청 및 응답)
2. 애플리케이션 상호작용
3. 모델 상호작용
4. 데이터 상호작용
5. 조직의 상호작용 및 사용

사용자 인터페이스 상호 작용: 요청 및 응답 모니터링 개발

생성적 AI 애플리케이션의 입력 및 출력에서 ​​발생하는 위험을 해결하기 위한 전략을 평가하여 생성적 AI와 관련된 사이버 사고를 적시에 탐지하고 대응합니다. 예를 들어, LLM 응용 프로그램에서 사용되는 경우 도메인이나 조직 외부의 민감한 정보 공개를 감지하기 위해 행동 및 데이터 유출에 대한 추가 모니터링을 계측해야 할 수 있습니다.

생성적 AI 애플리케이션은 데이터 보호와 관련하여 표준 보안 모범 사례를 계속 유지해야 합니다. 설립하다 안전한 데이터 경계 과 민감한 데이터 저장소를 안전하게 보호하세요. 저장 및 전송 중인 LLM 애플리케이션에 사용되는 데이터 및 정보를 암호화합니다. 데이터 저장소에 기여할 수 있는 사용자, 프로세스 및 역할은 물론 애플리케이션의 데이터 흐름 방식을 이해하고 제어하고, 편향 편차를 모니터링하고, 버전 관리 및 Amazon S3와 같은 스토리지 서비스의 불변 스토리지. 의심스러운 입력 및 데이터 유출 가능성으로부터 보호하기 위해 AWS 네트워크 방화벽 및 AWS VPC와 같은 서비스를 사용하여 엄격한 데이터 수신 및 송신 제어를 설정합니다.

훈련, 재훈련 또는 미세 조정 프로세스 중에 활용되는 모든 민감한 데이터를 알고 있어야 합니다. 이러한 프로세스 중 하나에서 데이터가 사용된 후에는 모델 사용자가 프롬프트 주입 기술을 활용하여 갑자기 데이터나 정보를 다시 추출할 수 있게 되는 시나리오를 계획해야 합니다. 모델 및 추론에서 민감한 데이터를 사용할 때의 위험과 이점을 이해하세요. 공개를 방지하기 위해 LLM 애플리케이션 논리에 의존하지 않는 세분화된 액세스 권한을 설정하고 관리하기 위한 강력한 인증 및 권한 부여 메커니즘을 구현합니다. 생성 AI 애플리케이션에 대한 사용자 제어 입력은 일부 조건에서 모델 또는 입력의 사용자 제어가 아닌 부분에서 정보를 추출하기 위한 벡터를 제공할 수 있음이 입증되었습니다. 이는 모델이 원래 훈련된 데이터 세트에 대한 단서를 제공하는 것을 포함하여 모델의 출력이 LLM 애플리케이션의 예상 가드레일에서 벗어나도록 하는 입력을 사용자가 제공하는 프롬프트 주입을 통해 발생할 수 있습니다.

모델에서 입력을 제공하고 출력을 받는 사용자에 대한 사용자 수준 액세스 할당량을 구현합니다. 모델 교육 데이터 및 정보가 민감한 조건이나 입력 및 정렬된 모델 출력을 기반으로 모델의 복사본을 상대가 교육할 위험이 있는 조건에서는 익명 액세스를 허용하지 않는 접근 방식을 고려해야 합니다. 일반적으로 모델에 대한 입력의 일부가 임의의 사용자 제공 텍스트로 구성된 경우 출력이 즉각적인 주입에 취약한 것으로 간주하고 그에 따라 출력 사용에 안전하지 않은 출력 처리, 과도한 대리인을 완화하기 위해 구현된 기술 및 조직적 대책이 포함되어 있는지 확인하십시오. , 그리고 과도한 의존. AWS WAF를 사용한 악의적인 입력 필터링과 관련된 앞선 예에서는 프롬프트의 오용 가능성에 대비해 애플리케이션 앞에 필터를 구축하는 것을 고려하고, 모델과 데이터가 증가함에 따라 이를 처리하고 발전시키는 방법에 대한 정책을 개발하십시오. 또한 품질, 정확성 또는 콘텐츠 조정 표준을 충족하는지 확인하기 위해 출력을 사용자에게 반환하기 전에 필터링된 검토를 고려하십시오. 의심스러운 트래픽 패턴을 완화하기 위해 모델 앞의 입력 및 출력에 대한 추가 제어 계층을 사용하여 조직의 요구 사항에 맞게 이를 추가로 사용자 정의할 수 있습니다.

애플리케이션 상호 작용: 애플리케이션 보안 및 관찰 가능성

사용자가 액세스하거나 사용할 권한이 없는 다운스트림 도구 또는 도구 체인에 대한 표준 권한을 우회하기 위해 사용자가 모델을 어떻게 활용할 수 있는지 주의 깊게 LLM 지원서를 검토하세요. 이 계층의 또 다른 관심사는 완화되지 않은 기술 또는 조직 LLM 위험을 사용하는 공격 메커니즘으로 모델을 사용하여 외부 데이터 저장소에 액세스하는 것입니다. 예를 들어 모델이 민감한 데이터를 포함할 수 있는 특정 데이터 저장소에 액세스하도록 훈련된 경우 모델과 데이터 저장소 간에 적절한 권한 부여 확인이 있는지 확인해야 합니다. 권한 부여 확인을 수행할 때 모델에서 나오지 않은 사용자에 대한 불변 속성을 사용하세요. 완화되지 않은 불안전한 출력 처리, 불안전한 플러그인 설계 및 과도한 에이전시는 위협 행위자가 모델을 사용하여 인증 시스템을 속여 유효 권한을 상승시키는 조건을 만들 수 있으며, 이로 인해 다운스트림 구성 요소는 사용자가 데이터를 검색하거나 특정 정보를 가져갈 수 있는 권한이 있다고 믿게 될 수 있습니다. 행동.

생성적 AI 플러그인 또는 도구를 구현할 때 부여되는 액세스 수준을 검사하고 이해하는 것은 물론 구성된 액세스 제어를 면밀히 조사하는 것이 중요합니다. 완화되지 않고 안전하지 않은 생성 AI 플러그인을 사용하면 시스템이 공급망 취약성 및 위협에 취약해져서 잠재적으로 원격 코드 실행을 포함한 악의적인 작업으로 이어질 수 있습니다.

모델 상호 작용: 모델 공격 방지

공급망 취약성을 평가하고 완화하려면 사용하는 모든 모델, 플러그인, 도구 또는 데이터의 출처를 알고 있어야 합니다. 예를 들어 일부 일반적인 모델 형식에서는 모델 자체에 임의의 실행 가능한 코드를 포함할 수 있습니다. 조직의 보안 목표와 관련하여 패키지 미러, 검색 및 추가 검사를 사용하십시오.

모델을 훈련하고 미세 조정하는 데이터 세트도 검토해야 합니다. 사용자 피드백(또는 기타 최종 사용자가 제어할 수 있는 정보)을 기반으로 모델을 자동으로 미세 조정하는 경우 악의적인 위협 행위자가 응답 조작을 기반으로 모델을 임의로 변경하여 교육 데이터 중독을 달성할 수 있는지 고려해야 합니다.

데이터 상호작용: 데이터 품질 및 사용량 모니터링

LLM과 같은 생성적 AI 모델은 대량의 데이터에 대해 교육을 받았기 때문에 일반적으로 잘 작동합니다. 이 데이터는 LLM이 복잡한 작업을 완료하는 데 도움이 되지만 모델의 동작을 변경할 수 있는 훈련 데이터 세트 내에 부적절한 데이터가 포함되거나 생략될 때 발생하는 훈련 데이터 중독의 위험에 시스템을 노출시킬 수도 있습니다. 이러한 위험을 완화하려면 모델 내에서 시스템을 사용하기 전에 공급망을 살펴보고 시스템에 대한 데이터 검토 프로세스를 이해해야 합니다. 학습 파이프라인은 데이터 오염의 주요 소스이지만 RAG 모델이나 데이터 레이크 등에서 모델이 데이터를 얻는 방법과 해당 데이터 소스가 신뢰할 수 있고 보호되는지도 살펴봐야 합니다. AWS Security Hub, Amazon GuardDuty 및 Amazon Inspector와 같은 AWS 보안 서비스를 사용하여 Amazon EC2, Amazon EKS, Amazon S3, Amazon 관계형 데이터베이스 서비스 (Amazon RDS), 새로운 위협의 지표가 될 수 있는 네트워크 액세스 및 Detective를 사용하여 보안 조사를 시각화합니다. 다음과 같은 서비스 이용도 고려해 보세요. 아마존 보안 호수 AI/ML 워크로드에 기여하는 AWS 환경, SaaS 공급자, 온프레미스 및 클라우드 소스의 보안 데이터를 자동으로 중앙 집중화하기 위해 특별히 구축된 데이터 레이크를 생성하여 보안 조사를 가속화합니다.

조직적 상호 작용: 생성 AI를 위한 엔터프라이즈 거버넌스 가드레일 구현

비즈니스에 생성 AI를 사용하는 것과 관련된 위험을 식별합니다. 생성적 AI 솔루션을 배포할 때 정보에 입각한 결정을 내리려면 조직의 위험 분류 체계를 구축하고 위험 평가를 수행해야 합니다. 개발하다 비즈니스 연속성 계획(BCP) 여기에는 AI, ML 및 생성적 AI 워크로드가 포함되며 SLA를 충족하기 위해 영향을 받은 LLM 애플리케이션 또는 오프라인 LLM 애플리케이션의 손실된 기능을 대체하기 위해 신속하게 제정될 수 있습니다.

프로세스 및 리소스 격차, 비효율성, 불일치를 식별하고 비즈니스 전반에 대한 인식과 소유권을 향상시킵니다. 위협 모델 데이터에 대한 무단 액세스, 서비스 거부, 리소스 오용 등 비즈니스에 영향을 미칠 수 있는 잠재적인 보안 위협을 식별하고 완화하기 위한 모든 생성적 AI 워크로드. 새로운 기능을 활용하세요 AWS Threat Composer 모델링 도구 위협 모델링을 수행할 때 가치 실현 시간을 단축하는 데 도움이 됩니다. 개발 주기 후반부에 다음을 도입하는 것을 고려해보세요. 보안 카오스 엔지니어링 시스템이 알 수 없는 것에 어떻게 반응하는지 이해하고 시스템의 탄력성과 보안에 대한 확신을 구축하기 위해 실제 조건을 만드는 결함 주입 실험.

모든 직무 역할 및 기능 전반에 걸쳐 AI/ML 및 생성적 보안에 대한 준수 및 적용 범위를 보장하기 위해 보안 전략 및 위험 관리 메커니즘 개발에 다양한 관점을 포함합니다. 생성적 AI 애플리케이션의 시작과 연구부터 보안 사고방식을 테이블에 가져와 요구사항에 맞춰 조정하세요. AWS의 추가 지원이 필요한 경우 AWS 계정 관리자에게 AWS 보안 및 AI/ML의 AWS 솔루션 아키텍트에게 동시에 도움을 요청하여 동등한 지원이 있는지 확인하도록 요청하십시오.

보안 조직이 제품 관리자, 소프트웨어 개발자, 데이터 과학자 및 경영진과 같은 생성적 AI 이해관계자 간의 위험 인식 및 위험 관리 이해에 관한 의사소통을 촉진하기 위한 조치를 정기적으로 취하여 위협 인텔리전스 및 제어 지침이 팀에 도달할 수 있도록 합니다. 영향을 받다. 보안 조직은 토론에 참여하고 비즈니스 목표와 관련된 생성적 AI 이해관계자에게 새로운 아이디어와 정보를 제공함으로써 책임 있는 공개 및 반복적 개선 문화를 지원할 수 있습니다. 자세히 알아보기 책임감 있는 AI에 대한 우리의 약속 추가 책임감 있는 AI 리소스 고객을 돕기 위해.

조직의 기존 보안 프로세스에서 가치 실현 시간을 단축하여 생성적 AI를 위한 더 나은 조직 태세를 지원하는 이점을 얻으세요. 생성적 AI 보안 컨텍스트를 고려할 때 조직에서 지나치게 부담스러운 프로세스가 필요할 수 있는 위치를 사전에 평가하고 이를 개선하여 개발자와 과학자에게 올바른 제어 기능을 갖춘 명확한 출시 경로를 제공합니다.

인센티브를 조정하고 위험을 제거하고 원하는 결과에 대한 명확한 시각을 제공할 수 있는 기회가 있는 곳을 평가합니다. AI/ML 및 생성적 AI 애플리케이션 개발의 변화하는 요구 사항을 충족하기 위해 제어 지침 및 방어를 업데이트하여 개발 시간을 낭비하고 위험을 증가시키며 영향력을 높일 수 있는 혼란과 불확실성을 줄입니다.

보안 전문가가 아닌 이해관계자가 조직 거버넌스, 정책 및 위험 관리 단계가 워크로드에 적용되는 방식을 이해하고 위험 관리 메커니즘을 적용할 수 있는지 확인하십시오. 생성적 AI 애플리케이션에서 발생할 수 있는 현실적인 이벤트와 시나리오에 대응할 수 있도록 조직을 준비하고, 생성적 AI 빌더 역할과 대응 팀이 의심스러운 활동이 우려되는 경우 에스컬레이션 경로와 조치를 인식하고 있는지 확인하세요.

결론

새로운 기술로 혁신을 성공적으로 상용화하려면 보안 우선 사고 방식에서 시작하여 보안 인프라 기반을 구축하고 심층 방어 보안을 통해 기술 스택의 각 수준에서 보안을 조기에 추가로 통합하는 방법에 대해 생각해야 합니다. 접근하다. 여기에는 조직의 탄력성을 보장하기 위해 기술 스택의 여러 계층에서의 상호 작용과 디지털 공급망 내의 통합 지점이 포함됩니다. 생성적 AI로 인해 몇 가지 새로운 보안 및 개인 정보 보호 문제가 발생하지만 계층화된 보안 서비스를 통한 심층 방어 사용과 같은 기본적인 보안 모범 사례를 따르면 여러 가지 일반적인 문제와 진화하는 위협으로부터 조직을 보호할 수 있습니다. 생성적 AI 워크로드와 대규모 조직 전반에 걸쳐 계층화된 AWS 보안 서비스를 구현하고 디지털 공급망의 통합 지점에 집중하여 클라우드 환경을 보호해야 합니다. 그런 다음 Amazon SageMaker 및 Amazon Bedrock과 같은 AWS AI/ML 서비스의 향상된 보안 및 개인 정보 보호 기능을 사용하여 생성 AI 애플리케이션에 향상된 보안 및 개인 정보 보호 제어 계층을 추가할 수 있습니다. 처음부터 보안을 내장하면 규정 준수를 단순화하는 동시에 생성 AI를 통한 혁신이 더 빠르고 쉽고 비용 효율적이게 됩니다. 이를 통해 직원, 고객, 파트너, 규제 기관 및 기타 관련 이해관계자를 위한 생성 AI 애플리케이션에 대한 제어, 신뢰도 및 관찰 가능성을 높이는 데 도움이 됩니다.

추가 참조

• AI/ML 관련 위험 관리 및 보안을 위한 업계 표준 프레임워크:

저자 소개

크리스토퍼 레이 AWS 보안 서비스 채택을 가속화하고 확장하는 전략적 이니셔티브를 개발하고 실행하는 데 주력하는 주요 전 세계 보안 GTM 전문가입니다. 그는 미디어, 엔터테인먼트 및 통신 고객에게 보안 솔루션을 제공하는 글로벌 전략적 리더십 역할에서 20년 이상의 경험을 바탕으로 사이버 보안과 신기술의 교차점에 열정을 갖고 있습니다. 그는 독서, 여행, 음식과 와인, 새로운 음악 발견, 초기 단계 스타트업에 대한 조언을 통해 재충전합니다.

엘리야 윈터 Amazon 보안의 수석 보안 엔지니어로 사이버 보안 엔지니어링 학사 학위를 취득했으며 Harry Potter에 대한 사랑이 가득합니다. Elijah는 기술 전문 지식과 마법의 손길을 결합하여 AI 시스템의 취약점을 식별하고 해결하는 데 탁월합니다. Elijah는 AI 생태계를 위한 맞춤형 보안 프로토콜을 설계하여 디지털 방어에 마법 같은 재능을 불어넣습니다. 무결성을 추구하는 Elijah는 신뢰 보호에 중점을 둔 공공 및 상업 부문 조직 모두에서 보안 배경을 보유하고 있습니다.

램 비탈 AWS의 수석 ML 솔루션 아키텍트입니다. 그는 분산, 하이브리드 및 클라우드 애플리케이션을 설계하고 구축한 3년 이상의 경험을 보유하고 있습니다. 그는 기업 고객의 클라우드 채택 및 최적화 여정을 지원하여 비즈니스 성과를 개선할 수 있도록 안전하고 확장 가능한 AI/ML 및 빅 데이터 솔루션을 구축하는 데 열정을 쏟고 있습니다. 여가 시간에는 오토바이를 타고 3살짜리 Sheepadoodle과 함께 산책을 합니다!

내 네네 투테하 Amazon Web Services의 데이터 전문가입니다. AWS에 합류하기 전에 Navneet은 데이터 아키텍처를 현대화하고 포괄적인 AI/ML 솔루션을 구현하려는 조직의 조력자로 일했습니다. 그녀는 Thapar University에서 공학 학위를, Texas A&M University에서 통계학 석사 학위를 받았습니다.

에밀리 소워드 AWS Professional Services의 데이터 과학자입니다. 그녀는 영국 스코틀랜드 에든버러 대학교에서 자연어 처리(NLP)에 중점을 둔 인공 지능 분야의 이학 석사 학위를 취득했습니다. Emily는 공공 및 민간 부문의 조직에서 실행되는 AI 워크로드에 대한 AI 지원 제품 연구 및 개발, 운영 우수성, 거버넌스에 중점을 둔 응용 과학 및 엔지니어링 역할을 수행했습니다. 그녀는 AWS 선임 연사로, 최근에는 Machine Learning Lens에서 AWS Well-Architected의 저자로 고객 안내에 기여하고 있습니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://aws.amazon.com/blogs/machine-learning/architect-defense-in-depth-security-for-generative-ai-applications-using-the-owasp-top-10-for-llms/