생성 AI의 급속한 발전으로 다음과 같은 강력한 공개 대규모 언어 모델(LLM)이 탄생했습니다. DeepSeek-R1, 혁신의 최전선에. DeepSeek-R1 모델은 이제 다음을 통해 액세스할 수 있습니다. Amazon Bedrock 마켓플레이스 and Amazon SageMaker 점프스타트, 증류된 변형은 다음을 통해 제공됩니다. Amazon Bedrock 사용자 지정 모델 가져오기. 에 따르면 딥시크 AI, 이러한 모델은 추론, 코딩 및 자연어 이해에 강력한 역량을 제공합니다. 그러나 모든 모델과 마찬가지로 프로덕션 환경에서 배포하려면 데이터 개인 정보 보호 요구 사항, 출력의 편향에 대한 적절한 관리 및 강력한 모니터링 및 제어 메커니즘의 필요성에 대한 신중한 고려가 필요합니다.
DeepSeek-R1과 같은 오픈 소스, 오픈 가중치 모델을 채택하는 조직은 몇 가지 핵심 고려 사항을 해결할 수 있는 중요한 기회를 갖습니다.
- 다음과 같은 리소스를 통해 잠재적인 오용을 방지하기 위한 보안 조치 강화 OWASP LLM 상위 10 and MITRE 아틀라스
- 민감한 정보를 보호하기 위한 노력
- 책임 있는 콘텐츠 생성 관행 육성
- 관련 산업 규정 준수를 위해 노력
이러한 우려는 데이터 개인정보 보호와 콘텐츠 정확성이 가장 중요한 의료, 금융, 정부 서비스 등 규제가 엄격한 산업에서 특히 심각해집니다.
이 블로그 게시물은 Amazon Bedrock Guardrails를 사용하여 DeepSeek-R1 및 기타 오픈 웨이트 모델에 대한 견고한 안전 보호 기능을 구현하는 포괄적인 가이드를 제공합니다. 다음을 살펴보겠습니다.
- Amazon Bedrock이 제공하는 보안 기능을 사용하여 데이터와 애플리케이션을 보호하는 방법
- 즉각적인 공격을 방지하고 유해한 콘텐츠를 필터링하기 위한 가드레일의 실제 구현
- 강력한 심층 방어 전략 구현
이 가이드를 따르면 강력한 보안 제어를 유지하고 윤리적인 AI 관행을 촉진하는 동시에 DeepSeek 모델의 고급 기능을 사용하는 방법을 배울 수 있습니다. 고객 중심 생성 AI 애플리케이션이나 내부 도구를 개발하든 이러한 구현 패턴은 안전하고 책임감 있는 AI에 대한 요구 사항을 충족하는 데 도움이 됩니다. 이 단계별 접근 방식을 따르면 조직은 AI 안전 및 보안을 위한 모범 사례에 따라 DeepSeek-R1과 같은 오픈 가중치 LLM을 배포할 수 있습니다.
Amazon Bedrock에서의 DeepSeek 모델 및 배포
오픈 웨이트 파운데이션 AI 모델을 전문으로 하는 회사인 DeepSeek AI가 최근 출시했습니다. DeepSeek-R1 모델, 그들의에 따르면 종이 업계 벤치마크에서 뛰어난 추론 능력과 성과를 보였습니다. 제3자 평가에 따르면, 이러한 모델은 품질 지수, 과학적 추론 및 지식, 양적 추론, 코딩(HumanEval)을 포함한 다양한 지표에서 지속적으로 상위 3위를 달성했습니다.
이 회사는 DeepSeek-R1에서 파생된 1개의 고밀도 모델을 출시하여 포트폴리오를 더욱 발전시켰으며, Llama 및 Qwen 아키텍처를 기반으로 하며, 이를 통해 개방형 가중치 모델을 만들었습니다. 이러한 모델은 이제 AWS 생성 AI 솔루션을 통해 액세스할 수 있습니다. DeepSeek-RXNUMX은 다음을 통해 제공됩니다. Amazon Bedrock Marketplace 및 SageMaker Jumpstart, 라마 기반 증류 버전은 다음을 통해 구현될 수 있습니다. Amazon Bedrock 사용자 지정 모델 가져오기.
Amazon Bedrock은 포괄적인 서비스를 제공합니다. 보안 기능 데이터 프라이버시와 규정 준수를 유지하면서 오픈 소스 및 오픈 가중치 모델의 호스팅 및 운영을 안전하게 보호합니다. 주요 기능으로는 저장 및 전송 중 데이터 암호화, 세분화된 액세스 제어, 안전한 연결 옵션, 다양한 compliance 인증. 또한 Amazon Bedrock은 책임 있는 AI 사용을 지원하기 위해 콘텐츠 필터링 및 민감한 정보 보호를 위한 가드레일을 제공합니다. AWS는 광범위한 플랫폼 전체 보안 및 규정 준수 조치를 통해 이러한 기능을 강화합니다.
조직은 프로덕션 환경에 배포할 때 특정 규정 준수 및 보안 요구 사항에 따라 이러한 보안 설정을 사용자 지정해야 합니다. AWS는 보안 프로세스의 일부로 모든 모델 컨테이너의 취약성 스캐닝을 수행하고 다음 모델만 허용합니다. 세이프텐서 안전하지 않은 코드 실행을 방지하는 데 도움이 되는 형식입니다.
아마존 베드록 가드레일
Amazon Bedrock Guardrails는 대규모 생성 AI 애플리케이션을 안전하게 구축하는 데 도움이 되는 구성 가능한 보호 장치를 제공합니다. Amazon Bedrock Guardrails는 다음을 포함한 다른 Amazon Bedrock 도구와도 통합할 수 있습니다. Amazon Bedrock 에이전트 and Amazon Bedrock 기술 자료 책임 있는 AI 정책에 맞춰 더 안전하고 보안이 강화된 생성형 AI 애플리케이션을 구축합니다. 자세한 내용은 다음을 참조하세요. AWS 책임 있는 AI 페이지.
핵심 기능
Amazon Bedrock Guardrails는 두 가지 방법으로 사용할 수 있습니다. 첫째, InvokeModel 및 Converse API 호출과 직접 통합할 수 있으며, 추론 프로세스 중에 입력 프롬프트와 모델 출력에 모두 가드레일이 적용됩니다. 이 방법은 Amazon Bedrock Marketplace 및 Amazon Bedrock Custom Model Import를 통해 Amazon Bedrock에 호스팅된 모델에 적합합니다. 또는 ApplyGuardrail API는 보다 유연한 접근 방식을 제공하여 다음을 허용합니다. 콘텐츠에 대한 독립적인 평가 모델을 호출하지 않고도. 이 두 번째 방법은 Amazon Bedrock 외부의 사용자 지정 또는 타사 모델로 작업하여 애플리케이션의 다양한 단계에서 입력 또는 출력을 평가하는 데 유용합니다. 두 가지 접근 방식 모두 개발자가 사용 사례에 맞게 사용자 지정되고 책임 있는 AI 정책에 맞춰진 보호 장치를 구현하여 생성 AI 애플리케이션에서 안전하고 규정을 준수하는 상호 작용을 보장할 수 있습니다.
Amazon Bedrock Guardrails의 주요 정책
Amazon Bedrock Guardrails는 다음과 같은 구성 가능한 가드레일 정책을 제공하여 대규모 생성 AI 애플리케이션을 안전하게 구축하는 데 도움을 줍니다.
- 콘텐츠 필터
- 유해 콘텐츠에 대한 필터링 강도 조절 가능
- 사전 정의된 카테고리: 증오, 모욕, 성적 콘텐츠, 폭력, 부정 행위 및 즉흥 공격
- 텍스트와 이미지를 포함한 멀티모달 콘텐츠(미리보기)
- 주제 필터
- 특정 주제를 제한하는 기능
- 질의 및 응답 모두에서 허가되지 않은 주제 방지
- 단어 필터
- 특정 단어, 구문 및 욕설을 차단합니다.
- 공격적인 언어나 경쟁자 참조에 대한 사용자 정의 필터
- 민감한 정보 필터
- 개인 식별 정보(PII) 차단 또는 마스킹
- 사용자 정의 정규식 패턴 지원
- 표준 형식(SSN, DOB 및 주소 등)에 대한 확률적 감지
- 문맥별 접지 확인
- 소스 접지를 통한 환각 감지
- 쿼리 관련성 검증
- 환각 예방을 위한 자동 추론 검사(게이트된 미리보기)
기타 기능
모델에 독립적인 구현:
- 모든 Amazon Bedrock 기초 모델과 호환 가능
- 미세 조정된 모델 지원
- ApplyGuardrail API를 통해 외부 사용자 정의 및 타사 모델로 확장
이 포괄적인 프레임워크는 고객이 다양한 생성 AI 애플리케이션에서 콘텐츠의 안전과 사용자 개인 정보를 유지하면서 책임감 있는 AI를 구현하는 데 도움이 됩니다.
솔루션 개요
- 가드레일 구성
- 귀하의 사용 사례에 맞는 구체적인 정책으로 가드레일을 만들고 정책을 구성합니다.
- InvokeModel API와 통합
- 요청에 가드레일 식별자를 사용하여 Amazon Bedrock InvokeModel API를 호출합니다.
- API 호출을 하면 Amazon Bedrock은 지정된 가드레일을 입력과 출력 모두에 적용합니다.
- 가드레일 평가 프로세스
-
- 입력 평가: 모델에 프롬프트를 보내기 전에 가드레일은 구성된 정책에 대해 사용자 입력을 평가합니다.
- 병렬 정책 검사: 지연 시간을 개선하기 위해 구성된 각 정책에 대한 입력이 병렬로 평가됩니다.
- 입력 개입: 입력이 가드레일 정책을 위반하는 경우, 미리 구성된 차단 메시지가 반환되고 모델 추론은 삭제됩니다.
- 모델 추론: 입력이 가드레일 검사를 통과하면 프롬프트가 추론을 위해 지정된 모델로 전송됩니다.
- 출력 평가: 모델이 응답을 생성한 후 가드레일은 구성된 정책에 대해 출력을 평가합니다.
- 출력 개입: 모델 응답이 가드레일 정책을 위반하는 경우, 정책에 따라 사전 구성된 메시지로 차단되거나 민감한 정보가 마스크됩니다.
- 응답 전달: 출력이 모든 가드레일 검사를 통과하면 응답은 수정 없이 애플리케이션으로 반환됩니다.
사전 조건
Amazon Bedrock Custom Model Import 기능을 사용하여 가져온 모델에 대한 가드레일을 설정하기 전에 다음 전제 조건을 충족하는지 확인하세요.
- Amazon Bedrock에 액세스할 수 있는 AWS 계정과 필요한 권한이 있는 필수 IAM 역할. 중앙 집중식 액세스 관리의 경우 다음을 사용하는 것이 좋습니다. AWS IAM 자격 증명 센터.
- Amazon Bedrock Custom Model Import 서비스를 사용하여 사용자 정의 모델이 이미 가져왔는지 확인하십시오. 예를 들어, DeepSeek-R1-Distill-Llama-8B를 사용하겠습니다. Amazon Bedrock 사용자 지정 모델 가져오기. 이 모델을 배포하는 데는 두 가지 옵션이 있습니다.
여기에서 설명한 대로 AWS Management Console을 사용하여 가드레일을 생성할 수 있습니다. 블로그 게시물. 또는 이것을 따를 수 있습니다. 수첩 이 솔루션에서 가드레일을 만드는 방법에 대한 프로그래밍적 예는 다음과 같습니다. 이 노트북은 다음을 수행합니다.
- 필수 종속성 설치
- 이전에 언급한 사용 사례를 충족하기 위해 boto3 API와 필터를 사용하여 가드레일을 만듭니다.
- 가져온 모델에 대한 토크나이저를 구성합니다.
- 다양한 Amazon Bedrock 가드레일 필터가 실제로 작동하는 모습을 보여주는 프롬프트를 사용하여 Amazon Bedrock 가드레일을 테스트합니다.
이 접근 방식은 사용자 입력과 모델 출력에 모두 가드레일을 통합합니다. 이를 통해 상호 작용의 두 단계 모두에서 잠재적으로 유해하거나 부적절한 콘텐츠가 차단됩니다. Amazon Bedrock Custom Model Import, Amazon Bedrock Marketplace 및 Amazon SageMaker JumpStart를 사용하여 가져온 오픈 웨이트 증류 모델의 경우 구현해야 할 중요한 필터에는 신속한 공격, 콘텐츠 조정, 주제 제한 및 민감한 정보 보호 필터가 포함됩니다.
AWS 서비스를 사용하여 심층 방어 전략 구현
Amazon Bedrock Guardrails는 필수적인 콘텐츠와 신속한 안전 제어를 제공하지만, 특히 DeepSeek-R1과 같은 오픈 웨이트 모델을 배포할 때는 포괄적인 심층 방어 전략을 구현하는 것이 중요합니다. LLM을 위한 OWASP Top 10과 일치하는 심층 방어 접근 방식에 대한 자세한 지침은 이전 블로그 게시물 안전한 생성 AI 애플리케이션을 설계하는 방법에 대해 설명합니다.
주요 특징은 다음과 같습니다.
- 보안을 염두에 두고 조직의 회복력 개발
- AWS 서비스를 사용하여 안전한 클라우드 기반 구축
- 다중 신뢰 경계에 걸쳐 계층적 방어 전략 적용
- LLM 애플리케이션을 위한 OWASP 상위 10대 위험 해결
- AI/ML 라이프사이클 전반에 걸쳐 보안 모범 사례 구현
- AI 및 머신 러닝(AI/ML) 관련 기능과 함께 AWS 보안 서비스 사용
- 다양한 관점을 고려하고 보안을 비즈니스 목표에 맞춰 조정합니다.
- 즉각적인 주입 및 데이터 오염과 같은 위험에 대비하고 완화
모델 수준 제어(가드레일)와 심층 방어 전략을 결합하면 다음을 보호하는 데 도움이 되는 강력한 보안 태세가 구축됩니다.
- 데이터 유출 시도
- 미세 조정된 모델 또는 교육 데이터에 대한 무단 액세스
- 모델 구현의 잠재적 취약점
- AI 에이전트 및 통합의 악의적 사용
우리는 다음을 사용하여 철저한 위협 모델링 연습을 수행하는 것을 권장합니다. 생성 AI 워크로드에 대한 AWS 지침 새로운 AI/ML 솔루션을 배포하기 전에. 이를 통해 보안 제어를 특정 위험 시나리오 및 비즈니스 요구 사항에 맞게 조정할 수 있습니다.
결론
DeepSeek-R1 모델을 포함한 LLM에 대한 안전 보호 구현은 안전하고 윤리적인 AI 환경을 유지하는 데 매우 중요합니다. Amazon Bedrock InvokeModel API 및 ApplyGuardrails API와 함께 Amazon Bedrock Guardrails를 사용하면 고급 언어 모델과 관련된 위험을 완화하는 동시에 강력한 기능을 활용할 수 있습니다. 그러나 모델 수준 보호는 포괄적인 보안 전략의 한 구성 요소일 뿐이라는 점을 인식하는 것이 중요합니다.
이 게시물에 설명된 전략은 Amazon Bedrock Custom Model Import, Amazon Bedrock Marketplace 및 Amazon SageMaker JumpStart를 사용하여 Amazon Bedrock에서 호스팅되는 다양한 오픈 가중치 모델에서 공통적으로 나타나는 몇 가지 주요 보안 문제를 해결합니다. 여기에는 주입 공격을 촉진하는 잠재적 취약성, 유해한 콘텐츠 생성 및 최근 평가에서 확인된 기타 위험이 포함됩니다. 이러한 가드레일을 심층 방어 접근 방식과 함께 구현함으로써 조직은 오용 위험을 크게 줄이고 AI 애플리케이션을 윤리적 표준 및 규제 요구 사항에 더 잘 맞출 수 있습니다.
AI 기술이 계속 발전함에 따라 생성 AI의 안전성과 책임 있는 사용을 우선시하는 것이 필수적입니다. Amazon Bedrock Guardrails는 이러한 보호 조치를 구현하기 위한 구성 가능하고 강력한 프레임워크를 제공하여 개발자가 특정 사용 사례와 조직 정책에 따라 보호 조치를 사용자 정의할 수 있도록 합니다. AWS 지침을 사용하여 AI 워크로드에 대한 철저한 위협 모델링을 수행하여 보안 위험을 평가하고 전체 기술 스택에 적절한 제어를 구현하는 것이 좋습니다.
새로운 잠재적 취약성을 해결하고 빠르게 진화하는 AI 보안 환경에서 새로운 위협으로부터 보호를 유지하기 위해 가드레일뿐만 아니라 모든 보안 제어를 정기적으로 검토하고 업데이트하는 것을 잊지 마세요. 오늘날 우리는 DeepSeek-R1 모델에 집중하고 있지만 AI 환경은 새로운 모델이 정기적으로 등장하면서 지속적으로 진화하고 있습니다. AWS 보안 서비스 및 모범 사례와 결합된 Amazon Bedrock Guardrails는 현재와 미래의 다양한 오픈 가중치 모델에서 생성 AI 애플리케이션을 보호하도록 적응할 수 있는 일관된 보안 프레임워크를 제공합니다. 보안을 평가, 개선 및 적응의 지속적인 프로세스로 취급함으로써 조직은 강력한 보안 제어를 유지하면서 혁신적인 AI 솔루션을 자신 있게 배포할 수 있습니다.
저자에 관하여
사트비르 쿠르파 Amazon Web Services의 Bedrock에서 Sr. WW Specialist Solutions Architect로 일하고 있습니다. 이 직책에서 그는 클라우드 기반 아키텍처에 대한 전문 지식을 활용하여 다양한 산업의 고객을 위한 혁신적인 생성 AI 솔루션을 개발합니다. Satveer는 생성 AI 기술에 대한 깊은 이해를 바탕으로 확장 가능하고 안전하며 책임감 있는 애플리케이션을 설계하여 새로운 비즈니스 기회를 창출하고 실질적인 가치를 창출합니다.
아데월 아킨파데린 Amazon Bedrock의 Sr. Data Scientist-Generative AI로, AWS에서 기초 모델과 생성 AI 애플리케이션의 최첨단 혁신에 기여하고 있습니다. 그의 전문 분야는 재현 가능하고 종단 간 AI/ML 방법, 실용적인 구현, 글로벌 고객이 학제 간 문제에 대한 확장 가능한 솔루션을 공식화하고 개발하도록 돕는 것입니다. 그는 물리학에서 두 개의 대학원 학위와 공학에서 박사 학위를 취득했습니다.
안토니오 로드리게스 Amazon Web Services의 Principal Generative AI Specialist Solutions Architect입니다. 그는 모든 규모의 회사가 Amazon Bedrock을 통해 과제를 해결하고 혁신을 수용하며 새로운 사업 기회를 창출하도록 돕습니다. 그는 일 외에도 가족과 시간을 보내고 친구들과 스포츠를 즐기는 것을 좋아합니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/machine-learning/protect-your-deepseek-model-deployments-with-amazon-bedrock-guardrails/
