제퍼넷 로고

Amazon Bedrock용 에이전트 및 기술 자료를 사용하여 보험 청구 수명 주기 자동화 | 아마존 웹 서비스

시간

제너레이티브 AI 에이전트는 대기업을 위한 다양하고 강력한 도구입니다. 이를 통해 운영 효율성, 고객 서비스, 의사 결정을 향상시키는 동시에 비용을 절감하고 혁신을 실현할 수 있습니다. 이러한 에이전트는 데이터 입력, 고객 지원 문의, 콘텐츠 생성 등 광범위하고 일상적이고 반복적인 작업을 자동화하는 데 탁월합니다. 또한 작업을 더 작고 관리 가능한 단계로 나누고, 다양한 작업을 조정하고, 조직 내 프로세스의 효율적인 실행을 보장함으로써 복잡한 다단계 워크플로를 조율할 수 있습니다. 이를 통해 인적 자원에 대한 부담이 크게 줄어들고 직원들은 보다 전략적이고 창의적인 업무에 집중할 수 있습니다.

AI 기술이 계속 발전함에 따라 생성 AI 에이전트의 기능이 확장되어 고객이 경쟁 우위를 확보할 수 있는 더 많은 기회를 제공할 것으로 예상됩니다. 이러한 진화의 최전선에는 아마존 기반암는 API를 통해 Amazon 및 기타 주요 AI 기업의 고성능 기반 모델(FM)을 제공하는 완전관리형 서비스입니다. Amazon Bedrock을 사용하면 보안, 개인 정보 보호 및 책임 있는 AI를 갖춘 생성 AI 애플리케이션을 구축하고 확장할 수 있습니다. 이제 다음을 사용할 수 있습니다. Amazon Bedrock용 에이전트Amazon Bedrock에 대한 기술 자료 자연어 입력과 조직의 데이터를 기반으로 작업을 원활하게 실행하는 전문 에이전트를 구성합니다. 이러한 관리형 에이전트는 FM, API 통합, 사용자 대화, 데이터가 로드된 지식 소스 간의 상호 작용을 조율하고 지휘자 역할을 합니다.

이 게시물에서는 Amazon Bedrock용 에이전트 및 지식 베이스를 사용하여 기존 엔터프라이즈 리소스를 기반으로 보험 청구 수명 주기와 관련된 작업을 자동화하고, 고객 서비스를 효율적으로 확장 및 개선하고, 향상된 지식 관리를 통해 의사 결정 지원을 강화할 수 있는 방법을 강조합니다. Amazon Bedrock 기반 보험 대리인은 새로운 청구를 생성하고, 미결 청구에 대해 보류 중인 문서 알림을 보내고, 청구 증거를 수집하고, 기존 청구 및 고객 지식 저장소에서 정보를 검색하여 상담원을 지원할 수 있습니다.

솔루션 개요

이 솔루션의 목적은 고객을 위한 기반 역할을 하여 가상 비서 및 자동화 작업과 같은 다양한 요구 사항에 맞는 전문 에이전트를 직접 만들 수 있도록 지원하는 것입니다. 배포에 필요한 코드와 리소스는 다음에서 사용할 수 있습니다. Amazon-bedrock-예제 저장소.

다음 데모 녹화에서는 Amazon Bedrock 기능과 기술 구현 세부 사항에 대한 에이전트 및 기술 자료를 강조합니다.

Amazon Bedrock의 에이전트와 기술 자료는 함께 작동하여 다음 기능을 제공합니다.

  • 작업 조정 – 에이전트는 FM을 사용하여 자연어 문의를 이해하고 다단계 작업을 더 작고 실행 가능한 단계로 분석합니다.
  • 대화형 데이터 수집 – 상담원은 자연스러운 대화에 참여하여 사용자로부터 보충 정보를 수집합니다.
  • 임무 이행 – 상담원은 일련의 추론 단계와 그에 따른 조치를 통해 고객 요청을 완료합니다. 반응 프롬프트.
  • 시스템 통합 – 에이전트는 특정 작업을 실행하기 위해 통합 회사 시스템에 API 호출을 수행합니다.
  • 데이터 쿼리 – 지식 기반은 완전 관리형을 통해 정확성과 성능을 향상시킵니다. 검색 증강 생성 (RAG) 고객별 데이터 소스를 사용합니다.
  • 소스 속성 – 에이전트는 소스 귀속을 수행하고 사고 사슬 추론을 통해 정보나 행동의 출처를 식별하고 추적합니다.

다음 다이어그램은 솔루션 아키텍처를 보여줍니다.

에이전트 개요

워크플로는 다음 단계로 구성됩니다.

  1. 사용자는 에이전트에 자연어 입력을 제공합니다. 다음은 몇 가지 예시 프롬프트입니다.
    1. 새 소유권 주장을 만듭니다.
    2. 2s34w-8x 청구의 보험 보유자에게 보류 중인 문서 알림을 보냅니다.
    3. 5t16u-7v 주장에 대한 증거를 수집하세요.
    4. 청구 3b45c-9d에 대한 총 청구 금액은 얼마입니까?
    5. 동일한 청구에 대한 수리 견적 총액은 얼마입니까?
    6. 내 자동차 보험료는 어떤 요인에 의해 결정되나요?
    7. 자동차 보험료를 낮추려면 어떻게 해야 하나요?
    8. 어떤 주장이 진행 중인 상태인가요?
    9. 공개 청구가 있는 모든 보험 계약자에게 알림을 보냅니다.
  2. 전처리 중에 에이전트는 사용자 입력을 검증하고 상황에 맞게 분류하고 분류합니다. 사용자 입력(또는 작업)은 상담원이 채팅 기록과 지침 및 진행 중에 지정된 기본 FM을 사용하여 해석합니다. 에이전트 생성. 에이전트의 지침은 에이전트의 의도된 작업을 설명하는 설명 지침입니다. 또한 선택적으로 구성할 수도 있습니다. 고급 프롬프트를 사용하면 보다 세부적인 구성을 사용하고 몇 번 메시지를 표시하기 위해 수동으로 선택한 예를 제공하여 에이전트의 정밀도를 높일 수 있습니다. 이 방법을 사용하면 특정 작업과 관련된 레이블이 지정된 예제를 제공하여 모델의 성능을 향상할 수 있습니다.
  3. 활동 그룹 OpenAPI 스키마가 JSON 파일로 정의된 API 및 해당 비즈니스 로직의 집합입니다. 아마존 단순 스토리지 서비스 (아마존 S3). 스키마를 통해 에이전트는 각 API의 기능을 추론할 수 있습니다. 각 작업 그룹은 비즈니스 논리가 다음을 통해 실행되는 하나 이상의 API 경로를 지정할 수 있습니다. AWS 람다 작업 그룹과 관련된 기능입니다.
  4. Amazon Bedrock에 대한 기술 자료는 완전 관리형 RAG를 제공하여 에이전트에 데이터 액세스 권한을 제공합니다. 먼저 상담원에게 지식 베이스 사용 시기를 알려주는 설명을 지정하여 지식 베이스를 구성합니다. 그런 다음 기술 자료를 Amazon S3 데이터 원본으로 지정합니다. 마지막으로 임베딩 모델을 지정하고 기존 벡터 스토어를 사용하도록 선택하거나 Amazon Bedrock이 사용자를 대신하여 벡터 스토어를 생성하도록 허용합니다. 구성한 후 각 데이터 소스 동기화 에이전트가 사용자에게 정보를 반환하거나 후속 FM 프롬프트를 보강하는 데 사용할 수 있는 데이터의 벡터 임베딩을 생성합니다.
  5. 오케스트레이션 중에 에이전트는 기본 FM에 대한 기본 프롬프트를 보강하는 데 사용할 수 있는 관찰을 생성하기 위해 작업 그룹 API 호출 및 지식 기반 쿼리가 필요한 논리적 단계에 대한 근거를 개발합니다. 이 ReAct 스타일 프롬프트는 FM 활성화를 위한 입력 역할을 하며, FM은 사용자의 작업을 완료하기 위한 가장 최적의 작업 순서를 예상합니다.
  6. 사후 처리 중에 모든 오케스트레이션 반복이 완료된 후 에이전트는 최종 응답을 선별합니다. 후처리는 기본적으로 비활성화되어 있습니다.

다음 섹션에서는 구현 전 단계, 테스트 및 검증을 포함하여 솔루션을 배포하는 주요 단계에 대해 설명합니다.

AWS CloudFormation으로 솔루션 리소스 생성

에이전트 및 지식 기반을 생성하기 전에 고객이 사용하는 기존 리소스를 밀접하게 반영하는 시뮬레이션 환경을 구축하는 것이 중요합니다. Amazon Bedrock용 에이전트 및 기술 자료는 Lambda 제공 비즈니스 로직과 Amazon S3에 저장된 고객 데이터 저장소를 사용하여 이러한 리소스를 기반으로 구축되도록 설계되었습니다. 이러한 기본 조정을 통해 에이전트 및 지식 기반 솔루션을 기존 인프라와 원활하게 통합할 수 있습니다.

상담원이 활용하는 기존 고객 리소스를 에뮬레이션하기 위해 이 솔루션은 다음을 사용합니다. 생성-고객-resources.sh 매개변수화된 프로비저닝을 자동화하는 쉘 스크립트 AWS 클라우드 포메이션 주형, 기반암-고객-resources.yml, 다음 리소스를 배포합니다.

  • An 아마존 DynamoDB 합성으로 채워진 테이블 청구 데이터.
  • 청구 생성, 미결 상태 청구에 대한 보류 중인 문서 알림 전송, 신규 및 기존 청구에 대한 증거 수집을 위한 고객 비즈니스 로직을 나타내는 세 가지 Lambda 함수입니다.
  • 이전 Lambda 함수에 대한 OpenAPI 스키마 형식의 API 문서와 수리 견적, 청구 금액, 회사 FAQ 및 필수 청구 문서 설명이 포함된 S3 버킷입니다. 지식 기반 데이터 원본 자산.
  • An 아마존 단순 알림 서비스 (Amazon SNS) 청구 상태 및 보류 중인 작업에 대한 이메일 알림을 위해 보험 계약자의 이메일을 구독하는 주제입니다.
  • AWS 자격 증명 및 액세스 관리 (IAM) 이전 리소스에 대한 권한입니다.

AWS CloudFormation은 템플릿에 제공된 기본값으로 스택 매개변수를 미리 채웁니다. 대체 입력 값을 제공하려면 매개변수를 참조되는 환경 변수로 지정할 수 있습니다. ParameterKey=<ParameterKey>,ParameterValue=<Value> 다음 쉘 스크립트의 쌍 aws cloudformation create-stack 명령.

리소스를 프로비저닝하려면 다음 단계를 완료하십시오.

  1. 로컬 복사본을 생성합니다. amazon-bedrock-samples 다음을 사용하는 저장소 git clone:
    git clone https://github.com/aws-samples/amazon-bedrock-samples.git

  2. 셸 스크립트를 실행하기 전에 amazon-bedrock-samples 저장소를 실행하고 셸 스크립트 권한을 실행 파일로 수정합니다.
    # If not already cloned, clone the remote repository (https://github.com/aws-samples/amazon-bedrock-samples) and change working directory to insurance agent shell folder
    cd amazon-bedrock-samples/agents/insurance-claim-lifecycle-automation/shell/
    chmod u+x create-customer-resources

  3. CloudFormation 스택 이름, SNS 이메일, 증거 업로드 URL 환경 변수를 설정합니다. SNS 이메일은 보험계약자 알림용으로 사용되며, 증거 업로드 URL은 보험계약자에게 공유되어 보험금 청구 증거를 업로드합니다. 그만큼 보험 청구 처리 샘플 증거 업로드 URL에 대한 예제 프런트엔드를 제공합니다.
    export STACK_NAME=<YOUR-STACK-NAME> # Stack name must be lower case for S3 bucket naming convention
    export SNS_EMAIL=<YOUR-POLICY-HOLDER-EMAIL> # Email used for SNS notifications
    export EVIDENCE_UPLOAD_URL=<YOUR-EVIDENCE-UPLOAD-URL> # URL provided by the agent to the policy holder for evidence upload

  4. 실행 create-customer-resources.sh 에 정의된 에뮬레이트된 고객 리소스를 배포하는 셸 스크립트 bedrock-insurance-agent.yml CloudFormation 템플릿. 이는 에이전트와 지식 기반이 구축될 리소스입니다.
    source ./create-customer-resources.sh

앞의 source ./create-customer-resources.sh 쉘 명령은 다음을 실행합니다 AWS 명령 줄 인터페이스 (AWS CLI) 에뮬레이트된 고객 리소스 스택을 배포하는 명령:

export ACCOUNT_ID=$(aws sts get-caller-identity --query Account --output text)
export ARTIFACT_BUCKET_NAME=$STACK_NAME-customer-resources
export DATA_LOADER_KEY="agent/lambda/data-loader/loader_deployment_package.zip"
export CREATE_CLAIM_KEY="agent/lambda/action-groups/create_claim.zip"
export GATHER_EVIDENCE_KEY="agent/lambda/action-groups/gather_evidence.zip"
export SEND_REMINDER_KEY="agent/lambda/action-groups/send_reminder.zip"

aws s3 mb s3://${ARTIFACT_BUCKET_NAME} --region us-east-1
aws s3 cp ../agent/ s3://${ARTIFACT_BUCKET_NAME}/agent/ --recursive --exclude ".DS_Store"

export BEDROCK_AGENTS_LAYER_ARN=$(aws lambda publish-layer-version 
--layer-name bedrock-agents 
--description "Agents for Bedrock Layer" 
--license-info "MIT" 
--content S3Bucket=${ARTIFACT_BUCKET_NAME},S3Key=agent/lambda/lambda-layer/bedrock-agents-layer.zip 
--compatible-runtimes python3.11 
--query LayerVersionArn --output text)

aws cloudformation create-stack 
--stack-name ${STACK_NAME} 
--template-body file://../cfn/bedrock-customer-resources.yml 
--parameters 
ParameterKey=ArtifactBucket,ParameterValue=${ARTIFACT_BUCKET_NAME} 
ParameterKey=DataLoaderKey,ParameterValue=${DATA_LOADER_KEY} 
ParameterKey=CreateClaimKey,ParameterValue=${CREATE_CLAIM_KEY} 
ParameterKey=GatherEvidenceKey,ParameterValue=${GATHER_EVIDENCE_KEY} 
ParameterKey=SendReminderKey,ParameterValue=${SEND_REMINDER_KEY} 
ParameterKey=BedrockAgentsLayerArn,ParameterValue=${BEDROCK_AGENTS_LAYER_ARN} 
ParameterKey=SNSEmail,ParameterValue=${SNS_EMAIL} 
ParameterKey=EvidenceUploadUrl,ParameterValue=${EVIDENCE_UPLOAD_URL} 
--capabilities CAPABILITY_NAMED_IAM

aws cloudformation describe-stacks --stack-name $STACK_NAME --query "Stacks[0].StackStatus"
aws cloudformation wait stack-create-complete --stack-name $STACK_NAME

지식 기반 만들기

Amazon Bedrock의 지식 베이스는 고객 데이터 저장소를 활용하여 FM에서 생성된 응답을 향상시키는 기술인 RAG를 사용합니다. 지식 기반을 통해 상담원은 광범위한 관리자 오버헤드 없이 기존 고객 데이터 저장소에 액세스할 수 있습니다. 기술 자료를 데이터에 연결하려면 S3 버킷을 데이터 소스. 지식 기반을 통해 애플리케이션은 풍부한 상황 정보를 얻고 완전 관리형 RAG 솔루션을 통해 개발을 간소화합니다. 이러한 추상화 수준은 데이터를 에이전트 기능에 통합하는 노력을 최소화하여 출시 시간을 가속화하고 개인 데이터를 사용하기 위한 지속적인 모델 재교육의 필요성을 없애 비용을 최적화합니다.

다음 다이어그램은 임베딩 모델을 사용하는 지식창고의 아키텍처를 보여줍니다.

기술 자료 개요

기술 자료 기능은 전처리(1~3단계)와 런타임(4~7단계)이라는 두 가지 주요 프로세스를 통해 설명됩니다.

  1. 문서는 관리 가능한 섹션으로 분할(청킹)됩니다.
  2. 해당 청크는 Amazon Bedrock 임베딩 모델을 사용하여 임베딩으로 변환됩니다.
  3. 임베딩은 벡터 인덱스를 생성하는 데 사용되어 사용자 쿼리와 데이터 소스 텍스트 간의 의미론적 유사성을 비교할 수 있습니다.
  4. 런타임 중에 사용자는 텍스트 입력을 프롬프트로 제공합니다.
  5. 입력 텍스트는 Amazon Bedrock 임베딩 모델을 사용하여 벡터로 변환됩니다.
  6. 벡터 인덱스는 사용자 쿼리와 관련된 청크에 대해 쿼리되어 벡터 인덱스에서 검색된 추가 컨텍스트로 사용자 프롬프트를 강화합니다.
  7. 추가 컨텍스트와 결합된 증강 프롬프트는 사용자에 대한 응답을 생성하는 데 사용됩니다.

기술 자료를 만들려면 다음 단계를 완료하세요.

  1. Amazon Bedrock 콘솔에서 다음을 선택합니다. 기술 자료 탐색 창에서
  2. 왼쪽 메뉴에서 지식창고 만들기.
  3. $XNUMX Million 미만 지식창고 세부정보 제공에서 이름과 선택적 설명을 입력하고 모든 기본 설정을 그대로 둡니다. 이 게시물에서는 설명을 입력합니다.
    Use to retrieve claim amount and repair estimate information for claim ID, or answer general insurance questions about things like coverage, premium, policy, rate, deductible, accident, and documents.
  4. $XNUMX Million 미만 데이터 소스 설정이름을 입력하십시오.
  5. 왼쪽 메뉴에서 S3 찾아보기 선택하고 knowledge-base-assets 이전에 배포한 데이터 소스 S3 버킷의 폴더(<YOUR-STACK-NAME>-customer-resources/agent/knowledge-base-assets/).
    기술 자료 S3 데이터 소스 구성
  6. $XNUMX Million 미만 임베딩 모델 선택 및 벡터 저장소 구성선택한다. Titan 임베딩 G1 – 텍스트 다른 기본 설정은 그대로 둡니다. 안 Amazon OpenSearch 서버리스 수집 당신을 위해 생성됩니다. 이 벡터 저장소는 지식 기반 전처리 임베딩이 저장되고 나중에 쿼리와 데이터 소스 텍스트 간의 의미 유사성 검색에 사용되는 곳입니다.
  7. $XNUMX Million 미만 검토 및 생성, 구성 설정을 확인한 후 다음을 선택하세요. 지식창고 만들기.
    기술 자료 구성 개요
  8. 기술 자료가 생성되면 녹색의 "성공적으로 생성됨" 배너가 데이터 소스 동기화 옵션과 함께 표시됩니다. 선택하다 Sync 데이터 소스 동기화를 시작합니다.
    기술 자료 생성 배너
  9. Amazon Bedrock 콘솔에서 방금 생성한 지식 베이스로 이동한 후 아래에 있는 지식 베이스 ID를 기록해 둡니다. 기술 자료 개요.
    기술 자료 개요
  10. 지식 베이스가 선택된 상태에서 아래에 나열된 지식 베이스 데이터 소스를 선택하세요. 데이터 소스을 클릭한 다음 아래의 데이터 소스 ID를 기록해 둡니다. 데이터 소스 개요.

기술 자료 ID와 데이터 원본 ID는 에이전트에 Streamlit 웹 UI를 배포할 때 이후 단계에서 환경 변수로 사용됩니다.

에이전트 만들기

에이전트는 다음과 같은 몇 가지 주요 구성 요소로 구성된 빌드 타임 실행 프로세스를 통해 작동합니다.

  • 기초 모델 – 사용자는 오케스트레이션 프로세스 중에 사용자 입력을 해석하고, 응답을 생성하고, 후속 작업을 지시하는 과정에서 에이전트를 안내하는 FM을 선택합니다.
  • 명령 – 사용자는 에이전트의 의도된 기능을 설명하는 자세한 지침을 작성합니다. 선택 사항인 고급 프롬프트를 사용하면 각 오케스트레이션 단계에서 사용자 정의가 가능하며 Lambda 함수를 통합하여 출력을 구문 분석할 수 있습니다.
  • (선택 사항) 작업 그룹 – 사용자는 OpenAPI 스키마를 사용하여 작업 실행을 위한 API를 정의하고 Lambda 함수를 사용하여 API 입력 및 출력을 처리함으로써 에이전트에 대한 작업을 정의합니다.
  • (선택 사항) 기술 자료 – 사용자는 에이전트를 지식 기반과 연결하여 응답 생성 및 조정 단계에 대한 추가 컨텍스트에 대한 액세스 권한을 부여할 수 있습니다.

이 샘플 솔루션의 에이전트는 Amazon Bedrock의 Anthropic Claude V2.1 FM, 지침 세트, XNUMX개의 작업 그룹 및 XNUMX개의 기술 자료를 사용합니다.

에이전트를 생성하려면 다음 단계를 완료하세요.

  1. Amazon Bedrock 콘솔에서 다음을 선택합니다. 에이전트 탐색 창에서
  2. 왼쪽 메뉴에서 에이전트 만들기.
  3. $XNUMX Million 미만 에이전트 세부정보 제공에서 에이전트 이름과 선택적 설명을 입력하고 다른 모든 기본 설정은 그대로 둡니다.
  4. $XNUMX Million 미만 모델 선택선택한다. 인류 클로드 V2.1 에이전트에 대해 다음 지침을 지정합니다. You are an insurance agent that has access to domain-specific insurance knowledge. You can create new insurance claims, send pending document reminders to policy holders with open claims, and gather claim evidence. You can also retrieve claim amount and repair estimate information for a specific claim ID or answer general insurance questions about things like coverage, premium, policy, rate, deductible, accident, documents, resolution, and condition. You can answer internal questions about things like which steps an agent should follow and the company's internal processes. You can respond to questions about multiple claim IDs within a single conversation
  5. 왼쪽 메뉴에서 다음 보기.
  6. $XNUMX Million 미만 작업 그룹 추가, 첫 번째 작업 그룹을 추가합니다.
    1. 럭셔리 작업 그룹 이름을 입력하세요., 입력 create-claim.
    2. 럭셔리 상품 설명, 입력 Use this action group to create an insurance claim
    3. 럭셔리 Lambda 함수 선택선택한다. <YOUR-STACK-NAME>-CreateClaimFunction.
    4. 럭셔리 API 스키마 선택선택한다. S3 찾아보기, 이전에 생성된 버킷을 선택합니다(<YOUR-STACK-NAME>-customer-resources)를 선택한 다음 agent/api-schema/create_claim.json.
  7. 두 번째 작업 그룹을 만듭니다.
    1. 럭셔리 작업 그룹 이름을 입력하세요., 입력 gather-evidence.
    2. 럭셔리 상품 설명, 입력 Use this action group to send the user a URL for evidence upload on open status claims with pending documents. Return the documentUploadUrl to the user
    3. 럭셔리 Lambda 함수 선택선택한다. <YOUR-STACK-NAME>-GatherEvidenceFunction.
    4. 럭셔리 API 스키마 선택선택한다. S3 찾아보기, 이전에 생성된 버킷을 선택한 후 agent/api-schema/gather_evidence.json.
  8. 세 번째 작업 그룹을 만듭니다.
    1. 럭셔리 작업 그룹 이름을 입력하세요., 입력 send-reminder.
    2. 럭셔리 상품 설명, 입력 Use this action group to check claim status, identify missing or pending documents, and send reminders to policy holders
    3. 럭셔리 Lambda 함수 선택선택한다. <YOUR-STACK-NAME>-SendReminderFunction.
    4. 럭셔리 API 스키마 선택선택한다. S3 찾아보기, 이전에 생성된 버킷을 선택한 후 agent/api-schema/send_reminder.json.
  9. 왼쪽 메뉴에서 다음 보기.
  10. 럭셔리 기술 자료 선택, 이전에 생성한 기술 자료를 선택합니다(claims-knowledge-base).
  11. 럭셔리 에이전트에 대한 기술 자료 지침, 다음을 입력: Use to retrieve claim amount and repair estimate information for claim ID, or answer general insurance questions about things like coverage, premium, policy, rate, deductible, accident, and documents
  12. 왼쪽 메뉴에서 다음 보기.
  13. $XNUMX Million 미만 검토 및 생성, 구성 설정을 확인한 후 다음을 선택하세요. 에이전트 만들기.
    에이전트 구성 개요

에이전트가 생성되면 녹색의 "성공적으로 생성됨" 배너가 표시됩니다.

에이전트 생성 배너

테스트 및 검증

다음 테스트 절차는 에이전트가 새로운 청구 생성, 미결 청구에 대해 보류 중인 문서 미리 알림 보내기, 청구 증거 수집, 기존 청구 및 고객 지식 저장소에서 정보 검색을 위한 사용자 의도를 올바르게 식별하고 이해하는지 확인하는 것을 목표로 합니다. 응답 정확성은 Amazon Bedrock용 에이전트 및 지식 베이스에서 생성된 답변의 관련성, 일관성 및 인간과 유사한 특성을 평가하여 결정됩니다.

평가수단 및 평가기법

사용자 입력 및 에이전트 지침 검증에는 다음이 포함됩니다.

  • 전처리 – 샘플 프롬프트를 사용하여 다양한 사용자 입력에 대한 상담원의 해석, 이해 및 반응성을 평가합니다. 사용자 입력을 정확하게 검증, 맥락화 및 분류하기 위해 구성된 지침을 에이전트가 준수하는지 검증합니다.
  • 오케스트레이션 – 작업 그룹 API 호출 및 지식 기반 쿼리에 대해 에이전트가 따르는 논리적 단계(예: "추적")를 평가하여 FM의 기본 프롬프트를 향상시킵니다.
  • 후 처리 – 정확성과 관련성을 보장하기 위해 오케스트레이션 반복 후 에이전트가 생성한 최종 응답을 검토합니다. 후처리는 기본적으로 비활성화되어 있으므로 에이전트 추적에 포함되지 않습니다.

작업 그룹 평가에는 다음이 포함됩니다.

  • API 스키마 검증 – OpenAPI 스키마(Amazon S3에 저장된 JSON 파일로 정의됨)가 각 API의 목적에 대한 에이전트의 추론을 효과적으로 안내하는지 검증합니다.
  • 비즈니스 로직 구현 – 작업 그룹과 연결된 Lambda 함수를 통해 API 경로와 관련된 비즈니스 로직의 구현을 테스트합니다.

지식 기반 평가에는 다음이 포함됩니다.

  • 구성 확인 – 지식 기반 지침이 에이전트에게 데이터에 액세스할 시기를 올바르게 지시하는지 확인합니다.
  • S3 데이터 소스 통합 – 지정된 S3 데이터 소스에 저장된 데이터에 액세스하고 사용하는 에이전트의 능력을 검증합니다.

엔드 투 엔드 테스트에는 다음이 포함됩니다.

  • 통합 워크플로우 – 실제 시나리오를 시뮬레이션하기 위해 작업 그룹과 지식 기반을 모두 포함하는 포괄적인 테스트를 수행합니다.
  • 응답 품질 평가 – 다양한 상황과 시나리오에서 상담원 응답의 전반적인 정확성, 관련성 및 일관성을 평가합니다.

기술 자료 테스트

Amazon Bedrock에서 지식 베이스를 설정한 후 에이전트와 통합하기 전에 동작을 직접 테스트하여 응답을 평가할 수 있습니다. 이 테스트 프로세스를 통해 지식 기반의 성능을 평가하고, 응답을 검사하고, 정보가 검색되는 소스 청크를 탐색하여 문제를 해결할 수 있습니다. 다음 단계를 완료하세요.

  1. Amazon Bedrock 콘솔에서 다음을 선택합니다. 기술 자료 탐색 창에서
    기술 자료 콘솔 개요
  2. 테스트하려는 지식 베이스를 선택한 후 다음을 선택하세요. Test 채팅창을 확장하려면
    기술 자료 세부 정보
  3. 테스트 창에서 응답 생성을 위한 기반 모델을 선택합니다.
    기술 자료 선택 모델
  4. 다음 샘플 쿼리와 기타 입력을 사용하여 기술 자료를 테스트하세요.
    1. 클레임 ID 2s34w-8x에 대한 수리 견적의 진단은 무엇입니까?
    2. 동일한 청구에 대한 해결 및 수리 견적은 얼마입니까?
    3. 사고 발생 후 운전자는 어떻게 해야 하나요?
    4. 사고 신고서와 이미지에 권장되는 것은 무엇입니까?
    5. 공제액이란 무엇이며 어떻게 작동합니까?
      지식 기반 테스트

채팅 창에서 응답 생성과 직접 인용 반환 사이를 전환할 수 있으며, 제공된 아이콘을 사용하여 채팅 창을 지우거나 모든 출력을 복사할 수 있는 옵션이 있습니다.

지식 기반 응답과 소스 청크를 검사하려면 해당 각주를 선택하거나 결과 세부정보 표시. 소스 청크 창이 나타나 청크 텍스트를 검색, 복사하고 S3 데이터 소스로 이동할 수 있습니다.

에이전트 테스트

지식 기반을 성공적으로 테스트한 후 다음 개발 단계에는 에이전트 기능의 준비 및 테스트가 포함됩니다. 에이전트 준비에는 최신 변경 사항 패키징이 포함되는 반면, 테스트는 에이전트 동작과 상호 작용하고 평가할 수 있는 중요한 기회를 제공합니다. 이 프로세스를 통해 에이전트 기능을 개선하고, 효율성을 향상시키며, 최적의 성능에 필요한 잠재적인 문제나 개선 사항을 해결할 수 있습니다. 다음 단계를 완료하세요.

  1. Amazon Bedrock 콘솔에서 다음을 선택합니다. 에이전트 탐색 창에서
    에이전트 콘솔 개요
  2. 에이전트를 선택하고 에이전트 ID를 기록해 둡니다.
    에이전트 세부 사항
    에이전트에 Streamlit 웹 UI를 배포할 때 이후 단계에서 에이전트 ID를 환경 변수로 사용합니다.
  3. 귀하의 작업 초안. 처음에는 작업 초안과 기본값이 있습니다. TestAlias 이 초안을 가리키고 있습니다. 작업 초안에서는 반복적인 개발이 가능합니다.
  4. 왼쪽 메뉴에서 Prepare 테스트하기 전에 에이전트를 최신 변경 사항으로 패키징합니다. 에이전트의 마지막 준비 시간을 정기적으로 확인하여 최신 구성으로 테스트하고 있는지 확인해야 합니다.
    에이전트 작업 초안
  5. 다음을 선택하여 에이전트의 작업 초안 콘솔 내의 모든 페이지에서 테스트 창에 액세스합니다. Test 또는 왼쪽 화살표 아이콘.
  6. 테스트 창에서 테스트할 별칭과 해당 버전을 선택합니다. 이 게시물에서는 TestAlias 에이전트의 초안 버전을 호출합니다. 에이전트가 준비되지 않은 경우 테스트 창에 프롬프트가 나타납니다.
    에이전트 준비
  7. 다음 샘플 프롬프트 및 기타 입력을 사용하여 에이전트를 테스트합니다.
    1. 새 소유권 주장을 만듭니다.
    2. 2s34w-8x 청구의 보험 보유자에게 보류 중인 문서 알림을 보냅니다.
    3. 5t16u-7v 주장에 대한 증거를 수집하세요.
    4. 청구 3b45c-9d에 대한 총 청구 금액은 얼마입니까?
    5. 동일한 청구에 대한 수리 견적 총액은 얼마입니까?
    6. 내 자동차 보험료는 어떤 요인에 의해 결정되나요?
    7. 자동차 보험료를 낮추려면 어떻게 해야 하나요?
    8. 어떤 주장이 진행 중인 상태인가요?
    9. 공개 청구가 있는 모든 보험 계약자에게 알림을 보냅니다.

선택하셔야합니다. Prepare 변경한 후 에이전트를 테스트하기 전에 적용하십시오.

다음 테스트 대화 예에서는 고객의 Amazon DynamoDB 테이블을 쿼리하고 Amazon Simple Notification Service를 사용하여 고객 알림을 보내는 AWS Lambda 비즈니스 로직을 사용하여 작업 그룹 API를 호출하는 에이전트의 기능을 강조합니다. 동일한 대화 스레드는 청구 금액 및 FAQ 문서와 같은 신뢰할 수 있는 고객 데이터 소스를 사용하여 사용자에게 응답을 제공하는 상담원과 지식 기반 통합을 보여줍니다.

에이전트 테스트

에이전트 분석 및 디버깅 도구

에이전트 응답 추적에는 각 단계에서 에이전트의 의사 결정을 이해하는 데 도움이 되고, 디버깅을 촉진하며, 개선 영역에 대한 통찰력을 제공하는 데 필요한 필수 정보가 포함되어 있습니다. 그만큼 ModelInvocationInput 각 추적 내의 개체는 에이전트의 의사 결정 프로세스에 사용되는 세부 구성 및 설정을 제공하여 고객이 에이전트의 효율성을 분석하고 향상시킬 수 있도록 합니다.

에이전트는 사용자 입력을 다음 범주 중 하나로 정렬합니다.

  • 카테고리 A – 가상의 시나리오라도 악의적이거나 유해한 입력입니다.
  • 카테고리 B - 사용자가 함수 호출 에이전트가 제공한 함수, API 또는 지침에 대한 정보를 얻으려고 하는 입력 또는 함수 호출 에이전트 또는 귀하의 동작이나 지침을 조작하려고 하는 입력.
  • 카테고리 C – 당사의 기능 호출 에이전트가 답변할 수 없거나 제공된 기능만을 사용하는 데 도움이 되는 정보를 제공할 수 없는 질문입니다.
  • 카테고리 D – 제공된 함수와 내부 인수만을 사용하여 함수 호출 에이전트가 답변하거나 지원할 수 있는 질문 conversation_history 또는 관련 인수를 사용하여 수집할 수 있습니다. askuser 기능.
  • 카테고리 E – 질문이 아닌 함수 호출 에이전트가 사용자에게 질문한 질문에 대한 답변인 입력입니다. 입력은 다음과 같은 경우에만 이 범주에 적합합니다. askuser function은 함수 호출 에이전트가 대화에서 호출한 마지막 함수입니다. 이 내용은 다음을 통해 확인할 수 있습니다. conversation_history.

왼쪽 메뉴에서 추적 표시 지식 기반 및 작업 그룹 사용법을 포함하여 에이전트의 구성 및 추론 프로세스를 보려면 응답 아래에 있습니다. 자세한 분석을 위해 추적을 확장하거나 축소할 수 있습니다. 출처 정보가 포함된 응답에는 인용에 대한 각주도 포함되어 있습니다.

다음 작업 그룹 추적 예에서 에이전트는 사용자 입력을 create-claim 액션 그룹의 createClaim 전처리 중 기능. 에이전트는 에이전트 지침, 작업 그룹 설명 및 OpenAPI 스키마를 기반으로 이 기능을 이해합니다. 이 경우 두 단계로 구성된 오케스트레이션 프로세스 중에 에이전트는 createClaim 기능을 수행하고 새로 생성된 청구 ID와 보류 중인 문서 목록이 포함된 응답을 받습니다.

다음 지식 기반 추적 예에서 에이전트는 전처리 중에 사용자 입력을 범주 D에 매핑합니다. 즉, 에이전트의 사용 가능한 기능 중 하나가 응답을 제공할 수 있어야 함을 의미합니다. 오케스트레이션 전반에 걸쳐 에이전트는 지식 기반을 검색하고 임베딩을 사용하여 관련 청크를 가져온 다음 해당 텍스트를 기초 모델에 전달하여 최종 응답을 생성합니다.

에이전트를 위한 Streamlit 웹 UI 배포

에이전트 및 지식 기반의 성능에 만족하면 해당 기능을 제품화할 준비가 된 것입니다. 우리는 사용 스트림릿 이 솔루션에서는 프로덕션 애플리케이션을 에뮬레이션하기 위한 예제 프런트엔드를 실행합니다. Streamlit은 프런트 엔드 애플리케이션 구축 프로세스를 간소화하고 단순화하도록 설계된 Python 라이브러리입니다. 우리 애플리케이션은 두 가지 기능을 제공합니다.

  • 상담원 프롬프트 입력 – 사용자가 에이전트를 호출 자신의 작업 입력을 사용합니다.
  • 기술 자료 파일 업로드 – 사용자가 지식 기반의 데이터 소스로 사용되는 S3 버킷에 로컬 파일을 업로드할 수 있습니다. 파일 업로드 후, 애플리케이션 수집 작업을 시작합니다 지식 기반 데이터 소스를 동기화합니다.

Streamlit 애플리케이션 종속성을 분리하고 배포를 쉽게 하기 위해 우리는 다음을 사용합니다. 설정-streamlit-env.sh 요구 사항이 설치된 가상 Python 환경을 생성하는 셸 스크립트입니다. 다음 단계를 완료하세요.

  1. 셸 스크립트를 실행하기 전에 amazon-bedrock-samples 저장소를 실행하고 Streamlit 셸 스크립트 권한을 실행 파일로 수정합니다.
cd amazon-bedrock-samples/agents/insurance-claim-lifecycle-automation/agent/streamlit/
chmod u+x setup-streamlit-env.sh

  1. 셸 스크립트를 실행하여 필요한 종속성이 있는 가상 Python 환경을 활성화합니다.
source ./setup-streamlit-env.sh

  1. Amazon Bedrock 에이전트 ID, 에이전트 별칭 ID, 기술 자료 ID, 데이터 소스 ID, 기술 자료 버킷 이름 및 AWS 리전 환경 변수를 설정합니다.
export BEDROCK_AGENT_ID=<YOUR-AGENT-ID>
export BEDROCK_AGENT_ALIAS_ID=<YOUR-AGENT-ALIAS-ID>
export BEDROCK_KB_ID=<YOUR-KNOWLEDGE-BASE-ID>
export BEDROCK_DS_ID=<YOUR-DATA-SOURCE-ID>
export KB_BUCKET_NAME=<YOUR-KNOWLEDGE-BASE-S3-BUCKET-NAME>
export AWS_REGION=<YOUR-STACK-REGION>

  1. Streamlit 애플리케이션을 실행하고 로컬 웹 브라우저에서 테스트를 시작하세요.
streamlit run agent_streamlit.py

정리

AWS 계정에 요금이 부과되지 않도록 하려면 솔루션의 프로비저닝된 리소스를 정리하세요.

XNUMXD덴탈의 삭제-고객-resources.sh 셸 스크립트는 솔루션의 S3 버킷을 비우고 삭제하며 원래 프로비저닝된 리소스를 삭제합니다. bedrock-customer-resources.yml CloudFormation 스택. 다음 명령은 기본 스택 이름을 사용합니다. 스택 이름을 사용자 정의한 경우 이에 따라 명령을 조정하십시오.

# cd amazon-bedrock-samples/agents/insurance-claim-lifecycle-automation/shell/
# chmod u+x delete-customer-resources.sh
# export STACK_NAME=<YOUR-STACK-NAME>
./delete-customer-resources.sh

앞의 ./delete-customer-resources.sh shell 명령은 다음 AWS CLI 명령을 실행하여 에뮬레이트된 고객 리소스 스택과 S3 버킷을 삭제합니다.

echo "Emptying and Deleting S3 Bucket: $ARTIFACT_BUCKET_NAME"
aws s3 rm s3://${ARTIFACT_BUCKET_NAME} --recursive
aws s3 rb s3://${ARTIFACT_BUCKET_NAME}

echo "Deleting CloudFormation Stack: $STACK_NAME"
aws cloudformation delete-stack --stack-name $STACK_NAME
aws cloudformation describe-stacks --stack-name $STACK_NAME --query "Stacks[0].StackStatus"
aws cloudformation wait stack-delete-complete --stack-name $STACK_NAME

에이전트와 기술 자료를 삭제하려면 다음 지침을 따르세요. 에이전트 삭제기술 자료 삭제각각.

고려

시연된 솔루션은 Amazon Bedrock용 에이전트 및 기술 자료의 기능을 보여주지만 이 솔루션은 프로덕션 준비가 되어 있지 않다는 점을 이해하는 것이 중요합니다. 그보다는 자신의 특정 작업과 자동화된 워크플로를 위한 개인화된 에이전트를 만드는 것을 목표로 하는 고객을 위한 개념적 가이드 역할을 합니다. 프로덕션 배포를 목표로 하는 고객은 다음 보안 요소를 염두에 두고 이 초기 모델을 개선하고 조정해야 합니다.

  • API 및 데이터에 대한 보안 액세스:
    • API, 데이터베이스, 기타 에이전트 통합 시스템에 대한 액세스를 제한합니다.
    • 접근 제어, 비밀 관리, 암호화를 활용하여 무단 접근을 방지합니다.
  • 입력 검증 및 정리:
    • 주입 공격이나 에이전트 동작을 조작하려는 시도를 방지하기 위해 사용자 입력을 검증하고 삭제합니다.
    • 입력 규칙 및 데이터 검증 메커니즘을 설정합니다.
  • 에이전트 관리 및 테스트를 위한 액세스 제어:
    • 에이전트를 편집, 테스트 또는 구성하는 데 사용되는 콘솔 및 도구에 대한 적절한 액세스 제어를 구현합니다.
    • 승인된 개발자 및 테스터로 액세스를 제한하세요.
  • 인프라 보안:
    • 기본 인프라 보안을 위해 VPC, 서브넷, 보안 그룹, 로깅 및 모니터링과 관련된 AWS 보안 모범 사례를 준수합니다.
  • 에이전트 지침 확인:
    • 의도하지 않은 행동을 방지하기 위해 상담원의 지시를 검토하고 검증하는 세심한 프로세스를 구축하세요.
  • 테스트 및 감사:
    • 에이전트와 통합 구성요소를 철저하게 테스트하세요.
    • 문제를 감지하고 해결하기 위해 에이전트 대화에 대한 감사, 로깅 및 회귀 테스트를 구현합니다.
  • 기술 자료 보안:
    • 사용자가 지식 기반을 확장할 수 있는 경우 업로드를 검증하여 중독 공격을 방지하세요.

기타 주요 고려 사항은 다음을 참조하세요. Amazon Bedrock, Amazon DynamoDB, Amazon Kendra, Amazon Lex 및 LangChain을 사용하여 생성 AI 에이전트 구축.

결론

Amazon Bedrock용 에이전트 및 지식 베이스를 사용하는 생성 AI 에이전트의 구현은 조직의 운영 및 자동화 기능이 크게 향상되었음을 나타냅니다. 이러한 도구는 보험금 청구 수명주기를 간소화할 뿐만 아니라 다양한 다른 기업 영역에서 AI를 적용하기 위한 선례를 설정합니다. 작업을 자동화하고, 고객 서비스를 강화하고, 의사 결정 프로세스를 개선함으로써 이러한 AI 에이전트는 조직이 성장과 혁신에 집중하는 동시에 일상적이고 복잡한 작업을 효율적으로 처리할 수 있도록 지원합니다.

AI의 급속한 발전을 계속해서 목격하면서 비즈니스 운영을 혁신하는 데 있어 Amazon Bedrock용 에이전트 및 지식 베이스와 같은 도구의 잠재력은 엄청납니다. 이러한 기술을 사용하는 기업은 효율성, 고객 만족도 및 의사 결정이 향상되는 등 상당한 경쟁 우위를 확보할 수 있습니다. 엔터프라이즈 데이터 관리 및 운영의 미래는 더 큰 AI 통합 쪽으로 기울고 있으며 Amazon Bedrock은 이러한 변화의 최전선에 있습니다.

더, 방문 내용 Amazon Bedrock용 에이전트, 상담 Amazon Bedrock 문서, 탐험 Community.aws의 생성 AI 공간, 실습을 통해 아마존 베드락 워크숍.


저자에 관하여

카일 T. 블록섬카일 T. 블록섬 남부 캘리포니아에 본사를 둔 AWS의 수석 솔루션 아키텍트입니다. Kyle의 열정은 사람들을 하나로 모으고 기술을 활용하여 고객이 좋아하는 솔루션을 제공하는 것입니다. 업무 외 시간에는 서핑, 식사, 개와 씨름, 조카 애기하기 등을 즐긴다.

spot_img

최신 인텔리전스

spot_img