2021에 출시, Amazon SageMaker 캔버스 코드를 작성할 필요 없이 기계 학습(ML) 모델을 구축하고 배포하기 위한 시각적 포인트 앤 클릭 서비스입니다. SageMaker Canvas에서 바로 사용할 수 있는 기초 모델(FM)을 통해 고객은 콘텐츠 생성 및 요약과 같은 작업에 생성 AI를 사용할 수 있습니다.

플랫폼에 흥미롭고 새로운 생성 AI 기능을 제공하는 Amazon SageMaker Canvas의 최신 업데이트를 발표하게 되어 기쁘게 생각합니다. Meta Llama 2 및 Mistral.AI 모델에 대한 지원과 스트리밍 응답 출시를 통해 SageMaker Canvas는 코드 한 줄도 작성하지 않고도 생성 AI를 시작하려는 모든 사람에게 계속해서 역량을 제공합니다. 이 게시물에서는 이러한 업데이트와 그 이점에 대해 설명합니다.

Meta Llama 2 및 Mistral 모델 소개

Llama 2는 광범위한 생성 AI 작업에 향상된 확장성과 다양성을 제공하는 Meta의 최첨단 기반 모델입니다. 사용자들은 Llama 2가 의미 있고 일관된 대화에 참여하고, 새로운 콘텐츠를 생성하고, 기존 메모에서 답변을 추출할 수 있다고 보고했습니다. Llama 2는 현재 사용 가능한 최첨단 LLM(대형 언어 모델) 중 하나입니다.

프랑스의 선도적인 AI 스타트업인 Mistral.AI는 7억 개의 매개변수를 갖춘 강력한 언어 모델인 Mistral 7.3B를 개발했습니다. Mistral 모델은 더 빠른 추론을 위한 GQA(Grouped-Query Attention) 사용 덕분에 오픈 소스 커뮤니티에서 매우 호평을 받았으며, 매우 효율적이고 매개변수 수의 XNUMX~XNUMX배를 사용하여 모델링하는 것과 비슷한 성능을 발휘합니다.

오늘 SageMaker Canvas가 이제 2개의 Llama 7 모델 변형과 XNUMX개의 Mistral XNUMXB 변형을 지원한다는 소식을 발표하게 되어 기쁘게 생각합니다.

이러한 모델을 테스트하려면 SageMaker 캔버스로 이동하십시오. 즉시 사용 가능한 모델 페이지를 선택한 다음 콘텐츠 생성, 추출 및 요약. 여기에서 SageMaker Canvas GenAI 채팅 경험을 찾을 수 있습니다. 여기에서는 모델 드롭다운 메뉴에서 Amazon Bedrock 또는 SageMaker JumpStart의 모든 모델을 선택하여 사용할 수 있습니다.

우리의 경우 Llama 2 모델 중 하나를 선택합니다. 이제 입력이나 쿼리를 제공할 수 있습니다. 입력을 보내면 SageMaker Canvas는 입력을 모델에 전달합니다.

SageMaker Canvas에서 사용할 수 있는 모델 중 사용 사례에 가장 적합한 모델을 선택하려면 모델 자체에 대한 정보를 고려해야 합니다. Llama-2-70B-chat 모델은 더 큰 모델입니다(70억 매개변수에 비해 13억 매개변수). Llama-2-13B-chat 사용) 이는 일반적으로 성능이 작은 것보다 높지만 지연 시간이 약간 더 길고 토큰당 비용이 증가한다는 것을 의미합니다. Mistral-7B는 Llama-2-7B 또는 Llama-2-13B와 비슷한 성능을 제공하지만 Amazon SageMaker에서 호스팅됩니다. 이는 가격 모델이 토큰당 달러 가격 모델에서 시간당 달러 모델로 이동한다는 것을 의미합니다. 이는 시간당 상당한 양의 요청과 규모에 따른 일관된 사용량을 통해 더욱 비용 효율적일 수 있습니다. 위의 모든 모델은 다양한 사용 사례에서 잘 작동할 수 있으므로 출력, 처리량 및 비용 상충관계를 고려하여 문제를 가장 잘 해결하는 모델을 평가하는 것이 좋습니다.

모델의 작동 방식을 비교할 수 있는 간단한 방법을 찾고 있는 경우 SageMaker Canvas는 기본적으로 모델 비교 형식으로 이 기능을 제공합니다. 최대 3개의 서로 다른 모델을 선택하고 동일한 쿼리를 한 번에 모든 모델에 보낼 수 있습니다. 그러면 SageMaker Canvas는 각 모델로부터 응답을 받아 병렬 채팅 UI에 표시합니다. 이렇게 하려면 다음을 선택하세요. 비교 아래와 같이 비교할 다른 모델을 선택합니다.

응답 스트리밍 소개: 실시간 상호 작용 및 향상된 성능

이번 릴리스의 주요 개선 사항 중 하나는 스트리밍 응답의 도입입니다. 응답 스트리밍은 사용자에게 더 풍부한 경험을 제공하고 채팅 경험을 더 잘 반영합니다. 스트리밍 응답을 통해 사용자는 즉각적인 피드백을 받고 챗봇 애플리케이션에 원활하게 통합할 수 있습니다. 이를 통해 더욱 상호작용적이고 반응성이 뛰어난 경험이 가능해지며 챗봇의 전반적인 성능과 사용자 만족도가 향상됩니다. 채팅과 같은 방식으로 즉각적인 응답을 받을 수 있는 기능은 보다 자연스러운 대화 흐름을 생성하고 사용자 경험을 향상시킵니다.

이 기능을 사용하면 이제 실시간으로 AI 모델과 상호 작용하여 즉각적인 응답을 받고 다양한 애플리케이션 및 워크플로에 원활하게 통합할 수 있습니다. Amazon Bedrock 및 SageMaker JumpStart를 통해 SageMaker Canvas에서 쿼리할 수 있는 모든 모델은 사용자에게 응답을 스트리밍할 수 있습니다.

오늘 시작하세요.

챗봇, 추천 시스템 또는 가상 비서를 구축하는 경우 스트리밍 응답과 결합된 Llama 2 및 Mistral 모델은 프로젝트에 향상된 성능과 상호 작용성을 제공합니다.

SageMaker Canvas의 최신 기능을 사용하려면 앱을 삭제하고 다시 생성하십시오. 그렇게 하려면 다음을 선택하여 앱에서 로그아웃하세요. 로그아웃을 클릭한 다음 SageMaker Canvas를 다시 엽니다. 당신은 새로운 모델을 보고 최신 릴리스를 즐겨야 합니다. SageMaker Canvas 애플리케이션에서 로그아웃하면 작업 영역 인스턴스에서 사용하는 모든 리소스가 해제되므로 의도하지 않은 추가 비용이 발생하는 것을 방지할 수 있습니다.

결론

SageMaker Canvas에서 Llama 2 및 Mistral 모델에 대한 새로운 스트리밍 응답을 시작하려면 다음을 방문하십시오. SageMaker 콘솔 직관적인 인터페이스를 탐색해 보세요. SageMaker Canvas와 생성적 AI가 비즈니스 목표 달성에 어떻게 도움이 되는지 자세히 알아보려면 다음을 참조하십시오. Amazon SageMaker Canvas 및 Generative AI를 사용하여 비즈니스 사용자가 회사 문서에서 통찰력을 추출할 수 있도록 지원하세요. 과 생성 AI 및 Amazon SageMaker Canvas를 사용하여 일반적인 콜 센터 문제 극복.

SageMaker Canvas 기능에 대해 자세히 알아보고 다른 ML 사용 사례에 대해 자세히 알아보려면 다음에서 제공되는 다른 게시물을 확인하십시오. SageMaker 캔버스 카테고리 AWS ML 블로그의 내용입니다. 우리는 이러한 새로운 기능으로 여러분이 만들 놀라운 AI ​​애플리케이션을 보고 싶습니다!

저자 소개

다비드 갈리텔리 AI/ML을 위한 수석 전문 솔루션 설계자입니다. 그는 브뤼셀에 거주하며 로우 코드/노코드 기계 학습 기술 및 생성 AI를 채택하려는 전 세계 고객들과 긴밀히 협력하고 있습니다. 그는 아주 어렸을 때부터 개발자로 활동해 왔으며, 7살 때부터 코딩을 시작했습니다. 그는 대학에서 AI/ML을 배우기 시작했고 그 이후로 그것에 푹 빠졌습니다.

댄 신라이히 AWS의 수석 제품 관리자로 로우 코드/노 코드 기계 학습의 민주화를 돕고 있습니다. AWS 이전에 Dan은 기관 투자자가 위험을 관리하고 최적의 포트폴리오를 구성하는 데 사용하는 엔터프라이즈 SaaS 플랫폼과 시계열 모델을 구축하고 상용화했습니다. 직장 밖에서 그는 하키를 하고, 스쿠버 다이빙을 하고, 공상 과학 소설을 읽는 모습을 볼 수 있습니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://aws.amazon.com/blogs/machine-learning/announcing-support-for-llama-2-models-and-streaming-responses-in-amazon-sagemaker-canvas/