PGA TOUR 출신 Scott Gutterman과 공동으로 쓴 게스트 포스트입니다.

생성적 인공 지능(generative AI)은 지능형 시스템 구축을 위한 새로운 가능성을 가능하게 했습니다. Generative AI 기반 대형 언어 모델(LLM)의 최근 개선으로 정보 검색과 관련된 다양한 애플리케이션에서 사용할 수 있게 되었습니다. 데이터 소스를 고려하면 LLM은 이전에 몇 년이 걸리고 성능이 저하될 수 있었던 Q&A 챗봇을 몇 주 만에 구축할 수 있는 도구를 제공했습니다. 우리는 PGA TOUR가 대화형 형식의 대화형 방식으로 팬이 데이터에 액세스할 수 있도록 하는 미래의 팬 참여 플랫폼에 대한 프로토타입을 만들 수 있는 RAG(검색 증강 생성) 솔루션을 공식화했습니다.

구조화된 데이터를 사용하여 질문에 답하려면 사용자의 쿼리와 관련된 데이터를 효과적으로 추출하는 방법이 필요합니다. 우리는 LLM을 사용하여 사용자의 자연어 쿼리를 SQL 문으로 변환하는 텍스트-SQL 접근 방식을 공식화했습니다. SQL은 다음에 의해 실행됩니다. 아마존 아테나 관련 데이터를 반환합니다. 이 데이터는 LLM에 다시 제공되며, LLM은 해당 데이터에 대한 사용자 쿼리에 응답하도록 요청받습니다.

텍스트 데이터를 사용하려면 사용자 쿼리에 응답하기 위해 LLM에 관련 컨텍스트를 검색하고 제공하는 데 사용할 수 있는 인덱스가 필요합니다. 빠른 정보 검색을 가능하게 하기 위해 우리는 다음을 사용합니다. 아마존 켄드라 이 문서의 색인으로 사용됩니다. 사용자가 질문하면 가상 도우미가 Amazon Kendra 인덱스를 빠르게 검색하여 관련 정보를 찾습니다. Amazon Kendra는 자연어 처리(NLP)를 사용하여 사용자 쿼리를 이해하고 가장 관련성이 높은 문서를 찾습니다. 그런 다음 최종 응답 생성을 위해 관련 정보가 LLM에 제공됩니다. 우리의 최종 솔루션은 이러한 text-to-SQL 접근 방식과 text-RAG 접근 방식을 결합한 것입니다.

이번 포스팅에서는 AWS 제너레이티브 AI 혁신 센터 와 협력했습니다. AWS 전문 서비스 과 PGA 투어 프로토타입 가상 비서를 개발하기 위해 아마존 기반암 이를 통해 팬들은 이벤트, 선수, 홀 또는 샷 레벨 세부 정보를 원활한 대화형 방식으로 추출할 수 있습니다. Amazon Bedrock은 AI21 Labs, Anthropic, Cohere, Meta, Stability AI 및 Amazon과 같은 주요 AI 기업의 고성능 기반 모델(FM)을 단일 API를 통해 선택할 수 있는 완전관리형 서비스입니다. 보안, 개인정보 보호, 책임 있는 AI를 갖춘 생성적 AI 애플리케이션을 구축하는 데 필요한 기능입니다.

개발: 데이터 준비하기

모든 데이터 기반 프로젝트와 마찬가지로 성능은 데이터에 따라 결정됩니다. 우리는 LLM이 관련 데이터를 효과적으로 쿼리하고 검색할 수 있도록 데이터를 처리했습니다.

표 형식 경쟁 데이터의 경우, 우리는 가장 많은 수의 사용자 쿼리와 관련된 데이터의 하위 집합에 초점을 맞추고 LLM이 더 쉽게 이해할 수 있도록 열에 직관적으로 레이블을 지정했습니다. 또한 LLM이 어려움을 겪을 수 있는 개념을 이해하는 데 도움이 되는 몇 가지 보조 열도 만들었습니다. 예를 들어, 골퍼가 파보다 한 발 적게 치는 경우(예: 파 3에서 4번의 샷 또는 파 4에서 5번의 샷으로 홀에 들어가는 경우), 이를 일반적으로 버디. 사용자가 “X 선수가 작년에 버디를 몇 개나 쳤나요?”라고 묻는다면 점수와 파만 테이블에 올려놓는 것만으로는 충분하지 않습니다. 그 결과, 보기, 버디, 이글 등 일반적인 골프 용어를 나타내는 열을 추가했습니다. 또한, 우리는 경쟁 데이터에 대한 열을 결합하여 별도의 비디오 컬렉션과 연결했습니다. video_id, 이를 통해 우리 앱은 대회 데이터의 특정 장면과 관련된 비디오를 가져올 수 있습니다. 또한 각 플레이어의 약력을 텍스트 열로 추가하는 등 텍스트 데이터를 표 형식 데이터에 결합할 수 있었습니다. 다음 그림은 텍스트-SQL 파이프라인에 대한 쿼리가 처리되는 방법에 대한 단계별 절차를 보여줍니다. 숫자는 질의에 응답하기 위한 일련의 단계를 나타냅니다.

다음 그림에서는 엔드투엔드 파이프라인을 보여줍니다. 우리는 사용 AWS 람다 다양한 데이터 소스, LLM 및 사용자 쿼리를 기반으로 한 오류 수정과의 상호 작용을 담당하는 오케스트레이션 기능입니다. 1~8단계는 앞의 그림에 표시된 것과 유사합니다. 구조화되지 않은 데이터에는 약간의 변경 사항이 있으며 이에 대해서는 다음에 설명하겠습니다.

텍스트 데이터에는 주제 일관성을 유지하면서 긴 문서를 LLM이 소화할 수 있는 부분으로 청크(또는 분할)하는 고유한 처리 단계가 필요합니다. 우리는 여러 가지 접근 방식을 실험하고 미디어 가이드의 형식에 잘 맞는 페이지 수준 청킹 체계를 결정했습니다. 우리는 임베딩 사양 없이 문서 인덱싱을 관리하는 동시에 검색을 위한 간편한 API를 제공하는 관리형 서비스인 Amazon Kendra를 사용했습니다. 다음 그림은 이 아키텍처를 보여줍니다.

우리가 개발한 통합되고 확장 가능한 파이프라인을 통해 PGA TOUR는 전체 데이터 기록(일부 데이터는 1800년대까지 거슬러 올라감)으로 확장할 수 있습니다. 풍부한 실시간 경험을 창출하기 위해 코스 상황에 실시간으로 적용할 수 있는 미래의 애플리케이션을 가능하게 합니다.

개발: LLM 평가 및 생성적 AI 애플리케이션 개발

우리는 파이프라인과 사용 사례에 가장 적합한 모델을 선택하기 위해 Amazon Bedrock에서 사용할 수 있는 자사 및 타사 LLM을 신중하게 테스트하고 평가했습니다. 우리는 Amazon Bedrock에서 Anthropic의 Claude v2와 Claude Instant를 선택했습니다. 최종 구조화 및 비구조화 데이터 파이프라인의 경우 Amazon Bedrock에서 Anthropic의 Claude 2가 최종 데이터 파이프라인에 대해 더 나은 전체 결과를 생성한 것을 관찰했습니다.

프롬프트는 LLM이 원하는 대로 텍스트를 출력하도록 하는 데 있어 중요한 측면입니다. 우리는 각 작업에 대해 다양한 프롬프트를 실험하는 데 상당한 시간을 보냈습니다. 예를 들어, 텍스트-SQL 파이프라인의 경우 구체성이 증가하고 테이블 스키마가 점차 단순화되는 여러 대체 프롬프트가 있었습니다. SQL 쿼리가 유효하지 않아 Athena에서 오류가 발생한 경우 오류 및 잘못된 SQL을 LLM에 전달하고 수정을 요청하는 오류 수정 프롬프트를 개발했습니다. 텍스트-SQL 파이프라인의 마지막 프롬프트는 LLM에게 Markdown 또는 CSV 형식으로 제공될 수 있는 Athena 출력을 가져와 사용자에게 답변을 제공하도록 요청합니다. 구조화되지 않은 텍스트의 경우 Amazon Kendra에서 검색된 컨텍스트를 사용하여 사용자 질문에 답하는 일반 프롬프트를 개발했습니다. 프롬프트에는 Amazon Kendra에서 검색한 정보만 사용하고 LLM 사전 교육의 데이터에 의존하지 말라는 지침이 포함되어 있습니다.

지연 시간은 생성적 AI 애플리케이션에서 문제가 되는 경우가 많으며 여기에서도 마찬가지입니다. 특히 초기 SQL 생성 LLM 호출과 이어서 응답 생성 LLM 호출이 필요한 text-to-SQL의 경우 문제가 됩니다. Anthropic의 Claude V2와 같은 대규모 LLM을 사용하는 경우 단 한 번의 LLM 호출의 대기 시간이 사실상 두 배로 늘어납니다. 우리는 런타임과 정확성을 평가하기 위해 크고 작은 LLM의 여러 구성을 실험했습니다. 다음 표는 Amazon Bedrock에서 Anthropic의 Claude V2 및 Claude Instant를 사용하여 생성된 응답뿐만 아니라 지연 시간을 보여주는 질문 하나에 대한 예를 보여줍니다.

프로토 타입

우리 애플리케이션에서는 Lambda 함수를 사용하여 Amazon Athena, Amazon Kendra 및 Amazon Bedrock 간의 프롬프트 선택과 통신을 조율했습니다. 가상 어시스턴트는 텍스트와 비디오를 사용하여 사용자와 소통하는 React 및 Cloudscape Design System으로 구축된 대화형 인터페이스를 갖추고 있습니다.

우리의 가상 도우미는 PGA TOUR 이벤트, 선수, 통계, 역사 등에 관한 광범위한 질문을 처리할 수 있습니다. 예를 들어, Shriners Children's Open(PGA TOUR의 시그니처 이벤트 중 하나)에서 Tony Finau의 최장 드라이브에 대해 질문을 받으면 어시스턴트는 구조화된 데이터를 쿼리하여 샷 수준 데이터를 가져올 수 있습니다. 텍스트-SQL 파이프라인을 사용하여 그가 이 기록을 달성한 동안의 정확한 거리(야드), 라운드 수 및 홀을 추출할 수 있습니다. 그런 다음 보조자는 이 숫자 데이터를 해석하여 최종 응답을 생성합니다. 다음 표에는 몇 가지 응답 예시가 포함되어 있습니다.

다음 설명 동영상에서는 가상 비서와 상호 작용하는 몇 가지 예를 강조합니다.

초기 테스트에서 PGA TOUR 가상 비서는 팬 경험을 향상시키는 데 큰 가능성을 보여주었습니다. 텍스트-SQL 변환, 의미 체계 검색, 자연어 생성과 같은 AI 기술을 결합하여 도우미는 유익하고 매력적인 응답을 제공합니다. 팬들은 이전에는 찾기 어려웠던 데이터와 이야기에 쉽게 접근할 수 있습니다.

미래는 무엇을 가지고 있나?

개발을 계속하면서 가상 비서가 처리할 수 있는 질문의 범위를 확장할 것입니다. 이를 위해서는 AWS와 PGA TOUR 간의 협력을 통한 광범위한 테스트가 필요합니다. 시간이 지남에 따라 우리는 어시스턴트를 웹, 모바일 및 음성 인터페이스 전반에 걸쳐 액세스할 수 있는 개인화된 옴니채널 경험으로 발전시키는 것을 목표로 합니다.

클라우드 기반 생성 AI 도우미의 구축을 통해 PGA TOUR는 다양한 내부 및 외부 이해관계자에게 방대한 데이터 소스를 제공할 수 있습니다. 스포츠 생성 AI 환경이 발전함에 따라 새로운 콘텐츠 생성이 가능해졌습니다. 예를 들어, AI와 머신러닝(ML)을 사용하여 팬들이 이벤트를 시청할 때 보고 싶은 콘텐츠를 표시하거나 제작팀이 현재 이벤트와 일치하는 이전 토너먼트의 장면을 찾을 때 표시할 수 있습니다. 예를 들어 Max Homa가 핀에서 20피트 떨어진 지점에서 PGA TOUR 챔피언십에서 마지막 샷을 찍을 준비를 하고 있다면 PGA TOUR는 AI와 ML을 사용하여 AI 생성 해설과 함께 그에 대한 클립을 식별하고 제공할 수 있습니다. 이전에 비슷한 샷을 다섯 번 시도했습니다. 이러한 종류의 액세스 및 데이터를 통해 제작팀은 즉시 방송에 가치를 추가하거나 팬이 보고 싶은 데이터 유형을 맞춤 설정할 수 있습니다.

“PGA TOUR는 팬 경험을 향상시키기 위해 최첨단 기술을 사용하는 업계 리더입니다. AI는 우리 기술 스택의 최전선에 있으며 이를 통해 팬들을 위한 더욱 매력적이고 상호 작용적인 환경을 만들 수 있습니다. 이는 혁신적인 엔드 투 엔드 고객 경험을 위해 AWS Generative AI Innovation Center와 협력하여 생성되는 AI 여정의 시작입니다. 우리는 Amazon Bedrock과 우리의 독점 데이터를 활용하여 PGA TOUR 팬이 이벤트, 선수, 통계 또는 기타 콘텐츠에 대한 관심 정보를 대화형 방식으로 찾을 수 있는 대화형 경험을 만들기 위해 노력하고 있습니다."
– Scott Gutterman, PGA TOUR 방송 및 디지털 자산 SVP.

결론

이 게시물에서 논의한 프로젝트는 AI를 사용하여 구조화된 데이터 소스와 구조화되지 않은 데이터 소스를 융합하여 차세대 가상 비서를 만드는 방법을 보여줍니다. 스포츠 조직의 경우 이 기술을 통해 팬의 몰입도를 높이고 내부 효율성을 높일 수 있습니다. 우리가 제공하는 데이터 인텔리전스는 선수, 코치, 임원, 파트너 및 미디어와 같은 PGA TOUR 이해관계자가 정보에 입각한 결정을 더 빠르게 내리는 데 도움이 됩니다. 스포츠 외에도 우리의 방법론은 모든 산업 분야에 걸쳐 복제될 수 있습니다. 고객, 직원, 학생, 환자 및 기타 최종 사용자를 참여시키는 보조 장치 구축에도 동일한 원칙이 적용됩니다. 사려 깊은 설계와 테스트를 통해 거의 모든 조직은 구조화된 데이터베이스, 문서, 이미지, 비디오 및 기타 콘텐츠를 상황에 맞게 조정하는 AI 시스템의 이점을 누릴 수 있습니다.

비슷한 기능을 구현하는 데 관심이 있다면 다음을 사용해 보세요. Amazon Bedrock용 에이전트 과 Amazon Bedrock에 대한 기술 자료 완전히 AWS로 관리되는 대안 솔루션입니다. 이 접근 방식을 통해 맞춤형 에이전트를 통해 지능형 자동화 및 데이터 검색 기능을 제공하는 것을 추가로 조사할 수 있습니다. 이러한 에이전트는 잠재적으로 사용자 애플리케이션 상호 작용을 보다 자연스럽고 효율적이며 효과적으로 변화시킬 수 있습니다.

저자 소개

스캇 거터먼 PGA TOUR의 디지털 운영 SVP입니다. 그는 TOUR의 전반적인 디지털 운영, 제품 개발을 담당하며 GenAI 전략을 추진하고 있습니다.

아산 알리 그는 Amazon Generative AI 혁신 센터의 응용 과학자로서 다양한 분야의 고객과 협력하여 Generative AI를 사용하여 긴급하고 비용이 많이 드는 문제를 해결하고 있습니다.

타힌 시에드 그는 Amazon Generative AI 혁신 센터의 응용 과학자로서 고객과 협력하여 생성 AI 솔루션으로 비즈니스 성과를 실현하도록 돕습니다. 업무 외에는 새로운 음식 맛보기, 여행, 태권도 가르치는 것을 즐깁니다.

그레이스 랭 AWS Professional Services의 데이터 및 ML 보조 엔지니어입니다. 어려운 과제를 극복하려는 열정을 바탕으로 Grace는 기계 학습 기반 솔루션을 개발하여 고객이 목표를 달성하도록 돕습니다.

이 재 ProServe의 M&E 부문 수석 참여 관리자입니다. 그녀는 복잡한 업무를 이끌고 전달하며, 강력한 문제 해결 기술을 보여주고, 이해관계자의 기대치를 관리하고, 경영진 수준의 프레젠테이션을 관리합니다. 그녀는 스포츠, 생성 AI, 고객 경험에 초점을 맞춘 프로젝트 작업을 즐깁니다.

칸 차하르 AWS의 공유 제공 팀의 보안 컨설턴트입니다. 그는 고객과 협력하여 보안 문제를 해결하고 클라우드에서 보안 상태를 개선하는 것을 즐기는 기술 애호가입니다.

마이크 암자디 고객이 데이터에서 가치를 극대화할 수 있도록 지원하는 데 주력하는 AWS ProServe의 데이터 및 ML 엔지니어입니다. 그는 잘 설계된 원칙에 따라 데이터 파이프라인을 설계, 구축 및 최적화하는 것을 전문으로 합니다. Mike는 기술을 사용하여 문제를 해결하는 데 열정을 갖고 있으며 고객에게 최상의 결과를 제공하기 위해 최선을 다하고 있습니다.

브루샬리 사완트 Proserve의 프런트엔드 엔지니어입니다. 그녀는 반응형 웹사이트를 만드는 데 매우 능숙합니다. 그녀는 고객과 협력하고 고객의 요구 사항을 이해하며 확장 가능하고 채택하기 쉬운 UI/UX 솔루션을 고객에게 제공하는 것을 좋아합니다.

닐람 파텔 AWS의 고객 솔루션 관리자로서 주요 생성 AI 및 클라우드 현대화 이니셔티브를 주도하고 있습니다. Neelam은 주요 경영진 및 기술 소유자와 협력하여 클라우드 전환 문제를 해결하고 고객이 클라우드 채택의 이점을 극대화하도록 돕습니다. 그녀는 영국 워릭 경영대학원(Warwick Business School)에서 MBA를 취득했으며 인도에서 컴퓨터 공학 학사 학위를 취득했습니다.

무랄리 박타 박사 AWS의 글로벌 골프 솔루션 아키텍트로서 제너레이티브 AI, 데이터 분석 및 최첨단 클라우드 기술과 관련된 중추적 이니셔티브를 주도하고 있습니다. Murali는 주요 경영진 및 기술 소유자와 협력하여 고객의 비즈니스 과제를 이해하고 이러한 과제를 해결하기 위한 솔루션을 설계합니다. 그는 UConn에서 재무학 MBA를 취득했고 아이오와 주립대학교에서 박사 학위를 받았습니다.

메디 누르 Generative Ai Innovation Center의 응용 과학 관리자입니다. 기술과 혁신을 연결하는 데 대한 열정으로 그는 AWS 고객이 Generative AI의 잠재력을 발휘하고 고급 AI 기술의 확장 가능하고 측정 가능하며 영향력 있는 사용에 중점을 두고 잠재적인 과제를 신속한 실험과 혁신의 기회로 전환하고 경로를 간소화하도록 지원합니다. 생산에.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://aws.amazon.com/blogs/machine-learning/the-journey-of-pga-tours-generative-ai-virtual-assistant-from-concept-to-development-to-prototype/