이 게시물은 Getir의 Nafi Ahmet Turgut, Hasan Burak Yel 및 Damla Şentürk가 공동으로 작성한 게스트 게시물입니다.

2015 년에 설립 된, 가져 초고속 식료품 배송 분야의 선구자로 자리매김했습니다. 이 혁신적인 기술 회사는 "몇 분 안에 식료품을 구매할 수 있는" 매력적인 서비스를 제공하여 라스트마일 배송 부문에 혁명을 일으켰습니다. 터키, 영국, 네덜란드, 독일, 미국 전역에 진출한 Getir는 주목할만한 다국적 기업이 되었습니다. 오늘날 Getir 브랜드는 XNUMX개의 서로 다른 업종을 포괄하는 다양한 대기업을 대표하며 모두 하나의 우산 아래서 시너지 효과를 발휘합니다.

이 게시물에서는 다음을 사용하여 상업 팀을 돕기 위해 엔드투엔드 제품 카테고리 예측 파이프라인을 구축한 방법을 설명합니다. 아마존 세이지 메이커 과 AWS 배치, 모델 학습 기간을 90% 단축합니다.

기존 제품 구색을 자세히 이해하는 것은 오늘날 빠르게 변화하고 경쟁이 치열한 시장에서 많은 기업과 함께 우리가 직면한 중요한 과제입니다. 이 문제에 대한 효과적인 해결책은 제품 카테고리를 예측하는 것입니다. 포괄적인 카테고리 트리를 생성하는 모델을 통해 우리 상업 팀은 기존 제품 포트폴리오를 경쟁사의 제품 포트폴리오와 비교하여 전략적 이점을 제공할 수 있습니다. 따라서 우리의 핵심 과제는 정확한 제품 카테고리 예측 모델을 생성하고 구현하는 것입니다.

우리는 AWS에서 제공하는 강력한 도구를 활용하여 이러한 과제를 해결하고 복잡한 기계 학습(ML) 및 예측 분석 분야를 효과적으로 탐색했습니다. 우리의 노력 덕분에 SageMaker와 AWS Batch의 장점을 결합한 엔드투엔드 제품 범주 예측 파이프라인이 성공적으로 생성되었습니다.

이러한 예측 분석 기능, 특히 제품 카테고리의 정확한 예측 기능은 매우 귀중한 것으로 입증되었습니다. 이는 재고 관리를 최적화하고, 고객 상호 작용을 강화하고, 시장 입지를 강화하는 중요한 데이터 기반 통찰력을 팀에 제공했습니다.

이 게시물에서 설명하는 방법론은 기능 세트 수집의 초기 단계부터 예측 파이프라인의 최종 구현까지 다양합니다. 우리 전략의 중요한 측면은 SageMaker와 AWS Batch를 사용하여 XNUMX가지 언어에 대해 사전 훈련된 BERT 모델을 개선하는 것입니다. 또한 AWS의 객체 스토리지 서비스와의 원활한 통합 아마존 단순 스토리지 서비스 (Amazon S3)은 이러한 세련된 모델을 효율적으로 저장하고 액세스하는 데 핵심이었습니다.

SageMaker는 완전관리형 ML 서비스입니다. SageMaker를 사용하면 데이터 과학자와 개발자는 ML 모델을 쉽고 빠르게 구축 및 훈련한 다음 프로덕션에 바로 사용할 수 있는 호스팅 환경에 직접 배포할 수 있습니다.

완전 관리형 서비스인 AWS Batch는 모든 규모의 배치 컴퓨팅 워크로드를 실행하는 데 도움이 됩니다. AWS Batch는 자동으로 컴퓨팅 리소스를 프로비저닝하고 워크로드의 수량과 규모에 따라 워크로드 배포를 최적화합니다. AWS Batch를 사용하면 배치 컴퓨팅 소프트웨어를 설치하거나 관리할 필요가 없으므로 결과를 분석하고 문제를 해결하는 데 시간을 집중할 수 있습니다. 인스턴스의 GPU를 사용하는 작업을 실행하는 데 도움이 되는 GPU 작업을 사용했습니다.

솔루션 개요

Getir의 데이터 과학 팀과 인프라 팀의 XNUMX명이 이 프로젝트에서 함께 작업했습니다. 프로젝트는 한 달 만에 완료되었으며 일주일 간의 테스트를 거쳐 프로덕션에 배포되었습니다.

다음 다이어그램은 솔루션의 아키텍처를 보여줍니다.

모델 파이프라인은 국가별로 별도로 실행됩니다. 아키텍처에는 정의된 일정에 따라 실행되는 각 국가에 대한 XNUMX개의 AWS Batch GPU 크론 작업이 포함되어 있습니다.

우리는 SageMaker 및 AWS Batch GPU 리소스를 전략적으로 배포하여 몇 가지 문제를 극복했습니다. 각 문제를 해결하는 데 사용되는 프로세스는 다음 섹션에 자세히 설명되어 있습니다.

AWS Batch GPU 작업으로 다국어 BERT 모델 미세 조정

우리는 다양한 사용자 기반을 위해 여러 언어를 지원하는 솔루션을 모색했습니다. BERT 모델은 복잡한 자연어 작업을 효과적으로 처리할 수 있는 능력이 확립되어 있기 때문에 당연한 선택이었습니다. 이러한 모델을 우리의 필요에 맞게 조정하기 위해 우리는 단일 노드 GPU 인스턴스 작업을 사용하여 AWS의 강력한 기능을 활용했습니다. 이를 통해 지원이 필요한 XNUMX개 언어 각각에 대해 사전 훈련된 BERT 모델을 미세 조정할 수 있었습니다. 이 방법을 통해 우리는 잠재적인 언어 장벽을 극복하고 제품 카테고리 예측의 높은 정확성을 보장했습니다.

Amazon S3를 사용한 효율적인 모델 저장

다음 단계는 모델 저장 및 관리를 다루는 것이었습니다. 이를 위해 확장성과 보안이 뛰어난 Amazon S3를 선택했습니다. Amazon S3에 미세 조정된 BERT 모델을 저장하면 조직 내 다양한 ​​팀에 쉽게 액세스할 수 있어 배포 프로세스가 크게 간소화됩니다. 이는 운영의 민첩성을 달성하고 ML 노력의 원활한 통합을 달성하는 데 중요한 측면이었습니다.

엔드투엔드 예측 파이프라인 만들기

사전 훈련된 모델을 최대한 활용하려면 효율적인 파이프라인이 필요했습니다. 우리는 먼저 이러한 모델을 짧은 지연 시간으로 실시간 예측이 가능한 작업인 SageMaker에 배포하여 사용자 경험을 향상시켰습니다. 우리 운영에 똑같이 중요한 대규모 배치 예측을 위해 AWS Batch GPU 작업을 활용했습니다. 이를 통해 리소스를 최적으로 사용할 수 있게 되었고 성능과 효율성의 완벽한 균형을 이루었습니다.

SageMaker MME를 통한 미래 가능성 탐구

ML 파이프라인에서 지속적으로 발전하고 효율성을 추구하면서 우리가 탐구하고 싶은 한 가지 방법은 미세 조정된 모델을 배포하기 위해 SageMaker 다중 모델 엔드포인트(MME)를 사용하는 것입니다. MME를 사용하면 미세 조정된 다양한 모델의 배포를 잠재적으로 간소화하여 효율적인 모델 관리를 보장하는 동시에 그림자 변형, 자동 크기 조정 및 확장과 같은 SageMaker의 기본 기능을 활용할 수 있습니다. 아마존 클라우드 워치 완성. 이러한 탐구는 예측 분석 기능을 강화하고 고객에게 탁월한 경험을 제공하려는 지속적인 노력과 일치합니다.

결론

SageMaker와 AWS Batch의 성공적인 통합으로 인해 특정 문제가 해결되었을 뿐만 아니라 운영 효율성도 크게 향상되었습니다. 정교한 제품 카테고리 예측 파이프라인의 구현을 통해 우리는 상업 팀에 데이터 기반 통찰력을 부여하여 보다 효과적인 의사 결정을 촉진할 수 있습니다.

우리의 결과는 우리 접근 방식의 효율성에 대해 많은 것을 말해줍니다. 우리는 네 가지 수준의 카테고리 세분성 모두에서 80%의 예측 정확도를 달성했으며, 이는 우리가 서비스를 제공하는 각 국가의 제품 분류를 형성하는 데 중요한 역할을 합니다. 이러한 수준의 정확성은 언어 장벽을 넘어 우리의 도달 범위를 확장하고 최대한의 정확성으로 다양한 사용자 기반을 충족할 수 있도록 보장합니다.

또한 예약된 AWS Batch GPU 작업을 전략적으로 사용하여 모델 교육 기간을 90% 단축할 수 있었습니다. 이러한 효율성 덕분에 프로세스가 더욱 간소화되고 운영 민첩성이 강화되었습니다. Amazon S3를 사용한 효율적인 모델 스토리지는 실시간 예측과 배치 예측의 균형을 유지하면서 이러한 성과를 거두는 데 중요한 역할을 했습니다.

SageMaker를 사용하여 자체 ML 파이프라인 구축을 시작하는 방법에 대한 자세한 내용은 다음을 참조하세요. Amazon SageMaker 리소스. AWS Batch는 낮은 운영 오버헤드로 배치 작업을 실행하기 위한 저렴하고 확장 가능한 솔루션을 찾고 있는 경우 탁월한 옵션입니다. 시작하려면 다음을 참조하세요. AWS Batch 시작하기.

저자에 관하여

나피 아흐메트 투르구트 전기전자공학 석사 학위를 취득하고 대학원 연구 과학자로 일했습니다. 그의 초점은 신경 네트워크 이상 현상을 시뮬레이션하기 위한 기계 학습 알고리즘을 구축하는 것이었습니다. 그는 2019년에 Getir에 합류했으며 현재 수석 데이터 과학 및 분석 관리자로 일하고 있습니다. 그의 팀은 Getir의 엔드투엔드 기계 학습 알고리즘과 데이터 기반 솔루션을 설계, 구현 및 유지 관리하는 일을 담당하고 있습니다.

하산 부락 옐 Boğaziçi 대학교에서 전기전자공학 학사 학위를 받았습니다. 그는 Turkcell에서 주로 시계열 예측, 데이터 시각화 및 네트워크 자동화에 중점을 두고 근무했습니다. 그는 2021년에 Getir에 합류했으며 현재 검색, 추천 및 성장 도메인을 담당하는 데이터 과학 및 분석 관리자로 일하고 있습니다.

담라 센튀르크 갈라타사라이 대학교에서 컴퓨터 공학 학사 학위를 받았습니다. 그녀는 Boğaziçi University에서 컴퓨터 공학 석사 학위를 계속 취득하고 있습니다. 그녀는 2022년에 Getir에 입사하여 데이터 과학자로 일하고 있습니다. 그녀는 상업, 공급망 및 발견 관련 프로젝트에 참여했습니다.

에스라 카야발리 데이터 웨어하우징, 데이터 레이크, 빅 데이터 분석, 배치 및 실시간 데이터 스트리밍, 데이터 통합 ​​등 분석 분야를 전문으로 하는 AWS의 수석 솔루션 아키텍트입니다. 그녀는 12년의 소프트웨어 개발 및 아키텍처 경험을 갖고 있습니다. 그녀는 클라우드 기술을 배우고 가르치는 데 열정을 갖고 있습니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://aws.amazon.com/blogs/machine-learning/how-getir-reduced-model-training-durations-by-90-with-amazon-sagemaker-and-aws-batch/