지리공간 데이터는 지구 표면의 특정 위치에 대한 데이터입니다. 이는 지리적 영역 전체를 나타낼 수도 있고 지리적 영역과 관련된 이벤트를 나타낼 수도 있습니다. 지리공간 데이터 분석은 몇몇 산업 분야에서 요구됩니다. 여기에는 공간적 관점에서 데이터가 어디에 존재하는지, 왜 거기에 존재하는지 이해하는 것이 포함됩니다.

지리공간 데이터에는 벡터 데이터와 래스터 데이터라는 두 가지 유형이 있습니다. 래스터 데이터는 그리드로 표현된 셀 매트릭스로, 주로 사진과 위성 이미지를 나타냅니다. 이번 포스팅에서는 위도와 경도의 지리적 좌표와 이를 연결하거나 둘러싸는 선과 다각형(영역)으로 표현되는 벡터 데이터에 중점을 둡니다. 벡터 데이터는 모빌리티 인사이트를 도출하는 데 있어 다양한 사용 사례를 갖고 있습니다. 사용자 모바일 데이터는 그러한 구성 요소 중 하나이며 주로 GPS를 사용하는 모바일 장치의 지리적 위치나 SDK 또는 유사한 통합을 사용하는 앱 게시자에서 파생됩니다. 이 게시물에서는 이 데이터를 다음과 같이 지칭합니다. 이동성 데이터.

이것은 두 부분으로 구성된 시리즈입니다. 첫 번째 게시물에서는 모빌리티 데이터와 그 소스, 그리고 이 데이터의 일반적인 스키마를 소개합니다. 그런 다음 다양한 사용 사례에 대해 논의하고 AWS 서비스를 사용하여 데이터를 정리하는 방법, 기계 학습(ML)이 이러한 노력에 어떻게 도움이 될 수 있는지, 그리고 시각적 자료와 통찰력을 생성하는 데 데이터를 윤리적으로 사용할 수 있는 방법을 살펴봅니다. 두 번째 게시물은 본질적으로 좀 더 기술적이며 샘플 코드와 함께 이러한 단계를 자세히 다룰 것입니다. 이 게시물에는 샘플 데이터세트나 샘플 코드가 없으며, 데이터 수집기에서 데이터를 구입한 후 데이터를 사용하는 방법을 다룹니다.

당신이 사용할 수 Amazon SageMaker 지리 공간 기능 기본 지도에 이동성 데이터를 오버레이하고 계층화된 시각화를 제공하여 협업을 더 쉽게 만듭니다. GPU 기반 대화형 시각화 도구와 Python 노트북은 단일 창에서 수백만 개의 데이터 포인트를 탐색하고 통찰력과 결과를 공유할 수 있는 원활한 방법을 제공합니다.

소스 및 스키마

이동성 데이터 소스는 거의 없습니다. GPS 핑 및 앱 게시자 외에도 Wi-Fi 액세스 포인트, 모바일 장치에 광고를 제공하여 얻은 입찰 스트림 데이터, 기업이 배치한 특정 하드웨어 송신기(예: 실제 매장)와 같은 다른 소스를 사용하여 데이터세트를 강화합니다. ). 기업이 이 데이터를 직접 수집하기 어려운 경우가 많으므로 데이터 수집업체에서 구매할 수도 있습니다. 데이터 수집자는 다양한 소스에서 이동성 데이터를 수집하고, 이를 정리하고, 노이즈를 추가하고, 특정 지역에서 매일 데이터를 사용할 수 있도록 합니다. 데이터 자체의 특성과 획득이 어렵기 때문에 이 데이터의 정확성과 품질은 상당히 다를 수 있으며 일일 활성 사용자, 총 일일 핑, 장치당 평균 일일 핑. 다음 표는 데이터 수집자가 전송하는 일일 데이터 피드의 일반적인 스키마가 어떤 모습인지 보여줍니다.

사용 사례

모빌리티 데이터는 다양한 산업 분야에 광범위하게 적용됩니다. 다음은 가장 일반적인 사용 사례 중 일부입니다.

• 밀도 측정항목 – 유동인구 분석을 인구 밀도와 결합하여 관심 지점(POI)의 활동 및 방문을 관찰할 수 있습니다. 이러한 측정항목은 얼마나 많은 장치나 사용자가 적극적으로 비즈니스를 중단하고 참여하고 있는지를 보여주며, 이는 사이트 선택이나 이벤트 주변의 이동 패턴 분석(예: 경기 당일 이동하는 사람들)에도 사용될 수 있습니다. 이러한 통찰력을 얻기 위해 수신되는 원시 데이터는 추출, 변환 및 로드(ETL) 프로세스를 거쳐 지속적인 장치 위치 핑 스트림에서 활동 또는 참여를 식별합니다. ML 모델을 사용하여 핑을 클러스터링하여 사용자 또는 모바일 장치의 중지를 식별하여 활동을 분석할 수 있습니다. 아마존 세이지 메이커.
• 여행과 궤적 – 기기의 일일 위치 피드는 활동(정지)과 이동(이동)의 집합으로 표현될 수 있습니다. 한 쌍의 활동은 그들 사이의 여행을 나타낼 수 있으며, 지리적 공간에서 이동 장치를 통해 여행을 추적하면 실제 궤적을 매핑할 수 있습니다. 사용자 이동의 궤적 패턴은 교통 패턴, 연료 소비, 도시 계획 등과 같은 흥미로운 통찰력으로 이어질 수 있습니다. 또한 광고판 등 광고 지점에서 가져온 경로를 분석하거나, 공급망 운영을 최적화하기 위한 가장 효율적인 배송 경로를 식별하거나, 자연재해(예: 허리케인 대피) 시 대피 경로를 분석하는 데이터를 제공할 수도 있습니다.
• 집수지역 분석 - A 집수 지역 특정 지역이 고객 또는 잠재 고객일 수 있는 방문자를 끌어들이는 장소를 말합니다. 소매업체는 이 정보를 사용하여 새 매장을 열 최적의 위치를 ​​결정하거나, 두 매장 위치가 서로 너무 가까워서 권역이 겹쳐서 서로의 비즈니스를 방해하고 있는지 판단할 수 있습니다. 또한 실제 고객이 어디에서 왔는지 파악하고, 직장이나 집으로 이동하는 지역을 지나가는 잠재 고객을 식별하고, 경쟁업체에 대한 유사한 방문 지표를 분석하는 등의 작업을 수행할 수 있습니다. 마케팅 기술(MarTech) 및 광고 기술(AdTech) 회사도 이 분석을 사용하여 브랜드 매장에 가까운 고객을 식별하여 마케팅 캠페인을 최적화하거나 옥외 광고 성과에 따라 매장 순위를 매길 수 있습니다.

상업용 부동산에 대한 위치 인텔리전스 생성, 방문객 수로 위성 이미지 데이터 보강, 레스토랑 배달 허브 식별, 인근 대피 가능성 결정, 팬데믹 중 사람들의 이동 패턴 발견 등을 포함한 여러 다른 사용 사례가 있습니다.

도전과제와 윤리적 사용

모빌리티 데이터를 윤리적으로 사용하면 조직이 운영을 개선하고 효과적인 마케팅을 수행하거나 경쟁 우위를 확보하는 데 도움이 되는 많은 흥미로운 통찰력을 얻을 수 있습니다. 이 데이터를 윤리적으로 활용하려면 몇 가지 단계를 따라야 합니다.

데이터 자체를 수집하는 것부터 시작됩니다. 대부분의 이동성 데이터에는 이름, 주소 등 개인 식별 정보(PII)가 없지만 데이터 수집자와 수집자는 데이터를 수집, 사용, 저장, 공유하려면 사용자의 동의를 받아야 합니다. GDPR 및 CCPA와 같은 데이터 개인 정보 보호법은 사용자가 기업에서 데이터를 사용하는 방법을 결정할 수 있도록 지원하므로 준수해야 합니다. 이 첫 번째 단계는 모빌리티 데이터의 윤리적이고 책임감 있는 사용을 향한 실질적인 움직임이지만 더 많은 일을 할 수 있습니다.

각 장치에는 개별 핑을 고정하는 데 사용되는 해시된 모바일 광고 ID(MAID)가 할당됩니다. 이는 다음을 사용하여 더욱 난독화될 수 있습니다. 아마존 Macie, Amazon S3 객체 Lambda, 아마존 이해, 또는 AWS 글루 스튜디오 PII 변환을 감지합니다. 자세한 내용은 다음을 참조하세요. AWS 서비스를 사용하여 PHI 및 PII 데이터를 탐지하는 일반적인 기술.

PII 외에도 사용자의 집 위치는 물론 군사 기지나 예배 장소와 같은 기타 민감한 위치를 가리는 것을 고려해야 합니다.

윤리적 사용의 마지막 단계는 Amazon SageMaker에서 집계된 지표만 추출하고 내보내는 것입니다. 이는 개별 여행 패턴이 아닌 평균 방문자 수 또는 총 방문자 수와 같은 지표를 얻는 것을 의미합니다. 일일, 주간, 월간 또는 연간 추세를 얻습니다. 또는 인구 조사 데이터와 같이 공개적으로 사용 가능한 데이터에 대한 이동성 패턴을 색인화합니다.

솔루션 개요

앞서 언급했듯이 이동성 데이터 분석에 사용할 수 있는 AWS 서비스는 Amazon S3, Amazon Macie, AWS Glue, S3 Object Lambda, Amazon Comprehend 및 Amazon SageMaker 지리 공간적 기능입니다. Amazon SageMaker 지리 공간 기능을 사용하면 데이터 과학자와 ML 엔지니어가 지리 공간 데이터를 사용하여 모델을 쉽게 구축, 교육 및 배포할 수 있습니다. 대규모 지리공간 데이터세트를 효율적으로 변환 또는 강화하고, 사전 학습된 ML 모델을 사용하여 모델 구축을 가속화하고, 3D 가속 그래픽 및 내장된 시각화 도구를 사용하여 대화형 지도에서 모델 예측 및 지리공간 데이터를 탐색할 수 있습니다.

다음 참조 아키텍처는 지리공간 데이터와 함께 ML을 사용하는 워크플로를 보여줍니다.

이 워크플로우에서 원시 데이터는 다양한 데이터 소스에서 집계되어 아마존 단순 스토리지 서비스 (S3) 버킷. Amazon Macie는 이 S3 버킷에서 PII를 식별하고 수정하는 데 사용됩니다. 그런 다음 AWS Glue를 사용하여 원시 데이터를 정리하고 필요한 형식으로 변환한 다음 수정되고 정리된 데이터를 별도의 S3 버킷에 저장합니다. AWS Glue를 통해 불가능한 데이터 변환의 경우 다음을 사용합니다. AWS 람다 원시 데이터를 수정하고 정리합니다. 데이터가 정리되면 Amazon SageMaker를 사용하여 준비된 지리 공간 데이터에 ML 모델을 구축, 교육 및 배포할 수 있습니다. 다음을 사용할 수도 있습니다. 지리공간 처리 작업 데이터를 전처리하는 Amazon SageMaker 지리 공간적 기능입니다. 예를 들어 Python 함수와 SQL 문을 사용하여 원시 이동성 데이터에서 활동을 식별합니다. 데이터 과학자는 Amazon SageMaker 노트북을 통해 연결하여 이 프로세스를 수행할 수 있습니다. 당신은 또한 사용할 수 있습니다 아마존 퀵 사이트 데이터의 비즈니스 결과 및 기타 중요한 측정항목을 시각화합니다.

Amazon SageMaker 지리공간 기능 및 지리공간 처리 작업

데이터를 획득하여 일일 피드를 통해 Amazon S3에 공급하고 중요한 데이터를 정리한 후 다음을 사용하여 Amazon SageMaker로 가져올 수 있습니다. 아마존 세이지 메이커 스튜디오 지리공간 이미지가 포함된 노트북입니다. 다음 스크린샷은 Amazon S3에 CSV 파일로 업로드된 후 Pandas 데이터 프레임에 로드된 일일 장치 핑 샘플을 보여줍니다. 지리 공간 이미지가 포함된 Amazon SageMaker Studio 노트북에는 GDAL, GeoPandas, Fiona 및 Shapely와 같은 지리 공간 라이브러리가 사전 로드되어 있어 이 데이터를 쉽게 처리하고 분석할 수 있습니다.

이 샘플 데이터세트에는 400,000년 5,000월 14,000일 애리조나주 피닉스의 인기 쇼핑몰 단지인 Arrowhead Mall을 방문한 사용자가 기록한 15개의 고유한 장소에서 2023개의 장치에서 발생하는 약 XNUMX개의 일일 장치 핑이 포함되어 있습니다. 앞의 스크린샷은 데이터 스키마. 그만큼 MAID 열은 장치 ID를 나타내며 각 MAID는 샘플 파일에 다음과 같이 기록된 장치의 위도와 경도를 중계하는 핑을 매분 생성합니다. Lat 과 Lng 열.

다음은 Foursquare Studio에서 제공하는 Amazon SageMaker 지리 공간적 기능의 지도 시각화 도구에서 가져온 스크린샷으로, 오전 7시부터 오후 00시 사이에 쇼핑몰을 방문하는 장치의 핑 레이아웃을 보여줍니다.

다음 스크린샷은 쇼핑몰과 주변 지역의 핑을 보여줍니다.

다음은 쇼핑몰 내 다양한 ​​매장 내부의 핑을 보여줍니다.

스크린샷의 각 점은 특정 시점에 특정 장치에서 발생한 핑을 나타냅니다. 핑 클러스터는 상점이나 레스토랑과 같이 장치가 모이거나 중지되는 인기 있는 장소를 나타냅니다.

초기 ETL의 일부로 이 원시 데이터는 AWS Glue를 사용하여 테이블에 로드될 수 있습니다. Amazon S3의 원시 데이터 위치를 데이터 소스로 지정하여 데이터의 스키마를 식별하고 테이블을 구성하는 AWS Glue 크롤러를 생성할 수 있습니다.

위에서 언급한 것처럼 원시 데이터(일일 장치 핑)는 초기 ETL 이후에도 장치 위치를 나타내는 지속적인 GPS 핑 스트림을 나타냅니다. 이 데이터에서 실행 가능한 통찰력을 추출하려면 경유지와 이동(궤적)을 식별해야 합니다. 이는 다음을 사용하여 달성할 수 있습니다. 지리공간 처리 작업 SageMaker 지리공간 기능의 특징입니다. Amazon SageMaker 처리 SageMaker의 단순화된 관리형 환경을 사용하여 특별히 제작된 지리공간 컨테이너로 데이터 처리 워크로드를 실행합니다. SageMaker 처리 작업의 기본 인프라는 SageMaker에서 완전히 관리됩니다. 이 기능을 사용하면 SageMaker 처리 작업에서 지리 공간 ML 컨테이너를 실행하여 Amazon S3에 저장된 지리 공간 데이터에 대해 사용자 지정 코드를 실행할 수 있습니다. 오픈 소스 라이브러리로 사용자 지정 코드를 작성하여 개방형 또는 개인 지리공간 데이터에 대해 사용자 지정 작업을 실행하고 SageMaker 처리 작업을 사용하여 대규모로 작업을 실행할 수 있습니다. 컨테이너 기반 접근 방식은 일반적으로 사용되는 오픈 소스 라이브러리를 사용하여 개발 환경 표준화에 대한 요구를 해결합니다.

이러한 대규모 워크로드를 실행하려면 도시 블록을 처리하기 위한 수십 개의 인스턴스부터 전 세계 규모의 처리를 위한 수천 개의 인스턴스까지 확장할 수 있는 유연한 컴퓨팅 클러스터가 필요합니다. DIY 컴퓨팅 클러스터를 수동으로 관리하는 것은 느리고 비용이 많이 듭니다. 이 기능은 이동성 데이터 세트에 여러 도시, 여러 주 또는 국가가 포함되어 있고 2단계 ML 접근 방식을 실행하는 데 사용할 수 있는 경우 특히 유용합니다.

첫 번째 단계는 DBSCAN(노이즈가 있는 애플리케이션의 밀도 기반 공간 클러스터링) 알고리즘을 사용하여 핑으로 인한 중지를 클러스터링하는 것입니다. 다음 단계는 SVM(서포트 벡터 머신) 방법을 사용하여 식별된 정류장의 정확도를 더욱 향상시키고 POI가 있는 정류장과 POI가 없는 정류장(예: 집 또는 직장)을 구별하는 것입니다. 또한 SageMaker 처리 작업을 사용하면 연속 정류장을 식별하고 소스 정류장과 대상 정류장 사이의 경로를 매핑하여 일일 장치 핑에서 이동 및 궤적을 생성할 수 있습니다.

지리정보 처리 작업을 통해 대규모로 원시 데이터(일일 장치 핑)를 처리한 후 중지라는 새 데이터 세트에는 다음 스키마가 있어야 합니다.

중지는 장치당 핑을 클러스터링하여 통합됩니다. 밀도 기반 클러스터링은 정지 임계값이 300초이고 정지 간 최소 거리가 50미터인 등의 매개변수와 결합됩니다. 이러한 매개변수는 사용 사례에 따라 조정될 수 있습니다.

다음 스크린샷은 15,000번의 핑에서 식별된 약 400,000개의 정류장을 보여줍니다. 이전 스키마의 하위 집합도 존재합니다. 여기서 열은 Dwell Time 정지 시간을 나타내고, Lat 과 Lng 열은 위치별 장치별 정류장 클러스터 중심의 위도와 경도를 나타냅니다.

ETL 이후 데이터는 대량의 데이터를 더 쉽게 처리할 수 있는 열 형식 저장 형식인 Parquet 파일 형식으로 저장됩니다.

다음 스크린샷은 쇼핑몰과 주변 지역 내부의 장치당 핑에서 통합된 정류장을 보여줍니다.

정류장을 식별한 후 이 데이터 세트를 공개적으로 사용 가능한 POI 데이터 또는 사용 사례별 사용자 지정 POI 데이터와 결합하여 브랜드 참여와 같은 활동을 식별할 수 있습니다.

다음 스크린샷은 Arrowhead Mall 내부의 주요 POI(상점 및 브랜드)에서 식별된 정류장을 보여줍니다.

집 우편번호는 데이터 세트에서 여행의 일부인 경우 개인정보를 보호하기 위해 각 방문자의 집 위치를 마스킹하는 데 사용되었습니다. 이 경우 위도와 경도는 각각 우편번호 중심의 좌표입니다.

다음 스크린샷은 이러한 활동을 시각적으로 표현한 것입니다. 왼쪽 이미지는 정류장과 상점을 매핑하고 오른쪽 이미지는 쇼핑몰 자체의 레이아웃에 대한 아이디어를 제공합니다.

이 결과 데이터세트는 다양한 방법으로 시각화될 수 있으며, 이에 대해서는 다음 섹션에서 설명합니다.

밀도 측정항목

활동 및 방문 밀도를 계산하고 시각화할 수 있습니다.

예제 1 – 다음 스크린샷은 쇼핑몰 내 방문한 상위 15개 매장을 보여줍니다.

예제 2 – 다음 스크린샷은 시간별 Apple Store 방문 횟수를 보여줍니다.

여행과 궤적

앞서 언급했듯이 한 쌍의 연속적인 활동은 여행을 의미합니다. 활동 데이터에서 여행을 도출하기 위해 다음 접근 방식을 사용할 수 있습니다. 여기서는 창 함수를 SQL과 함께 사용하여 trips 스크린샷에 보이는 것처럼 테이블입니다.

후 trips 테이블이 생성되면 POI로의 이동이 결정될 수 있습니다.

예 1 – 다음 스크린샷은 Apple Store로 방문객을 유도하는 상위 10개 매장을 보여줍니다.

예제 2 – 다음 스크린샷은 Arrowhead Mall로의 모든 여행을 보여줍니다.

예제 3 – 다음 영상은 쇼핑몰 내부의 움직임 패턴을 보여줍니다.

예제 4 – 다음 영상은 쇼핑몰 외부의 움직임 패턴을 보여줍니다.

집수지역 분석

POI에 대한 모든 방문을 분석하고 집수 지역을 결정할 수 있습니다.

예 1 – 다음 스크린샷은 Macy 매장에 대한 모든 방문을 보여줍니다.

예제 2 – 다음 스크린샷은 방문이 발생한 상위 10개 거주지 우편번호(경계가 강조 표시됨)를 보여줍니다.

데이터 품질 확인

QuickSight 대시보드와 데이터 분석을 사용하여 매일 들어오는 데이터 피드의 품질을 확인하고 이상 현상을 감지할 수 있습니다. 다음 스크린샷은 예시 대시보드를 보여줍니다.

결론

고객 통찰력을 얻고 경쟁 우위를 확보하기 위한 모빌리티 데이터와 분석은 일관되고 정확한 데이터 세트를 얻기 어렵기 때문에 여전히 틈새 영역으로 남아 있습니다. 그러나 이 데이터는 조직이 기존 분석에 컨텍스트를 추가하고 고객 이동 패턴에 대한 새로운 통찰력을 생성하는 데 도움이 될 수 있습니다. Amazon SageMaker 지리공간 기능과 지리공간 처리 작업은 이러한 사용 사례를 구현하고 직관적이고 접근 가능한 방식으로 통찰력을 얻는 데 도움이 됩니다.

이 게시물에서는 AWS 서비스를 사용하여 이동성 데이터를 정리한 다음 Amazon SageMaker 지리 공간적 기능을 사용하여 ML 모델을 사용하여 정지, 활동 및 여행과 같은 파생 데이터 세트를 생성하는 방법을 시연했습니다. 그런 다음 파생 데이터 세트를 사용하여 움직임 패턴을 시각화하고 통찰력을 생성했습니다.

다음 두 가지 방법으로 Amazon SageMaker 지리 공간적 기능을 시작할 수 있습니다.

더, 방문 내용 Amazon SageMaker 지리 공간 기능 과 Amazon SageMaker 지리 공간 시작하기. 또한, 우리를 방문하십시오 GitHub 레포에는 Amazon SageMaker 지리 공간적 기능에 대한 여러 예제 노트북이 있습니다.

저자에 관하여

지미 매튜스 AI/ML 기술에 대한 전문 지식을 갖춘 AWS 솔루션스 아키텍트입니다. Jimy는 보스턴에 거주하며 클라우드를 채택하여 비즈니스를 혁신하는 기업 고객과 협력하고 효율적이고 지속 가능한 솔루션을 구축하도록 돕습니다. 그는 가족, 자동차, 종합격투기에 열정을 갖고 있습니다.

기리쉬 케샤브 AWS의 솔루션스 아키텍트로서 고객이 클라우드 마이그레이션 과정에서 워크로드를 현대화하고 안전하고 효율적으로 실행할 수 있도록 지원합니다. 그는 기술 팀의 리더들과 협력하여 애플리케이션 보안, 기계 학습, 비용 최적화 및 지속 가능성에 대해 안내합니다. 그는 샌프란시스코에 거주하며 여행, 하이킹, 스포츠 관람, 수제 맥주 양조장 탐험을 좋아합니다.

라메쉬 부두 AWS 기업 고객이 데이터 자산으로 수익을 창출할 수 있도록 지원하는 데 중점을 둔 솔루션 아키텍처의 수석 리더입니다. 그는 경영진과 엔지니어에게 확장성이 뛰어나고 안정적이며 비용 효과적인 클라우드 솔루션, 특히 기계 학습, 데이터 및 분석에 중점을 둔 클라우드 솔루션을 설계하고 구축하도록 조언합니다. 여가 시간에는 가족과 함께 야외 활동, 자전거 타기, 하이킹을 즐깁니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://aws.amazon.com/blogs/machine-learning/use-mobility-data-to-derive-insights-using-amazon-sagemaker-geospatial-capabilities/