Những hiểu biết sâu sắc dựa trên dữ liệu có tác động mạnh mẽ nhất đến từ việc kết nối các điểm giữa tất cả các nguồn dữ liệu của bạn—giữa các phòng ban, dịch vụ, công cụ tại chỗ và ứng dụng của bên thứ ba. Nhưng thông thường, việc kết nối dữ liệu yêu cầu các đường dẫn trích xuất, chuyển đổi và tải (ETL) phức tạp, mất hàng giờ hoặc hàng ngày. Quá chậm so với tốc độ ra quyết định. ETL cần phải dễ dàng hơn và đôi khi bị loại bỏ.

AWS đang đầu tư để giải quyết vấn đề này theo nhiều cách. Đầu tiên, đối với các trường hợp sử dụng phổ biến trong đó ETL được lặp lại với ít giá trị gia tăng, chúng tôi đang tích hợp các dịch vụ để giảm hoặc loại bỏ nhu cầu về ETL. Thứ hai, các tổ chức vẫn cần những chuyển đổi như làm sạch, loại bỏ trùng lặp và kết hợp các bộ dữ liệu để phân tích và học máy (ML). Đối với những điều này, Keo AWS cung cấp chuyển đổi dữ liệu nhanh chóng, có thể mở rộng. Thứ ba, AWS tiếp tục bổ sung hỗ trợ cho nhiều nguồn dữ liệu hơn, bao gồm kết nối với ứng dụng phần mềm dưới dạng dịch vụ (SaaS), ứng dụng tại chỗ và các đám mây khác để tổ chức có thể hành động trên dữ liệu của họ.

Trong bài đăng này, chúng tôi thảo luận về cách chúng tôi thực hiện các khoản đầu tư này với một số cải tiến tích hợp dữ liệu trải rộng trên cơ sở dữ liệu AWS, phân tích, kinh doanh thông minh (BI) và các dịch vụ ML.

Tích hợp zero-ETL của Amazon Aurora MySQL với Amazon Redshift hiện đã có sẵn rộng rãi

Vào tháng 2023 năm XNUMX, chúng tôi đã công bố xem trước công khai of Phiên bản tương thích với Amazon Aurora MySQL tích hợp zero-ETL với Amazon RedShift. Chúng tôi vui mừng thông báo rằng việc tích hợp không ETL này hiện đã được thực hiện Có sẵn. Tích hợp zero-ETL của Amazon Aurora MySQL với Amazon Redshift xử lý hơn 1 triệu giao dịch mỗi phút, cho phép phân tích gần như thời gian thực. Trong vòng vài giây kể từ khi có dữ liệu mới vào Amazon Aurora MySQL, dữ liệu sẽ được sao chép sang Amazon Redshift. Các bản cập nhật trong Amazon Aurora MySQL được truyền tải tự động và liên tục tới Amazon Redshift. Khách hàng và đối tác có thể tiết kiệm được rất nhiều thời gian bằng cách giảm thiểu tắc nghẽn ETL truyền thống. Giờ đây, họ có thể phân tích các số liệu kinh doanh trong thời gian gần như thực và đưa ra quyết định dựa trên dữ liệu nhanh hơn bao giờ hết.

Ví dụ: trong ngành bán lẻ, Infosys muốn có được thông tin chi tiết nhanh hơn về hoạt động kinh doanh của họ, chẳng hạn như các sản phẩm bán chạy nhất và các cửa hàng có doanh thu cao, dựa trên các giao dịch trong hệ thống quản lý cửa hàng. Họ đã sử dụng tích hợp zero-ETL của Amazon Aurora MySQL với Amazon Redshift để đạt được điều này. Với sự tích hợp này, Infosys đã sao chép dữ liệu Aurora sang Amazon Redshift và tạo bảng thông tin Amazon QuickSight cho người quản lý sản phẩm và người đứng đầu kênh chỉ trong vài giây, thay vì vài giờ. Giờ đây, như một phần của bản thiết kế Infosys Cobalt và Infosys Topaz, doanh nghiệp có thể có các phân tích gần như theo thời gian thực về dữ liệu giao dịch, điều này có thể giúp họ đưa ra các quyết định sáng suốt liên quan đến quản lý cửa hàng.

– Sunil Senan, SVP và Giám đốc Toàn cầu về Dữ liệu, Phân tích và AI, Infosys

Tích hợp Amazon SageMaker Canvas với Amazon QuickSight

Chúng tôi đang trao quyền cho các nhà phân tích kinh doanh để tạo ra các bảng thông tin mang tính dự đoán, tương tác bằng cách kết nối Canvas SageMaker của Amazon, dịch vụ ML không cần mã của chúng tôi, với Amazon QuickSight, dịch vụ BI của chúng tôi. Các nhà phân tích kinh doanh sử dụng SageMaker Canvas để xây dựng mô hình ML và tạo dự đoán mà không cần viết mã. Sau đó, họ có thể tích hợp liền mạch những dự đoán này trong QuickSight để tạo bảng thông tin tương tác có thể chia sẻ trong toàn tổ chức của mình. Điều này cho phép dân chủ hóa những hiểu biết mang tính dự đoán để đưa ra quyết định tốt hơn.

Hơn nữa, chúng tôi đã cho phép tích hợp sâu, hai chiều giữa SageMaker Canvas và QuickSight. Các nhà phân tích kinh doanh có thể gửi mô hình ML từ SageMaker Canvas đến QuickSight và chạy dự đoán từ bên trong QuickSight. Các nhà phân tích giờ đây cũng có thể trực tiếp gửi dữ liệu từ QuickSight đến SageMaker Canvas chỉ với một vài cú nhấp chuột để nhanh chóng xây dựng các mô hình ML bằng giao diện trỏ và nhấp đơn giản mà không cần tạo hoặc duy trì các đường dẫn dữ liệu phức tạp giữa hai dịch vụ. Sự tích hợp này cho phép người dùng chuyển từ dữ liệu sang dự đoán và trực quan hóa nhanh hơn bao giờ hết.

Kết nối với các ứng dụng SaaS

Các dịch vụ AWS đã kết nối với hàng trăm nguồn dữ liệu của AWS và bên thứ ba. Kỹ sư dữ liệu có thể sử dụng các dịch vụ như Luồng ứng dụng Amazon và Keo AWS để làm cho dữ liệu có thể truy cập nhanh chóng từ nhiều nguồn khác nhau. Điều này cho phép các tổ chức có được những hiểu biết thống nhất trên các bộ dữ liệu riêng biệt. Gần đây, chúng tôi đã thêm các tiện ích tích hợp Amazon AppFlow và AWS Glue mới vào danh mục hiện tại của mình.

Amazon AppFlow hiện hỗ trợ xử lý đồng thời để truyền dữ liệu từ các ứng dụng SAP

Amazon AppFlow, một dịch vụ tích hợp được quản lý toàn phần giúp bạn truyền dữ liệu một cách an toàn giữa các dịch vụ AWS và ứng dụng SaaS, hiện hỗ trợ xử lý đồng thời và kích thước trang có thể định cấu hình cho truyền dữ liệu nhanh hơn từ SAP. Điều này giúp giảm thời gian di chuyển dữ liệu SAP sang dữ liệu AWS và dịch vụ trí tuệ nhân tạo (AI).

Hiện đã có sẵn khả năng kết nối Google BigQuery cho AWS Glue dành cho Apache Spark

Đã thêm keo AWS cho Apache Spark khả năng kết nối tự nhiên với Google BigQuery, cho phép đọc và ghi dữ liệu BigQuery trực tiếp mà không cần cài đặt hoặc quản lý thư viện. Giờ đây, bạn có thể thêm BigQuery làm nguồn hoặc đích trong giao diện trực quan của AWS Glue Studio hoặc trực tiếp trong tập lệnh AWS Glue ETL.

Tổng kết

Những đổi mới về tích hợp dữ liệu mà chúng tôi đã nêu bật thể hiện cam kết của chúng tôi trong việc hỗ trợ các tổ chức dễ dàng kết nối dữ liệu của họ. Cho dù đó là đạt được thông tin chi tiết gần như theo thời gian thực, dân chủ hóa phân tích dự đoán hay kết nối các nguồn dữ liệu đa dạng, chúng tôi đều tập trung vào việc giúp bạn thu được nhiều giá trị hơn từ dữ liệu của mình. Với các chức năng mới của Amazon Aurora MySQL, Amazon Redshift, SageMaker Canvas, QuickSight, Amazon AppFlow và AWS Glue, các kỹ sư dữ liệu và nhà phân tích kinh doanh có thể chia nhỏ các kho dữ liệu để khám phá thông tin chi tiết.

Truy cập Tích hợp dữ liệu với AWS để tìm hiểu thêm.

Giới thiệu về tác giả

Rahul Pathak là Phó chủ tịch Công cụ cơ sở dữ liệu quan hệ, lãnh đạo Amazon Aurora, Amazon Redshift và Amazon QLDB. Trước vai trò hiện tại, ông là Phó Giám đốc Phân tích tại AWS, nơi ông làm việc trên toàn bộ danh mục cơ sở dữ liệu AWS. Ông đã đồng sáng lập hai công ty, một công ty tập trung vào phân tích phương tiện truyền thông kỹ thuật số và công ty còn lại tập trung vào định vị địa lý IP.

G2 Krishnamoorthy là Phó Giám đốc Phân tích, phụ trách các dịch vụ kho dữ liệu AWS, tích hợp dữ liệu, Amazon OpenSearch Service và Amazon QuickSight. Trước vai trò hiện tại của mình, G2 đã xây dựng và vận hành Nền tảng phân tích và máy học tại Facebook/Meta, đồng thời xây dựng nhiều phần khác nhau của cơ sở dữ liệu SQL Server, Azure Analytics và Azure ML tại Microsoft.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://aws.amazon.com/blogs/big-data/connect-your-data-for-faster-decisions-with-aws/