最有影響力的數據驅動洞察來自於將所有資料來源（跨部門、服務、本地工具和第三方應用程式）之間的點連接起來。 但通常情況下，連接資料需要複雜的提取、轉換和載入 (ETL) 管道，需要數小時或數天的時間。 這對於決策速度來說太慢了。 ETL 需要變得更容易，有時甚至需要被消除。
AWS 正在透過多種方式進行投資來解決這個問題。 首先，對於重複 ETL 且幾乎沒有增值的常見用例，我們正在整合服務以減少或消除對 ETL 的需求。 其次，組織仍需要進行諸如清理、重複資料刪除以及組合資料集以進行分析和機器學習 (ML) 等轉型。 對於這些， AWS膠水 提供快速、可擴展的資料轉換。 第三，AWS 繼續增加對更多資料來源的支持，包括與軟體即服務 (SaaS) 應用程式、本機應用程式和其他雲端的連接，以便組織可以對其資料採取行動。
在這篇文章中，我們將討論如何透過涵蓋 AWS 資料庫、分析、商業智慧 (BI) 和 ML 服務的大量資料整合創新來實現這些投資。
Amazon Aurora MySQL 與 Amazon Redshift 的零 ETL 整合現已全面推出
2023 年 XNUMX 月，我們宣布 公開預覽 of Amazon Aurora MySQL 兼容版 零 ETL 集成 亞馬遜Redshift。 我們很高興地宣布這種零 ETL 整合現已推出 一般可用。 Amazon Aurora MySQL 與 Amazon Redshift 的零 ETL 整合每分鐘可處理超過 1 萬個事務，從而實現近乎即時的分析。 新資料進入 Amazon Aurora MySQL 後幾秒鐘內，資料就會複製到 Amazon Redshift。 Amazon Aurora MySQL 中的更新會自動持續傳播到 Amazon Redshift。 客戶和合作夥伴可以透過減少傳統 ETL 瓶頸來節省大量時間。 他們現在可以近乎即時地分析業務指標，並比以往更快地做出數據驅動的決策。
例如，在零售業，印孚瑟斯希望根據商店管理系統中的交易更快地了解其業務，例如暢銷產品和高收入商店。 他們使用 Amazon Aurora MySQL 與 Amazon Redshift 的零 ETL 整合來實現這一目標。 透過這種集成，Infosys 將 Aurora 資料複製到 Amazon Redshift，並在短短幾秒鐘（而不是幾個小時）內為產品經理和通路領導者創建了 Amazon QuickSight 儀表板。 現在，作為 Infosys Cobalt 和 Infosys Topaz 藍圖的一部分，企業可以對交易資料進行近乎即時的分析，這可以幫助他們做出與商店管理相關的明智決策。
– Infosys 資深副總裁兼資料、分析與人工智慧全球主管 Sunil Senan
Amazon SageMaker Canvas 與 Amazon QuickSight 集成
我們使業務分析師能夠透過連接來創建預測性的互動式儀表板 亞馬遜 SageMaker 畫布，我們的無程式碼機器學習服務， 亞馬遜QuickSight，我們的 BI 服務。 業務分析師使用 SageMaker Canvas 建立機器學習模型並產生預測，而無需編寫程式碼。 然後，他們可以將這些預測無縫整合到 QuickSight 中，以建立可在整個組織內共享的互動式儀表板。 這使得預測洞察民主化，從而做出更好的決策。
此外，我們還實作了 SageMaker Canvas 和 QuickSight 之間的深度雙向整合。 業務分析師可以 發送 ML 模型 從 SageMaker Canvas 到 QuickSight 並在 QuickSight 中執行預測。 分析師現在也可以直接傳送數據 從 QuickSight 到 SageMaker Canvas 只需點擊幾下，即可使用簡單的點擊介面快速建立機器學習模型，而無需在兩個服務之間建立或維護複雜的資料管道。 這種整合使用戶能夠比以往更快地從資料轉向預測和視覺化。
連接到 SaaS 應用程式
AWS 服務已連接到數百個 AWS 和第三方資料來源。 資料工程師可以使用以下服務： 亞馬遜AppFlow 和 AWS膠水 使資料能夠從不同的來源快速存取。 這使組織能夠跨孤立的資料集獲得統一的見解。 我們最近在現有產品組合中新增了新的 Amazon AppFlow 和 AWS Glue 整合。
Amazon AppFlow 現在支援對來自 SAP 應用程式的資料傳輸進行並發處理
Amazon AppFlow 是一項完全託管的整合服務，可協助您在 AWS 服務和 SaaS 應用程式之間安全地傳輸數據，現在支援並發處理和可設定的頁面大小 SAP 的資料傳輸速度更快。 這減少了將 SAP 資料轉移到 AWS 資料和人工智慧 (AI) 服務所需的時間。
AWS Glue for Apache Spark 的 Google BigQuery 連線現已全面可用
適用於 Apache Spark 的 AWS Glue 已新增 與 Google BigQuery 的本機連接，無需安裝或管理庫即可直接讀寫 BigQuery 資料。 現在您可以在 AWS Glue Studio 的視覺介面中或直接在 AWS Glue ETL 腳本中新增 BigQuery 作為來源或目標。
總結
我們強調的數據整合創新顯示了我們致力於幫助組織輕鬆連接數據。 無論是實現近乎即時的洞察、民主化預測分析，還是連結不同的資料來源，我們都致力於協助您從資料中獲得更多價值。 透過 Amazon Aurora MySQL、Amazon Redshift、SageMaker Canvas、QuickSight、Amazon AppFlow 和 AWS Glue 的新功能，資料工程師和業務分析師可以打破資料孤島以發現見解。
請瀏覽 與 AWS 的資料集成 了解更多信息。
關於作者
拉胡爾·帕塔克 是關聯式資料庫引擎副總裁，領導 Amazon Aurora、Amazon Redshift 和 Amazon QLDB。 在擔任現職之前，他曾擔任 AWS 分析副總裁，負責整個 AWS 資料庫產品組合的工作。 他與他人共同創立了兩家公司，一家專注於數位媒體分析，另一家專注於 IP 地理定位。
G2 克里希納莫西 是分析副總裁，負責領導 AWS 資料湖服務、資料整合、Amazon OpenSearch Service 和 Amazon QuickSight。 在擔任現職之前，G2 在 Facebook/Meta 建置並執行了分析和機器學習平台，並在 Microsoft 建置了 SQL Server 資料庫、Azure Analytics 和 Azure ML 的各個部分。
