Apache Hive - Plato データインテリジェンス

AWS Lake Formation 2023 年の振り返り |アマゾンウェブサービス

ビッグデータ2024 年 1 月 18 日

AWS Lake Formation と AWS Glue データカタログは、Amazon 上に構築されたデータレイクのデータガバナンスソリューションの不可欠な部分を形成します。

AWS Lake Formation と統合された Amazon EMR を介して Open Table Format に対してきめ細かいアクセス制御を適用する |アマゾンウェブサービス

ビッグデータ2024 年 1 月 17 日

Amazon EMR 6.15 では、Apache Hudi、Apache Iceberg などの Open Table Format (OTF) 上で AWS Lake Formation ベースのきめ細かいアクセス制御 (FGAC) を開始しました。

GoDaddy ベンチマークの結果、Amazon EMR サーバーレス上の AWS Graviton24 を使用した Spark ワークロードの価格パフォーマンスが最大 2% 向上しました。アマゾンウェブサービス

ビッグデータ2023 年 11 月 2 日

これは、ソフトウェア開発エンジニアの Mukul Sharma および GoDaddy のエンジニアリングディレクターの Ozcan IIikhan との共同執筆によるゲスト投稿です。 GoDaddy は日常の起業家に力を与えます...

AWS Step 関数を使用して Amazon EMR サーバーレスジョブを調整する | アマゾンウェブサービス

ビッグデータ2023 年 10 月 12 日

Amazon EMR サーバーレスは、Apache Spark などの最新のオープンソースフレームワークを使用する分析アプリケーションの操作を簡素化するサーバーレスランタイム環境を提供します。

EC2 クラスター上の Amazon EMR のキャパシティ管理と Amazon EMR マネージドスケーリングの改善 | アマゾンウェブサービス

ビッグデータ2023 年 9 月 7 日

2022 年に、クラスターの使用率とクラスターの使用率の向上に役立つ Amazon EMR マネージドスケーリングの新しい機能強化についてお話しました。

Ontraport が AWS Glue を使用してデータ処理コストを 80% 削減した方法 | アマゾンウェブサービス

ビッグデータ2023 年 8 月 11 日

この投稿は、オントラポートの Elijah Ball と共同で書かれています。お客様は、データと分析のワークロードを AWS クラウドに実装して最適化しています。

AWS Lake Formation 権限を使用して Apache Hive メタストアをクエリする | アマゾンウェブサービス

ビッグデータ２０２２年７月１１日

Apache Hive は、Apache Hadoop プラットフォーム上で高度に分散されたデータセットを処理するための SQL ベースのデータウェアハウスシステムです。重要なコンポーネントは XNUMX つあります...

Zoom が Amazon EMR で Apache Hudi を使用してストリーミングログの取り込みと効率的な GDPR 削除を実装した方法 | アマゾンウェブサービス

ビッグデータ2023 年 5 月 16 日

今日のデジタル時代では、ログはアプリケーションの開発と管理の重要な側面ですが、データ保護規制を遵守しながらログを効率的に管理することは...

Amazon Athena を使用して Apache Iceberg テーブルを操作し、AWS Lake Formation を使用してクロスアカウントのきめ細かいアクセス許可を操作します

ビッグデータ2023 年 3 月 23 日

最近、サポートされているファイル形式で保存されたデータに対する Amazon Athena クエリでの AWS Lake Formation のきめ細かいアクセス制御ポリシーのサポートを発表しました...

Amazon SageMaker Data Wrangler と Apache Hive のパワーで洞察を得るまでの時間を短縮

AI2023 年 3 月 10 日

Amazon SageMaker Data Wrangler は、Amazon での機械学習 (ML) 用のデータの集約と準備にかかる時間を数週間から数分に短縮します...

Apache Flume の詳細: インストール、セットアップ、構成

ビッグデータ2023 年 3 月 7 日

はじめに Apache Flume は、ログファイルなどのさまざまなソースから膨大な量のストリーミングデータを収集、集約、配信するためのツール/サービス/データ取り込みメカニズムです。

20 年に専門家が使用するトップ 2023 のビッグデータツール

ビッグデータ2023 年 2 月 23 日

はじめにビッグデータは、さまざまなソースから生成される大規模で複雑なデータセットであり、指数関数的に増加します。それは非常に広範かつ多様であるため、従来のデータは...

12 3...108 1のページ108

生成的データインテリジェンス

タグ： Apacheハイブ

Amazon S3、AWS Glue、Snowflake を使用してデータレイクで Apache Iceberg を使用する |アマゾンウェブサービス

トップニュース

Amazon が Amazon EMR を使用して大規模な財務調整プロセスを最適化し、スケーラビリティとパフォーマンスを向上させた方法 |アマゾンウェブサービス

Amazon EMR サーバーレスを採用することで、GoDaddy データプラットフォームがどのようにして 60% 以上のコスト削減と 50% 以上のパフォーマンス向上を達成したか |アマゾンウェブサービス

専門家のためのデータサイエンスの 20 のテクノロジー

最新のインテリジェンス

Amazon EMR サーバーレスで AWS Graviton27 を使用して、Spark ワークロードのコストパフォーマンスを最大 2% 向上させます

Amazon EMR サーバーレスは、より大きなワーカーサイズをサポートして、より多くのコンピューティングとメモリ集約型のワークロードを実行します

Amazon Managed Service for Prometheus および Amazon Managed Grafana を使用して、Amazon EMR で Apache HBase をモニタリングする

AWS Lake Formation 2022 年を振り返る

カスタムイメージを使用して、独自のライブラリとアプリケーションの依存関係を Amazon EMR サーバーレスの Spark と Hive に追加します。

2023 年にデータエンジニアになるための段階的なロードマップ

Amazon SageMaker Studio の AWS Lake Formation と Amazon EMR を使用して、きめ細かいデータアクセス制御を適用します