データレイク編 第11章 / 全11章

クラウドで作るデータ基盤とは

Azure ・ Google Cloud ・ AWS

ポイント

• 保存・取り込み・加工・DWH・BI・AI・カタログ――役割ごとに各社のサービスがある
• Azure は Microsoft Fabric、Google Cloud は BigQuery、AWS は S3 を中心に組み立てるのが定番
• Databricks・Snowflake のように、どのクラウドの上でも使えるサービスもある

名前の由来

仕事の現場では

くわしく（正確な話）

この章の用語（意味と語源）

Microsoft Fabric ファブリック

Azureの、レイク・加工・DWH・BIをひとつにまとめた分析サービス。

データは OneLake にまとめて置かれ、Power BI とそのままつながります。

覚えておく：OneLake / Fabric Warehouse / Power BI

語源fabric（織物・布地）。いろいろな機能を1枚の布のように織り合わせた、というイメージ。

BigQuery ビッグクエリ

Google Cloudの、サーバー管理不要で巨大なデータをSQLで集計できるDWH。

語源big（巨大な）+ query（問い合わせ）。

Amazon S3 エススリー

AWSのオブジェクトストレージ。データレイクの定番の置き場所。

語源Simple Storage Service。S が3つで「S3」。

Databricks データブリックス

Apache Spark の開発者が作った、レイクハウスのサービス。

Azure・AWS・Google Cloud のどれでも使えます。

語源data（データ）+ bricks（れんが）。データでれんがを積み上げるように基盤を組み立てる、というイメージ。

Snowflake スノーフレーク

どのクラウドの上でも使える、人気のDWH・データ基盤のサービス。

語源snowflake（雪の結晶）。創業者たちがスキー好きだったことや、DWHの設計の形「スノーフレークスキーマ」にちなむと言われます。

Azure Data Lake Storage ADLS

Azureの、データレイク向けのオブジェクトストレージ。

語源Azure Data Lake Storage の頭文字。Gen2 は Generation 2（第2世代）。

Cloud Storage Google Cloud のストレージ

Google Cloudのオブジェクトストレージ。

語源「クラウドの保存場所」そのままの名前。

Microsoft Purview パービュー

Azureのデータカタログ・ガバナンスのサービス。

語源purview（権限・目の届く範囲）。

Dataplex データプレックス

Google Cloudのデータカタログ・ガバナンスのサービス。

語源data + plex（ラテン語 plectere：編む・折り重ねる）。

AWS Glue / Lake Formation グルー / レイクフォーメーション

AWSの、データ加工（Glue）とカタログ・権限管理（Lake Formation）のサービス。

語源glue（のり・接着剤）＝データ同士をくっつける。lake formation は「湖の形成」。

OneLake ワンレイク

Microsoft Fabric の、組織にひとつのデータレイク。

語源one（ひとつの）+ lake（湖）。

Azure Data Factory データファクトリー

Azureの、データの取り込み・パイプラインのサービス。

語源factory（工場）。データを運んで加工する工場。

Azure Synapse Analytics シナプス

AzureのDWH・分析サービス。新規は Microsoft Fabric が中心になりつつある。

語源synapse は神経細胞と神経細胞のつなぎ目。ギリシャ語 synapsis（結合）から。

Azure Machine Learning Azure の機械学習

Azureの機械学習サービス。

語源machine learning（機械学習）。

Pub/Sub / Datastream Google Cloud の取り込み

Google Cloudの、ストリーミングの受け口（Pub/Sub）と、DBの変更を流すCDC（Datastream）。

語源Publish（発行）/ Subscribe（購読）。新聞の発行と購読の関係にたとえた名前。Datastream は data + stream（流れ）。

Dataflow / Dataproc Google Cloud の加工

Google Cloudの、データ加工のサービス。

Dataflow はバッチとストリーミングを同じ書き方で処理でき、Dataproc は Spark などを動かせます。

語源Dataflow は data + flow（流れ）。Dataproc は data processing（データ処理）。

Vertex AI バーテックスAI

Google Cloudの、機械学習と生成AIのサービス。

語源vertex（頂点）。

Amazon Kinesis / AWS DMS AWS の取り込み

AWSの、ストリーミングの受け口（Kinesis）と、DBのデータ移行・CDC（DMS）。

語源kinesis はギリシャ語で「動き」。DMS は Database Migration Service（DBの引っ越しサービス）。

Amazon EMR イーエムアール

AWSで Spark などの大規模データ処理を動かすサービス。

語源Elastic MapReduce の頭文字。elastic は「伸び縮みする」。

Amazon Redshift レッドシフト

AWSのDWH。

語源天文学の「赤方偏移」（遠ざかる星の光が赤い方へずれる現象）。赤いロゴの Oracle からの乗り換えを掛けた、という説も有名です。

Amazon Athena アテナ

S3 に置いたファイルに、そのままSQLで問い合わせできるAWSのサービス。

語源ギリシャ神話の知恵の女神アテナ。

Amazon SageMaker セージメーカー

AWSの機械学習・データ分析のサービス。

語源sage（賢者）+ maker（作る人）。

Azure アジュール ・ Microsoft

Microsoftのクラウド。

語源azure は「空色・紺碧」。ペルシャ語の lājward（青い宝石ラピスラズリ）から。

Google Cloud グーグルクラウド ・ GCP

Googleのクラウド。

語源Google は 10の100乗を表す googol から。

AWS エーダブリューエス ・ Amazon

Amazonのクラウド。

語源Amazon Web Services の頭文字。Amazon は世界最大級の川アマゾンから。