IT丸わかり 用語集 →

データレイク編 第6章 / 全11章

メダリオンアーキテクチャとは

Bronze ・ Silver ・ Gold

データを3段階で磨く
原石(銅)を磨いて(銀)、宝石(金)に仕上げる。どの段階の石も、捨てずに取っておく。
図とさわれるデモで確かめる →

ポイント

名前の由来

medallion大きなメダルarchitecture建築・設計(ギリシャ語 arkhitektōn:棟梁)

銅→銀→金とメダルの色が上がるように、データの品質を段階的に上げていく設計。

仕事の現場では

生データ(ブロンズ)を残しておくので、集計ルールが変わっても作り直せます。「元のデータはどこ?」と聞かれても、さかのぼって説明できます。

くわしく(正確な話)

  • Databricksが広めた設計の考え方で、多くのクラウドで採用されている。
  • ゴールドは、BIや報告書がそのまま使う「完成品」。
  • 層ごとに、アクセスできる人を分けると管理しやすい。
  • データがどこから来てどう加工されたかの記録をリネージという。

この章の用語(意味と語源)

ブロンズ / シルバー / ゴールド Bronze / Silver / Gold

データを、生 → 整理済み → 集計済み、の3段階に分けて置く考え方。

覚えておく:生データ → 整理済み → 完成品

語源オリンピックのメダルの色から。medallion は「大きなメダル」。

リネージ Data Lineage

データの出どころと、どう加工されてきたかの記録。

「この売上の数字は、どのシステムのどのデータから、どんな計算で作られたか」をたどれます。

語源lineage(血統・家系)。ラテン語 linea(糸・線)から。データの「家系図」。

Databricks データブリックス

Apache Spark の開発者が作った、レイクハウスのサービス。

Azure・AWS・Google Cloud のどれでも使えます。

語源data(データ)+ bricks(れんが)。データでれんがを積み上げるように基盤を組み立てる、というイメージ。

データレイク編:章ごとに読む

  1. 分析用データ基盤とは業務用と分析用を分ける
  2. データの取り込み集め方は2種類
  3. データレイク何でもそのまま貯める湖
  4. ファイル形式と列指向保存の形で、速さと費用が変わる
  5. ETL / ELT(整える)データをきれいに整える
  6. メダリオンアーキテクチャデータを3段階で磨く
  7. DWHとレイクハウス整理された倉庫と、湖のいいとこ取り
  8. BIと見える化数字をグラフで共有する
  9. AI・機械学習への活用貯めたデータが「予測」に変わる
  10. ガバナンスとセキュリティ沼にしないためのルール
  11. クラウドで作るデータ基盤役割ごとのサービス対応表

図とデモで学ぶ(データレイク編)→ | IT用語集 →