データレイク編 第6章 / 全11章
メダリオンアーキテクチャとは
Bronze ・ Silver ・ Gold
データを3段階で磨く原石(銅)を磨いて(銀)、宝石(金)に仕上げる。どの段階の石も、捨てずに取っておく。
図とさわれるデモで確かめる →
ポイント
- ブロンズ(銅):取り込んだままの生データ
- シルバー(銀):クレンジング済みの、正しく整ったデータ
- ゴールド(金):「月別・店舗別の売上」など、すぐ使える形に集計したデータ
名前の由来
medallion大きなメダルarchitecture建築・設計(ギリシャ語 arkhitektōn:棟梁)
銅→銀→金とメダルの色が上がるように、データの品質を段階的に上げていく設計。
仕事の現場では
生データ(ブロンズ)を残しておくので、集計ルールが変わっても作り直せます。「元のデータはどこ?」と聞かれても、さかのぼって説明できます。
くわしく(正確な話)
- Databricksが広めた設計の考え方で、多くのクラウドで採用されている。
- ゴールドは、BIや報告書がそのまま使う「完成品」。
- 層ごとに、アクセスできる人を分けると管理しやすい。
- データがどこから来てどう加工されたかの記録をリネージという。
この章の用語(意味と語源)
- ブロンズ / シルバー / ゴールド Bronze / Silver / Gold
データを、生 → 整理済み → 集計済み、の3段階に分けて置く考え方。
覚えておく:生データ → 整理済み → 完成品
語源オリンピックのメダルの色から。medallion は「大きなメダル」。
- リネージ Data Lineage
データの出どころと、どう加工されてきたかの記録。
「この売上の数字は、どのシステムのどのデータから、どんな計算で作られたか」をたどれます。
語源lineage(血統・家系)。ラテン語 linea(糸・線)から。データの「家系図」。
- Databricks データブリックス
Apache Spark の開発者が作った、レイクハウスのサービス。
Azure・AWS・Google Cloud のどれでも使えます。
語源data(データ)+ bricks(れんが)。データでれんがを積み上げるように基盤を組み立てる、というイメージ。