データレイク編 第5章 / 全11章
ETL / ELT（整える）とは
Extract ・ Transform ・ Load
データをきれいに整える野菜の下ごしらえ。泥を落とし（クレンジング）、切りそろえて（変換）、使いやすく並べる。
図とさわれるデモで確かめる →
ポイント
- 集めたままのデータには、重複・表記ゆれ・空欄・形式の違いが混ざっている
- それを分析に使える形に整える処理が「加工」
- 加工の手順を毎日自動で流す仕組みを、パイプラインと呼ぶ
名前の由来
Extract取り出すTransform変換するLoad積み込む
取り出して、整えて、積み込む。順番を入れ替えて「先に積んでから整える」のがELT。
仕事の現場では
分析プロジェクトの作業時間の大半は、この「整える」工程と言われます。ここを自動化できると、毎月の手作業の集計が丸ごとなくなります。
くわしく（正確な話）
- ETLは整えてから保存、ELTはいったん保存してからクラウドの計算力で整える。今はELTが主流。
- データの誤りや欠けを直す作業をデータクレンジングという。
- 大量データの加工には、Apache Sparkなどの分散処理エンジンを使う。
- 処理の順番や実行時刻を管理することをオーケストレーションという。
この章の用語（意味と語源）
- ETL / ELT イーティーエル / イーエルティー
データを取り出し、整え、積み込む処理。ELTは整える前に積み込む。
いまはクラウドの計算力が強いので、先に全部積んでから整えるELTが主流です。
覚えておく：Extract → Transform → Load
語源Extract（取り出す）・Transform（変換する）・Load（積み込む）の頭文字。
- データクレンジング Data Cleansing
データの誤り・重複・表記ゆれ・欠けを直して、きれいにすること。
語源cleanse（きれいにする・清める）。化粧落としのクレンジングと同じ言葉です。
- パイプライン Pipeline
取り込み→加工→保存の手順を、つなげて自動で流す仕組み。
語源pipe（管）+ line（線）。石油やガスを遠くまで送る管路から。
- Apache Spark スパーク
大量のデータを、たくさんのコンピューターで手分けして処理するソフト。
Databricks・Microsoft Fabric・AWS Glue など、多くのサービスの中で動いています。
語源spark（火花）。速さを表した名前。Apache は、このソフトを管理するオープンソースの財団の名前。
- オーケストレーション Orchestration
たくさんの処理の順番・時刻・失敗時のやり直しを、まとめて管理すること。
語源orchestra（オーケストラ）を指揮するように、全体をそろえて動かすことから。