データレイク編 第1章 / 全11章
分析用データ基盤とは
OLTP と OLAP
業務用と分析用を分けるお店のレジと、本社の会議資料。レジ(業務用DB)で集計作業を始めたら、お客さんの列が止まってしまう。
図とさわれるデモで確かめる →
ポイント
- 業務システムのDB(OLTP)は、1件ずつの素早い読み書きが得意
- 全期間・全店舗を集計するような重い分析(OLAP)は苦手で、業務の邪魔になる
- そこで、データを分析用の置き場にコピーしてから分析する
名前の由来
OLTPOnline Transaction Processing:日々の取引処理OLAPOnline Analytical Processing:分析処理
「日々の業務を回す」ためのDBと、「振り返って分析する」ための置き場は、役割が違う。
仕事の現場では
販売管理・会計・勤怠・Webのアクセスなど、システムごとにバラバラ(サイロ)なデータを1か所に集めると、「部門をまたいだ数字」が初めて見えるようになります。
くわしく(正確な話)
- OLTPは1行ずつの更新、OLAPは列をまたいだ大量集計が中心。
- システムごとに分断されたデータを、データのサイロと呼ぶ。
- 分析用の置き場には、データレイク・DWH・レイクハウスがある(このあとの章で解説)。
- データを集めて整え、使える状態にする全体をデータ基盤(データプラットフォーム)と呼ぶ。
この章の用語(意味と語源)
- OLTP オーエルティーピー
日々の業務の取引を、1件ずつ素早く処理する使い方。
注文の登録、在庫の引き当て、入金の記録など。業務システムのDBの役目です。
覚えておく:1件ずつ・速く・正確に
語源Online Transaction Processing(オンラインの取引処理)の頭文字。
- OLAP オーラップ
大量のデータを集計・分析する使い方。
「去年と比べて、地域別・月別に売上はどうか」のように、たくさんの行をまとめて計算します。
覚えておく:大量に・まとめて・分析
語源Online Analytical Processing(オンラインの分析処理)の頭文字。analytical は、ギリシャ語 analysis(ほどいて分けること)から。
- データのサイロ Data Silo
システムや部署ごとにデータが閉じこもり、つながっていない状態。
営業のデータと経理のデータが別々で、突き合わせに手作業が必要――といった状態です。
語源silo は、穀物を貯めておく塔(牧場にある円筒形の建物)。それぞれが孤立して立っている様子から。
- データ基盤 Data Platform
データを集めて、貯めて、整えて、使える状態にする仕組み全体。
覚えておく:集める → 貯める → 整える → 活かす
語源platform はフランス語 plate-forme(平らな形)から。「台・土台」の意味。