IT丸わかり 用語集 →

データレイク編 第1章 / 全11章

分析用データ基盤とは

OLTP と OLAP

業務用と分析用を分ける
お店のレジと、本社の会議資料。レジ(業務用DB)で集計作業を始めたら、お客さんの列が止まってしまう。
図とさわれるデモで確かめる →

ポイント

名前の由来

OLTPOnline Transaction Processing:日々の取引処理OLAPOnline Analytical Processing:分析処理

「日々の業務を回す」ためのDBと、「振り返って分析する」ための置き場は、役割が違う。

仕事の現場では

販売管理・会計・勤怠・Webのアクセスなど、システムごとにバラバラ(サイロ)なデータを1か所に集めると、「部門をまたいだ数字」が初めて見えるようになります。

くわしく(正確な話)

  • OLTPは1行ずつの更新、OLAPは列をまたいだ大量集計が中心。
  • システムごとに分断されたデータを、データのサイロと呼ぶ。
  • 分析用の置き場には、データレイク・DWH・レイクハウスがある(このあとの章で解説)。
  • データを集めて整え、使える状態にする全体をデータ基盤(データプラットフォーム)と呼ぶ。

この章の用語(意味と語源)

OLTP オーエルティーピー

日々の業務の取引を、1件ずつ素早く処理する使い方。

注文の登録、在庫の引き当て、入金の記録など。業務システムのDBの役目です。

覚えておく:1件ずつ・速く・正確に

語源Online Transaction Processing(オンラインの取引処理)の頭文字。

OLAP オーラップ

大量のデータを集計・分析する使い方。

「去年と比べて、地域別・月別に売上はどうか」のように、たくさんの行をまとめて計算します。

覚えておく:大量に・まとめて・分析

語源Online Analytical Processing(オンラインの分析処理)の頭文字。analytical は、ギリシャ語 analysis(ほどいて分けること)から。

データのサイロ Data Silo

システムや部署ごとにデータが閉じこもり、つながっていない状態。

営業のデータと経理のデータが別々で、突き合わせに手作業が必要――といった状態です。

語源silo は、穀物を貯めておく塔(牧場にある円筒形の建物)。それぞれが孤立して立っている様子から。

データ基盤 Data Platform

データを集めて、貯めて、整えて、使える状態にする仕組み全体。

覚えておく:集める → 貯める → 整える → 活かす

語源platform はフランス語 plate-forme(平らな形)から。「台・土台」の意味。

データレイク編:章ごとに読む

  1. 分析用データ基盤とは業務用と分析用を分ける
  2. データの取り込み集め方は2種類
  3. データレイク何でもそのまま貯める湖
  4. ファイル形式と列指向保存の形で、速さと費用が変わる
  5. ETL / ELT(整える)データをきれいに整える
  6. メダリオンアーキテクチャデータを3段階で磨く
  7. DWHとレイクハウス整理された倉庫と、湖のいいとこ取り
  8. BIと見える化数字をグラフで共有する
  9. AI・機械学習への活用貯めたデータが「予測」に変わる
  10. ガバナンスとセキュリティ沼にしないためのルール
  11. クラウドで作るデータ基盤役割ごとのサービス対応表

図とデモで学ぶ(データレイク編)→ | IT用語集 →