データレイク編 第3章 / 全11章
データレイクとは
Data Lake
何でもそのまま貯める湖湖。川から流れ込む水を、ろ過せずにそのまま貯めておく。使うときに必要な分をくみ上げて、きれいにする。
図とさわれるデモで確かめる →
ポイント
- 表データも、ログも、画像も、形を問わずそのまま保存する
- クラウドのオブジェクトストレージを使うので、大量でも安い
- 形を決めずに貯め、使うときに読み方を決める（スキーマオンリード）
名前の由来
data資料lake湖
いろいろな川（データの出どころ）から流れ込んだ水を、そのまま貯めておく湖。
仕事の現場では
「いつか分析に使うかもしれない」データを、捨てずに安く取っておけます。ただし整理しないまま貯めると、何がどこにあるかわからない「データの沼」になります。
くわしく（正確な話）
- 保存先は Amazon S3・Azure Data Lake Storage・Cloud Storage などのオブジェクトストレージ。
- 構造化データ（表）、半構造化データ（JSON・ログ）、非構造化データ（画像・音声・PDF）をすべて置ける。
- DBのように、先に形を決めてから入れる方式はスキーマオンライト。
- 日付などでフォルダを分けて置く（パーティション）のが基本。
うまれ：「データレイク」という言葉は2010年ごろ、ジェームズ・ディクソンが提唱した。
この章の用語（意味と語源）
- データレイク Data Lake
あらゆる形のデータを、そのままの形で安く大量に貯めておく場所。
覚えておく：そのまま・何でも・安く
語源data（資料）+ lake（湖）。
- オブジェクトストレージ Object Storage
ファイルを「モノ（オブジェクト）」として、ほぼ無制限に置けるクラウドの保存場所。
容量あたりの料金がとても安く、データレイクの土台になります。
覚えておく：Amazon S3 / ADLS / Cloud Storage
語源object（物・対象）+ storage（貯蔵）。object はラテン語 obicere（前に投げ出す）から。
- スキーマオンリード / オンライト Schema on Read / on Write
データの形（スキーマ）を、読むときに決めるか、書くときに決めるか。
DBやDWHは書くとき（オンライト）、データレイクは読むとき（オンリード）に形を決めます。
語源schema はギリシャ語 skhēma（形・姿）から。on read（読むときに）/ on write（書くときに）。
- 構造化 / 半構造化 / 非構造化 Structured / Semi / Unstructured
データの「形の決まり具合」による分け方。
構造化は表（行と列）、半構造化はJSONやログのようにゆるい形があるもの、非構造化は画像・音声・PDFなど決まった形がないもの。
覚えておく：表 / JSON・ログ / 画像・音声・PDF
語源structure はラテン語 struere（積み上げる・組み立てる）から。