データレイク編第2章 / 全11章

データの取り込みとは

Ingestion ・バッチとストリーミング

集め方は2種類

新聞（1日1回まとめて届く）と、ニュース速報（起きたらすぐ届く）。

図とさわれるデモで確かめる →

ポイント

バッチ：夜間などに、まとめて一気に取り込む
ストリーミング：発生したそばから、少しずつ流し込む
業務DBの「変わった分だけ」を拾う方法（CDC）もある

名前の由来

ingest取り込む（ラテン語 ingerere：中へ運ぶ）

食べ物を体に取り込むように、データを基盤へ取り込むこと。

仕事の現場では

「前日までの売上が朝見られればよい」ならバッチで十分で安価。「在庫切れを今すぐ知りたい」「不正利用をその場で止めたい」ならストリーミングが必要です。

くわしく（正確な話）

バッチは仕組みが単純で安いが、データは数時間〜1日遅れる。
ストリーミングは数秒以内に届くが、仕組みが複雑で費用もかかりやすい。
CDC（変更データキャプチャ）は、DBの変更履歴を読み取って差分だけを送る。
SaaSのデータは、APIやコネクタで取り込むことが多い。

この章の用語（意味と語源）

バッチ処理 Batch

データをためておいて、決まった時刻にまとめて処理すること。

覚えておく：例：毎晩0時に前日分を取り込む

語源batch は、パンを一度の窯で焼く「ひと窯分」。そこから「ひとまとめ」の意味に。

ストリーミング Streaming

データが発生したそばから、途切れなく流して処理すること。

覚えておく：数秒以内に届く

語源stream（小川・流れ）。動画配信のストリーミングと同じ言葉です。

CDC（変更データキャプチャ） Change Data Capture

DBの「変わった部分だけ」を拾って送る方法。

毎回全部をコピーするより軽く、ほぼリアルタイムで反映できます。

語源Change（変更）Data（データ）Capture（捕まえる）の頭文字。

API エーピーアイ

ソフト同士がデータをやり取りするための「窓口」。

クラウドのサービスからデータを取り出すときは、たいていAPIを使います。

語源Application Programming Interface の頭文字。interface は inter（間）+ face（面）＝「接する面・窓口」。

取り込み（インジェスト） Ingestion

データの出どころから、データ基盤へデータを運び込むこと。

覚えておく：バッチ / ストリーミング

語源ingest（取り込む・摂取する）。ラテン語 ingerere（中へ運ぶ）から。

SaaS サース

インターネット経由で使う完成品のソフト（会計ソフト、営業管理など）。

語源Software as a Service（サービスとして提供されるソフト）の頭文字。

コネクタ Connector

特定のサービスとつなぐための、用意済みの接続部品。

設定するだけで、そのサービスのデータを取り込めます。

語源connect（つなぐ）+ -or（〜するもの）。ラテン語 con（一緒に）+ nectere（結ぶ）。