ビッグデータを支える技術 刻々とデータが脈打つ自動化の世界（技術評論社） [電子書籍]Ω

多彩な技術の集合体。ビッグデータの今。スマホで買い物をして，翌日には届けてもらえる。たとえば，このような身近な場面でも，背後では決済/在庫管理/配送をはじめとした複数のシステムが連携して動いています。コンピュータの性能向上に伴い，機械学習をはじめとした，データを活かすシステム開発への期待は高まる一方です。今後，システム規模の大小を超えて「データ処理そのものをシステムの一部とする」技術への需要は増していくでしょう。データ処理をどのようにシステム化するか。本書ではこのエンジニアリングの問題に主軸を置き，可視化を例に，一連のデータ処理に必要な要素技術を整理しデータを効率良く扱うための土台を作り，その上でシステムの自動化をサポートする種々の技術を追っていきます。目次第1章　ビッグデータの基礎知識1.1　［背景］ビッグデータの定着分散システムによるデータ処理の高速化　……ビッグデータの扱いづらさを乗り越える二大技術ビッグデータ技術への要求　……HadoopとNoSQLの台頭Hadoop　……多数のコンピュータで大量のデータ処理NoSQLデータベース　……頻繁な読み書き＆分散処理に強みありHadoopとNoSQLデータベースの組み合わせ　……現実的なコストで大規模データ処理を実現分散システムのビジネス利用の開拓　……データウェアハウスとの共存自分でできる！ データ分析の間口の広がり　……クラウドサービスとデータディスカバリで加速したビッグデータ活用Column　スモールデータ＆ビッグデータの活用　……スモールデータの技術も重要データディスカバリの基礎知識　……セルフサービスのBIツール1.2　ビッグデータ時代のデータ分析基盤［再入門］ビッグデータの技術　……分散システムを活用してデータを加工していく仕組みデータパイプライン　……データ収集からワークフロー管理までデータ収集　……バルク型とストリーミング型のデータ転送ストリーム処理とバッチ処理分散ストレージ　……オブジェクトストレージ，NoSQLデータベース分散データ処理　……クエリエンジン，ETLプロセスワークフロー管理データウェアハウスとデータマート　……データパイプラインの基本形データレイク　……あらゆるデータをそのまま貯蔵データレイクとデータマート　……必要なデータはデータマートにまとめるデータ分析基盤を段階的に発展させる　……チームと役割分担，スモールスタートと拡張アドホック分析とダッシュボードツールColumn　データパイプラインの大きな流れは変わらないデータマートとワークフロー管理データを集める目的　……「検索」「加工」「可視化」の3つの例データの検索データの加工データの可視化Column　基幹系システムと情報系システムを分離しよう確証的データ解析と探索的データ解析1.3　［速習］スクリプト言語によるアドホック分析とデータフレームデータ処理とスクリプト言語　……人気のPythonと，データフレームデータフレーム，基礎の基礎　……「配列の配列」から作成Webサーバーのアクセスログの例　……pandasのデータフレームで簡単処理データの前処理で使えるpandasの関数時系列データを対話的に集計する　……データフレームをそのまま用いてデータ集計Column　スモールデータの技術をうまく使っていくSQLの結果をデータフレームとして活用する実行結果を確認するところではデータフレームを使う1.4　BIツールとモニタリングスプレッドシートによるモニタリング　……プロジェクトの現状を把握するデータに基づく意思決定　……KPIモニタリング月次レポート　……スプレッドシートによるレポート作成とその限界変化を捉えて詳細を理解する　……BIツールの活用モニタリングの基本戦略とBIツール　……定期的なレポートによる変化の把握と再集計Tip　BIツールは，自分でデータを見るために。手作業と自動化すべきこととの境界を見極める手作業で済むことは手作業で済ませる自動化したいときにはデータマートを作る1.5　まとめ第2章　ビッグデータの探索2.1　基本のクロス集計トランザクションテーブル，クロステーブル，ピボットテーブル　……クロス集計の考え方ピボットテーブル機能によるクロス集計ルックアップテーブル　……テーブルを結合して属性を増やすBIツールによるクロス集計pandasによるクロス集計SQLによるテーブルの集約　……大量データのクロス集計の事前準備Column　テーブルの縦横変換❶［SQL編］Column　テーブルの縦横変換❷［pandas編］データ集約➡「データマート」➡可視化　……システム構成はデータマートの大きさで決まる2.2　列指向ストレージによる高速化データベースの遅延を小さくするデータ処理の遅延　……遅延の小さいデータマート作成のための基礎知識「圧縮」と「分散」によって遅延を小さくする　……MPPの技術列指向データベースのアプローチ　……カラムを圧縮してディスクI/Oを減らすColumn　スループットとレイテンシ行指向データベース　……各行がディスク上で一連のデータとして書き込まれる列指向データベース　……カラムごとにデータをまとめておくMPPデータベースのアプローチ　……並列化によってマルチコアを活用するMPPデータベースと対話型クエリエンジンColumn　リソース消費を制限する　……列指向ストレージ×MPPによる高速化と注意点2.3　アドホック分析と可視化ツールJupyter Notebookによるアドホック分析　……ノートブックに分析過程を記録するノートブック内での可視化ノートブックによるワークフロー　……一連のタスクをまとめて実行Tip　ノートブックの共有ダッシュボードツール　……定期的に集計結果を可視化するRedash　……SQLによるクエリの実行結果をそのまま可視化Column　データマートは必要なくなるか？Superset　……画面上でマウス操作によってグラフを作るColumn　CSVファイルによる簡易的なデータマートKibana　……Elasticsearchのフロントエンドでリアルタイムに作成Column　可視化ツールの選択の指針　……どれを使う？BIツール　……対話的なダッシュボード1つのデータを多角的に分析する2.4　データマートの基本構造可視化に適したデータマートを作る　……OLAP多次元モデルとOLAPキューブMPPデータベースと非正規化テーブルテーブルを非正規化するファクトテーブルとディメンジョンテーブルスタースキーマと非正規化　……ファクトテーブルを中心に複数のディメンジョンテーブルを結合非正規化テーブル　……データマートに正規化は必要ないTip　データウェアハウスとスタースキーマ多次元モデル　……可視化に備えてテーブルを抽象化するモデルの定義を拡張するColumn　ブレイクダウン分析2.5　まとめ第3章　ビッグデータの分散処理3.1　大規模分散処理のフレームワーク構造化データと非構造化データスキーマレスデータ 　……基本書式はある，スキーマは定めないデータ構造化のパイプライン　……テーブル形式にして列指向ストレージに長期保存列指向ストレージの作成　……分散ストレージ上に作成して効率良くデータ集計Hadoop　……分散データ処理の共通プラットフォーム分散システムのコンポーネント　……HDFS，YARN，MapReduce分散ファイルシステムとリソースマネージャ　……HDFS，YARNTip　YARNコンテナ分散データ処理とクエリエンジン　……MapReduce，HiveHive on TezTip　Hive on Spark対話型クエリエンジン　……ImpalaやPrestoSpark　……インメモリ型の高速なデータ処理MapReduceを置き換える　……Sparkの位置付け3.2　クエリエンジンデータマート構築のパイプラインHiveによる構造化データの作成列指向ストレージへの変換　……データ集計の高速化（バッチ型クエリエンジン向け）Hiveで非正規化テーブルを作成するサブクエリ内でレコード数を削減する　……早い段階でファクトテーブルを小さくするデータの偏りを避ける　……分散システムの性能発揮のためにTip　ベストプラクティス対話型クエリエンジンPrestoのしくみ　……Prestoで構造化データを集計するプラグイン可能なストレージ　……1つのクエリの中から複数のデータソースに接続可能CPU処理の最適化　……読み込みもコードも並列実行Tip　Prestoのリソース管理インメモリ処理による高速化　……クエリ実行には極力，対話型クエリエンジンを分散結合とブロードキャスト結合列指向ストレージの集計　……Prestoによる高速集計データ分析のフレームワークを選択する　……MPPデータベース，Hive，Presto，SparkMPPデータベース　……完成した非正規化テーブルの高速集計に向いているHive　……データ量に左右されないクエリエンジンPresto　……速度重視＆対話型特化のクエリエンジンSpark　……分散システムを使ったプログラミング環境Column　Mesosによるリソース管理3.3　データマートの構築ファクトテーブル　……時系列データを蓄積するテーブルパーティショニング　……物理的なパーティションに分割データマートの置換Tip　データ量を最初に見積もるサマリーテーブル　……レコード数を削減するスナップショットテーブル　……マスタの状態を記録するColumn　サマリーテーブルからの数値計算に注意Column　スナップショットの日付に注意Tip　スナップショット時に非正規化する履歴テーブル　……マスタの変化を記録する［最終ステップ］ディメンジョンを追加して非正規化テーブルを完成させるデータ集約の基本形3.4　まとめ第4章　ビッグデータの蓄積第5章　ビッグデータのパイプライン第6章　ビッグデータ分析基盤の構築