ビッグデータとは
ビッグデータ（Big Data）とは、従来のデータ管理・処理技術では取り扱いが困難なほど大量かつ多様で、高速に生成されるデータの総称です。単にデータ量が大きいだけでなく、そのデータから価値ある知見を抽出する技術やプロセスを含む概念として使われます。
| ひとことで言うと | 従来の道具では扱いきれないほど、大量・多様・高速に増えるデータ。 |
|---|---|
| 3つのV | Volume（量）、Variety（多様性）、Velocity（速度）。 |
| 注意点 | 量が多いこと自体に価値はない。使える形に整えて初めて役に立つ。 |
ビッグデータの3V（5V）
ビッグデータは当初、Volume（量）、Velocity（速度）、Variety（多様性）の3Vで特徴づけられました。その後、Veracity（正確性・信頼性）とValue（価値）が加わり5Vとして定義されることもあります。ペタバイト規模のデータがリアルタイムで生成される時代において、これらの特性に対応する技術が必要です。
1収集IoT・ログ・SNS
▶
2蓄積データレイクに保存
▶
3分散処理SparkやHadoopで処理
▶
4分析傾向やパターンを抽出
▶
5意思決定に活用施策や自動化へ
ビッグデータを支える技術
ビッグデータの処理基盤として、Apache Hadoop（分散ファイルシステムとMapReduce）、Apache Spark（高速な分散処理エンジン）、NoSQLデータベース、クラウドサービス（AWS、GCP、Azure）などが活用されています。リアルタイム処理にはApache KafkaやApache Flinkが使われます。
ビッグデータの活用事例
ECサイトのレコメンデーション、SNSのトレンド分析、スマートシティにおけるセンサーデータ解析、ゲノム解析、自動運転の学習データなど、あらゆる分野でビッグデータが活用されています。データドリブンな意思決定の重要性が高まる中、ビッグデータの活用能力は組織の競争力に直結しています。