ビッグデータとスモールデータの意味・活用事例

はじめに

ここではビッグデータとスモールデータについて、正しい意味や、2つのデータの連携について、事例を交えながら分かりやすく解説していきます。

この記事を読んで分かること、できるようになること

●ビッグデータとスモールデータの意味、基本知識を習得できる。
●ビッグデータとスモールデータの違い・繋がりを正しく理解できる。
●ビッグデータとスモールデータに関するQ＆Aやまとめ資料を、無料でダウンロードできる。

＼今すぐ資料を見たい／

ビッグデータとは

ビッグデータとは、その名の通り「膨大な量のデータ」ということです。明確に定義するのは難しいですが、一般的に、Volume、Variety、Velocity、Veracity、Valueの「5つのV」によって特徴付けられています。

ビッグデータの活用が広がった理由

ビッグデータとはどのようなデータかについて詳しく解説する前に、ビッグデータが2010年前後から注目されてきた背景について、総務省の「平成29年版 情報通信白書」から引用します。

近年ビッグデータが注目されているのは、従来のICT分野におけるバーチャル（サイバー空間）なデータ から、IoTの進展などを始め、新たなICTにおけるリアルなデータへと、あるいはB to CのみならずB to B に係るデータへと爆発的に流通するデータ種別へと拡大しているためである。

つまり、テクノロジーの進化が、従来から存在していた膨大なデータの解析と活用を可能にしたので、ビッグデータの活用が広がったということです。

代表的な活用例は「ECサイトの商品レコメンデーション」

もっと具体的なビジネスの世界、そして私たちの日常生活で身近なビッグデータの活用例は、何と言ってもAmazonをはじめとするECサイトの商品レコメンデーションでしょう。

Amazonで商品を検索すると、「よく一緒に購入されている商品」「この商品に関連する商品」「この商品をチェックした人はこんな商品もチェックしています」というコンテンツが表示されます。
これは協調フィルタリングという手法によって可能となった販促手法です。

協調フィルタリングは商品のアイテム同士のデータを結びつけているわけではなく、複数の個人データを分析するのが特徴です。

つまり、ユーザーが「欲しいのに持っていないもの」や「知らなかった意外なもの」を訴求することが目的です。この協調フィルタリングを可能とする〝基盤〟こそ、膨大な購入履歴データ、つまりビッグデータなのです。

ビッグデータの特徴「5つのV」

2010年前後から注目されてきたビッグデータの特徴は何でしょうか。

ビッグデータは一般的に、Volume、Variety、Velocityという「3つのV」によって特徴づけられます。

●Volume：量が膨大であること
●Variety：種類が多様であること
●Velocity：生成頻度が高いこと

つまり、ビッグデータとは、量が膨大で、種類が多様で、且つ高い頻度で継続的に生成されるデータということです。

ビッグデータは近年、Veracity、Valueという「2つのV」を加えて語られることが多くなっています。
Veracityは正確性（信頼性）、Valueは価値（経済的ベネフィット）という意味です。

ビッグデータとは、他の組織やソーシャルメディアのユーザー、あるいはIoTのデバイスによって生み出されることもあるため、データにノイズやエラーが混じっていたり、何らかの加工や操作がなされていたり、無関係なデータを含むことも多いのが現状です。
そのようなデータからノイズやエラーを取り除き、正確で価値の高いデータとして活用することがビッグデータ解析です。

ビッグデータの種類

ビッグデータは大きく分けて、構造化データ（Structured Data）と非構造化データ（Unstructured Data）の2種類あります。

構造化データとは

構造化データとは、数値データ、カテゴリカル・データ、サーベイ・データ（例えば1～7の評価点数）などのデータです。

非構造化データとは

非構造化データには、数値ではなく多面的で異なる現象を表すデータがあり、具体的には映像、画像、非言語（顔の表情や動きなど）、テキスト、音声データなどがあります。

構造化データと非構造化データの割合・比較

企業が保有するデータのおよそ80％が非構造化データであり、構造化データよりも15倍速く増えているという2018年に発表された研究結果（Balducci & Marinova,2018）もあります。

ビッグデータ分析においては、構造化データのみならず、非構造化データも組み合わせて大規模に解析し、これまで得られなかった情報やインサイトを引き出すことが求められています。

ビッグデータの活用事例

ここでは、ビッグデータの具体的な活用事例を挙げていきます（それぞれ引用元あり）。

1.ヤフーのビッグデータ・AI活用による三越伊勢丹の商品開発

ヤフーと三越伊勢丹は、三越伊勢丹のECブランド「arm in arm」にて、Yahoo! JAPANのビッグデータとAIを活用し、子育て中の小柄な女性向けのロングスカートを開発した。商品は9月下旬より「arm in arm」のECサイトにて発売する予定。

両社は、「Yahoo!検索」の検索キーワードや「Yahoo!知恵袋」の質問書き込みといったビッグデータを統計化した上でAI技術（深層学習や自然言語処理など）により解析し、「arm in arm」のターゲットでもある子育て中の女性の服装に関するトレンドや悩みを抽出した。

その結果、小柄な人のロングスカートへの関心が高く、着こなしや自転車の利用、抱っこひもとの合わせ方、静電気などに悩んでいるという子育て中の女性のインサイトを得た。

三越伊勢丹は、得られたインサイトをもとに、子育て中の女性との座談会を行い、仮説の検証を進め、ロングスカートの開発につなげた。

「日本経済新聞」2019/7/26、下線は引用者

2.通信販売のビッグデータを活用するマーケティングサービス

通販会社の経営支援のトライステージは、業界で初めて通販のビッグデータを活用したマーケティングサービスの提供を年内に始める。

通販会社のコールセンターの状況までクラウド上で把握して運用改善などを助言する。

新サービスではビッグデータ分析のトレジャーデータのデータ基盤を利用する。

通販番組の放送日時や商品の受注状況、顧客の属性のほか、コールセンターに電話が来た回数や時間帯ごとの応答率、オペレーションごとの受注率などをシステムで一括して管理・分析する。

「日本経済新聞」2019/12/19

3.楽天と東急、ビッグデータで提携

楽天と東急がマーケティングや広告、店舗づくりで提携した。電子商取引（EC）や決済で1億人超の会員データを持つ楽天と、500万人超が住む沿線でスーパーや百貨店を展開する東急。楽天は年間3,200億円相当を発行する共通ポイント、5万店超が出店する「楽天市場」、旅行サイト、外食デリバリー予約など国内最大級のECのビッグデータを持つ。

利用者の属性、購買や価格の傾向など最大920項目のデータを分析し、潜在的な顧客をみつける人工知能（AI）の技術もある。

実証実験は10月以降だが、例えば東急沿線で東急ストアを利用していない消費者への、楽天アプリを通じた、時間帯別、世代別にニーズの高い商品のクーポン配信などが想定される。

「日本経済新聞」2020/9/14

4.東武宇都宮百貨店、栃木県主導のビッグデータ活用実験に参加

栃木県が主導するビッグデータ活用で初年度の実証実験が終わり、地域企業の抱える課題解決の糸口が見えてきた。

東武宇都宮百貨店では、会員以外へのアプローチに限りがあり、どのような客が店舗を訪れているのか把握することが課題だった。

そこでNTTドコモの「モバイル空間統計」を活用し、店舗入り口に設置したセンサーを基に来客の属性を調べたところ、会員が少ない20代女性客会員が多い40代女性客と同程度に訪れていることが明らかになった。

「日本経済新聞」2022/3/2

5.エーザイやNTT、健康ビッグデータで新組織　新産業創出

エーザイやNTTなど15社は6月16日、健診情報など個人の健康ビッグデータを活用したビジネスの創出を促す新組織を設立すると発表した。

「PHR（パーソナルヘルスレコード）」と呼ばれる個々人の薬剤の投与情報など生涯の健康データを活用し、新たな医療サービスの創出をめざす。組織名は「PHRサービス事業協会（仮称）」で、2023年度中の設立を目指す。

エーザイや塩野義製薬などの製薬大手や、オムロンやテルモなどの医療機器大手が参加する。NTTやKDDIなどの通信大手やSOMPOホールディングスなどの保険大手も参加する。

健康ビッグデータの活用は海外で先行しており、業界が連携して巻き返しを図る。

「日本経済新聞」2022/6/16

6.日本酒研究でビッグデータ

産業技術総合研究所と日本酒スタートアップの希JAPAN（新潟県長岡市）は、日本酒を化学的に分析する共同研究を始めた。

酒に含まれる成分を特殊な技術を使い分子レベルで解析し、独自の日本酒ビッグデータを構築する。全国で酒蔵が減るなか、データを製造や新製品開発に生かすことで、日本酒文化の伝承や市場活性化につなげる。

「甘口」「辛口」「すっきり」「フルーティー」など、日本酒の酒質を表す単語は多くある。今回の共同研究では、化学的な分析を基にそれぞれの味わいを数値化する。

IT（情報技術）と化学の力で、日本酒造りのデジタルトランスフォーメーション（DX）化を進める狙いだ。

共同研究を通じて構築した日本酒ビッグデータは、主に製造と商品開発で活用する。「味わいのデータを共有すれば、どの酒蔵でも一定程度同じ味わいの日本酒を造ることが可能になる」という。

「日本経済新聞」2023/11/12

＼今すぐ資料を見たい／

スモールデータとは

スモールデータとは、ビッグデータの対概念としてほぼ同時に生まれた言葉です。ビッグデータと同様に明確な定義づけは難しいですが、ビッグデータという概念の出現とともに、それまで存在していたデータのうち、大規模で高価なインフラと高スキル・高コストな人材を必要とせずに収集・分析のできるデータのことです。

最も身近なスモールデータの例

マーケティング現場における最も身近なスモールデータと言えば、アンケート調査によって得られる定量データ、さらにインタビューや観察調査など定性調査によって得られる定性データでしょう。

定量データのサンプルサイズは数百人から数千人が一般的です。特に定量調査ではインターネット調査の普及とそのテクノロジーの進化により、欠損データのない［きれいなデータ］の取集が可能となっています。
これは現在でもノイズやエラーの多いビッグデータとは対極のデータと言えます。

スモールデータの特徴

ビッグデータと比較したスモールデータの特徴は、上述の［データのきれいさ］とともに、データ処理の容易性、コストの低さが挙げられます。

特にExcelやCSVデータの場合、データの整備・集計・分析は容易で、且つビッグデータ解析で不可欠なSQLの知識・経験が必須ではないため、報酬の高いデータサイエンティストは必要とされません。
さらにデータ処理の時間もビッグデータ解析ほどかかりません。

代表的な調査は、予め調査目的を設定して実施する定量調査ですが、有意義なインサイトを得ることが可能なデータということになります。

スモールデータとビッグデータの違いと連携

スモールデータとビッグデータの最も明確な相違点は、ビッグデータではデータ間の相関関係はわかるものの、因果関係はわからないことでしょう。

スモールデータを活用する定量調査や定性調査では、因果関係の仮説を予め構築すること、その仮説を綿密に設計された調査・検証によって分析結果を得ることが可能です。

一方、ビッグデータのほとんどは、当初からデータ収集を目的としていないデータが大多数です。

よって、ビッグデータ分析で見出されたデータ間の相関関係に着目し→新たな調査を設計をして→テストマーケティングを実行し→スモールデータを収集・分析する、という一連の連携・流れで因果関係を検証することもよく行われており、これがマーケティング戦術・販売促進策の構築へと繋がっていきます。

スモールデータの活用事例

先述のビッグデータの活用事例で［1.ヤフーのビッグデータ・AI活用による三越伊勢丹の商品開発］を紹介しましたが、この事例ではスモールデータも活用されています。

ビッグデータをAIによって解析し→子育て中の女性のインサイトを得た三越伊勢丹が、そのインサイトを元に子育て中の女性との座談会を行い→仮説の検証を進め→ロングスカートの開発につなげました。

この座談会は定性調査にあたり、仮説の検証に使われたデータこそがスモールデータなのです。

＼今すぐ資料を見たい／

ビッグデータとスモールデータにまつわる、よくある質問

Q：ビッグデータの活用における課題はありますか。

課題として多く指摘されていることは下記2点です。

●多大なコストをかけたインフラ（ハイスペックで大量のストレージやサーバ、機器など）の導入が必要なこと。

●分析業務を行うマンパワーの不足。分析を行うにはデータサイエンティスト、データベースエンジニアなど専門職の人材が不可欠。しかも高コストである。

これらの課題を解決するためには、ビッグデータの活用における費用対効果の検証をおこない、メリットを明確に示したり、人材不足の解消に取り組んでいく必要があるでしょう。

Q：ビッグデータの活用には向いていない分野は何でしょうか。

自動車のように開発期間の長い商品は、開発中にトレンドが変わってしまうため、ビッグデータの活用効果は薄いと考えられています。また、ミネラルウォーターのように機能について検索されることが少ない商品やサービスは不得意です。

※ヤフー佐々木潔CDOのコメント、「日経MJ」2020/1/24より引用・加工

Q：ビッグデータ分析において、AIは不可欠でしょうか。

ビッグデータはAIによる分析が不可欠です。またAIにとっても、ビッグデータは自らの「価値の源泉」と呼んでも差支えのないほど重要です。

無料ダウンロード『ビッグデータとスモールデータの活用マニュアル 』

本記事で解説した内容をまとめた資料「ビッグデータとスモールデータの活用マニュアル～ビッグデータの活用事例とスモールデータとの連携～」は、下記よりダウンロードすることができます（無料）。

おわりに（まとめ）

ビッグデータとは、その名の通り「膨大な量のデータ」ということですが、IoT、ICT、AIの急激な進化と普及という時代背景のもと、2010年頃よりマーケティングのみならずビジネスの世界でのトレンドとなり今日に至っています。

Volume、Variety、Velocity、Veracity、Valueの「5つのV」に代表される特徴や、企業において非構造データが8割を占めるなどの特徴もありますが、一口にビッグデータと言っても、あまりにその範囲と種類が多いため、実際の企業や自治体での活用事例を参考にすることをおすすめします。

スモールデータとは、ビッグデータと同様明確な定義づけは難しいですが、ビッグデータという概念の出現とともに、それまで存在していたデータのうち、大規模で高価なインフラと高スキル・高コストな人材を必要とせずに収集・分析のできるデータと考えていいでしょう。

さらには、相関関係は導き出せても因果関係は導き出せないビッグデータの弱点を補うこともできます。定量・定性調査を行い収集したスモールデータにより、貴重なインサイトが見つかるなど、マーケティング戦略・戦術策定が可能となった例もあります。

【参考文献】

『平成29年版 情報通信白書』ビッグデータの定義及び範囲（総務省）／『三田商学研究』Vol.63「マーケティング戦略におけるビッグデータの活用」（高田英亮、慶應義塾大学出版会、2020年10月）／「日本経済新聞」（2019/7/26、2019/12/19、2020/9/14、2022/3/2、2022/6/16、2023/11/12）／「日経MJ」（2020/1/24）