リアルタイム分析を可能にするストリームコンピューティング

eye_stream_computing

リアルタイム分析に対する期待は大きく、スマートフォンへのクーポン配信や防衛・防災・防犯の異常検知などへの応用が始まっている。これらの応用範囲は、過去のデータを正確に分析することを前提としたバッチ処理では対応できない。リアルタイム分析はストリーム・コンピューティングによって実現が可能になるのだ。

◎「今」を分析するためのビッグデータ技術

リアルタイム分析は時代の要請だ。監視カメラの画像から不審な動きを検知する、交通状況に応じて渋滞緩和の対応を行う、店舗に訪れた顧客に対して時間・場所・属性データを考慮した最適なクーポンを届ける、といった多くの場面で高い即時性が求められる。リアルタイム分析では、あらかじめ蓄積した情報を取り出すのでは意味がない。各種センサーデータやソーシャルメディアなどで生成された多種多様のデータを即時に計算し、適切な対応が取れるようにしなければならない。取得できるデータが爆発的に増える現代では、リアルタイム分析は一筋縄ではいかない課題となっていた。

従来のデータ分析はバッチ処理が中心的な手法であった。ビジネス・インテリジェンスやデータ・ウェアハウスといった分野に代表されるように、データベースに保存された膨大なデータを必要に応じて整形し、意味のあるレポートに集計するのがバッチ処理のやり方だ。バッチ処理に向いている利用方法は、過去に起きた出来事の分析である。静的な情報をいかに正しく表現するかが重要な視点だ。一方で、バッチ処理の手法はリアルタイムでの分析には向いていない。構造化データと非構造化データが混ざった状態で流入してくる情報に対して、直近の状態を表現したり、異常値を検出したりするのにはバッチ処理では間に合わない。そこで、新たな計算手法としてストリーム・コンピューティングが提案された。

ストリーム・コンピューティングは現在の出来事を分析するために、一括処理を前提としない。断続的に流入するデータを逐一分析し、処理を進めていく。データを細かく分割し、並行処理するため、1秒間に数万~数万件もの大量データが処理できるようになった。処理速度の向上にはハードディスクの読み書きがボトルネックになる場合が多かったが、ストリーム・コンピューティングではメモリ上でデータを一時的に保存するのみで、永続化されることがない。10年で30分の1になったと言われる安価なメモリーの登場によって、インメモリでの処理が実現可能になったのだ。

stream_computing

◎医療・金融などのクリティカルな適用範囲

ストリーム・コンピューティングの適用領域は広い。まず、リアルタイム分析に対する期待が大きいのは金融業界だ。株式市場のアルゴリズム取引はミリ秒単位で多数の情報を処理しなければならない。不正利用検知にも即時の対応が求められる。犯罪行為の抑止としては、金融業界に限らず、防衛やサイバーセキュリティでもリアルタイムの異常検知が欠かせない。また、発電システムの防災、電力監視、工場の故障検知、渋滞予測といった分野にもリアルタイム分析の需要がある。

ストリーム・コンピューティングの先端事例として、カナダのオンタリオ工科大学の取り組みが話題を集めた。新生児向けのICU(集中治療室)にストリーム・コンピューティングの仕組みを導入したのだ。現代の医療機関では血圧、心拍数、体温といった生体情報をモニタリングする機器が日常的に使用されているが、熟練した医師や看護師であっても、容体変化の見極めと把握がほぼ不可能で、治療が手遅れになるケースが存在する。特に、ICUのような時間に対するプレッシャーが強い状況では、多くのデータを総合的に判断する余裕はなく、医療従事者が目にするデータが多すぎる状況が問題になっていた。そこで、これまで利用されていなかった生体データを含めて、できるだけ多くの情報を高速で処理し、新生児に異常が検知された場合のみ警告を通知する取り組みを始めた。1秒間に1000件以上の生体データを処理し、わずかな体調変化を最大24時間前に検知できるようになり、感染症状へのプロアクティブな対応など、新生児医療の高度化が実現された。

◎より深いリアルタイム分析へ進化が続く

ストリーム・コンピューティングの実装は、一から開発する必要はなく、各社のミドルウェアが活用できる。CEP(Complex Event Processing:複合イベント処理)の分野では各ITベンダーがソリューションを提供しており、また、IBMのストリーム・コンピューティング製品群は多くの実績を上げている。Amazon KinesisはAWS上でのストリーム・コンピューティングを支援する仕組みになっている。さらに、リアルタイムでの機械学習に特化したオープンソースであるJubatusも開発された。即時により深い分析ができるよう、ストリーム・コンピューティングは進化を続けているのだ。

 

ストリーム・コンピューティングは即時性の高いビッグデータ分析という時代の要請に応えるために生まれた。バッチ分析のような過去の情報ではなく、直近の状況に即応できるのがストリーム・コンピューティングの強みだ。医療・金融などの多くの分野で適用が広がり、より深い分析への進化が期待されている。

著:ビジネス on IT運営事務局、データ活用班

メールマガジンを購読する

 

Pocket

コメント

「ビッグデータ」の最新記事

一覧へ

startup-photos

活用の幅が大きく広がる機械学習によるデータ分析(第2回)

第1回目では機械学習を活用したデータ分析の基礎情報を理解いただくため、「機械学習とデータマイニングの違い」や「顧客の購買や反応を予…

startup-photos

活用の幅が大きく広がる機械学習によるデータ分析(第1回)

機械学習と同種のテクノロジーは、実は20年以上前から存在し、「データマイニング」として活用されてきた。これまでは主に、与信管理やカ…

bigdate#1eyec

データ分析の現場でよく使われているツールをご紹介します ~組織のデータをいかに活…

国が企業に向けて重要性を発信するほど注目度の高いデータ分析。攻めのIT実現に向けて、データ分析の領域で代表的ツールとされている「S…

bigdate#1eyec

組織のIT、「攻め」に使えていますか? ~組織のデータをいかに活用するか~

国を挙げて提唱されている「攻めのIT活用」。グローバルスタンダードにもなりつつある、攻めのITツール活用について、踏むべきステップ…

data-mining

データマイニング入門。予測・分類・相関の分析によりビジネスに未知なる知見をもたら…

データマイニングは近年よく聞かれるようになった用語だが、実際、どのような手法があり、導入するには何が必要になるのだろうか。活用例を…

「ビッグデータ」のイベント・セミナー

開催
IoT / AI による “製造業” 革新セミナー (東京)