エンタープライズサーチは企業内検索とも呼ばれ、ITシステムの普及と共に多数の業務アプリケーションや文書管理システムに散在してしまった情報に対し、一括検索を実現するプラットフォームです。

　しかしユーザーからは、「エンタープライズサーチで情報検索が効率化しても、膨大な情報がヒットしてしまい整理が追い付かず、情報を業務に生かしきれていない。」といった課題を良くお聞きします。

　こうした課題を克服するため、エンタープライズサーチは、AI（人工知能）を搭載した「コグニティブ検索」へと進化を遂げました。

　これから数回にわたり、既存のエンタープライズサーチに物足りなさを感じる方向けに、企業内検索のトレンドであるコグニティブ検索について解説します。

▼ 目次
1. 検索エンジンの歴史- エンタープライズサーチ誕生の背景
2. 導入当初には気づかないエンタープライズサーチのデメリット
3. エンタープライズサーチの進化系「コグニティブ検索」とは？
4. 事例からコグニティブ検索を理解する
5. コグニティブ検索を搭載したエンタープライズサーチプラットフォームSinequaとは？

1.検索エンジンの歴史-エンタープライズサーチ誕生の背景

　コグニティブ検索の基盤技術である、エンタープライズサーチが開発された経緯を見ていきましょう。

　エンタープライズサーチとは、検索エンジンの一種です。

1-1. 当初検索エンジン

　当初の検索エンジンは、インデックス化技術を用いて開発されました。

　その後、人間の言語を理解した検索を目的に、自然言語処理（NLP）と機械学習（ML）の技術を用いる流れが生まれました。

1-2. 2000年初頭

　GoogleとYahoo！の2大検索エンジンが登場しています。

　一方、当時の各企業では、社内ポータルやコンテンツマネジメントなど、社内情報向けの各種システムの導入が進んでいました。

　そのため、社内システムの数・種類が増えるにつれ、各システムにそれぞれログインしなければ文書や情報を探せないという煩わしさを感じるようになりました。

　これを背景に、有名なApache Luceneなどオープンソースの全文検索エンジンの出現と相まって、企業内に散在する情報資産を一括検索する技術、エンタープライズサーチシステムが開発されました。

1-3. 2000～2005年

　エンタープライズサーチが黄金期を迎えます。

　この頃、多くの企業が、エンタープライズサーチを導入しました。自社の複数のデータソースにインデックスを作成し、一か所から、異なるデータソースに格納された文書を検索できる仕組みは、エンドユーザーが情報検索に掛ける時間を短縮し、負荷を軽減するという、一定の効果が得られたのです。

図 1. 複数のデータソースから情報を検索するエンタープライズサーチ

2. 導入当初には気づかないエンタープライズサーチのデメリット

　市場調査会社のITアナリストによると、近年、エンタープライズサーチは成長著しい分野として注目されているとのことです。

　エンタープライズサーチは検索の効率化に貢献しましたが、2000年代初頭に導入された多くのシステムはシンプルな「キーワード」による全文検索です。

　単純なキーワード検索では、時間の経過と共に各データソースに文書が蓄積されると、エンタープライズサーチでヒットする件数も増えてきます。検索時間が短縮した反面、ヒットした検索結果から目的の情報を見つけ分析し、解決策を導き出すプロセスには、以前よりも時間を要するといった皮肉な状況を招きました。

　また、エンタープライズサーチで検索できるのは、企業内データベースに格納されている構造化データが中心でした。

　エンタープライズサーチの導入企業は、インデックス化しにくい非構造化データ（画像、動画、Eメール、スキャンデータ、消費者の声）からも、業務改善や新規ビジネスの検討に生かせるのではないかと考え始めました。

3. エンタープライズサーチの進化系「コグニティブ検索」

　そこで、自然言語処理と機械学習を組み合わせたAIで、構造化と非構造化データの両方に対して検索可能にし、分析まで実現したのがコグニティブ検索です。

　自然言語処理が、文書の文脈を理解することで、検索のキーワードが含まれていない類似文書も発掘できるようになります。

参考：Forrester「Cognitive Search Is The AI Version Of Enterprise Search」

4. 事例からコグニティブ検索を理解する

　コールセンター履歴からオペレーターの対応品質向上を検討する事例で、エンタープライズサーチとコグニティブ検索の違いを説明します。

　エンタープライズサーチで、過去に発生したクレーム情報を収集しようとすると、クレームを表現する「怒り」・「叱責」・「不満」や、クレームの原因に関する「回答時間」・「言葉遣い」などのキーワードを全てユーザーで洗い出してから、検索する必要があります。

　このとき、クレームに関する情報を網羅的に拾い出せていなかった場合は、偏った分析になってしまうでしょう。

　また、今までであれば、膨大にヒットした結果の分類や、原因に対する解決策は、人がゼロからすべて検討する必要がありました。

　コグニティブ検索を活用すると、どう変わるでしょうか。

　先ず、ユーザーの意図を汲み取り、クレームに関する情報を網羅的に探し出しそうとします。

　次に、自然言語処理が過去のコールセンター対応履歴を読み解き、怒りや不満の感情を持たれたと推測される文章を特定します。（感情分析）

　さらに、機械学習を用いれば、クレーム発生の原因や、「このようなお客様は、このような内容で不満を持つ」や「このようなお客様には、このように対応することでクレームを減らせる」といった分析まできるようになります。

　このように、文書の背景を読み取り、業務に直結するアクションの提案まで行えるのは、コグニティブ検索の大きな特長です。

　この価値に気づいたエンタープライズサーチの導入企業は、市場競争力を高めようと、コグニティブ検索へと移行するケースが増えてきました。

　Forresterの市場調査レポート「Forrester Wave: Cognitive Search, Q2 2019」によると、「旧来のエンタープライズサーチ技術は、もはや時代遅れで効果的ではない。自然言語処理などAI技術の適切な利用がキーとなる。」と記されています。

　このように企業内検索エンジンは、検索エンジンの範疇を超えて、ビジネスに新たな知見をもたらす「インサイトエンジン」へと進化しているのが最新動向です。

　Gartner Magic Quadrantレポートは、2015年の「Enterprise Search」から2017年以降は「Insight Engine」へと分野を再定義しました。

　これは検索能力だけでなく、データの探索や分類、分析などより高度な能力まで求められてきているからでしょう。

　導入企業の業務に新たな示唆を与えることができるかどうかが、評価軸になっています。

図 2. エンタープライズサーチ vs コグニティブ検索

　検索エンジンの開発における、言語を深く理解するという取り組みは、人間の思考に近づくための挑戦でした。

　近年も、人間に代わり膨大なデータを解釈し、人知の及ばない新たな知見まで導き出すために開発が重ねられるインサイトエンジン。これは決して新しい発想ではなく、検索エンジン開発当初から目指してきたゴールに向かう、通過点の一つに過ぎないのかもしれません。

5. コグニティブ検索を搭載したエンタープライズサーチプラットフォームSinequaとは？

5-1. Sinequaも、エンタープライズサーチからスタートした

　仏Sinequa社は、エンタープライズサーチ黄金期の2000年初頭に設立され、同システムの提供を開始しました。

　そして現在、Gartner Magic QuadrantのEnterprise SearchとInsight Engine、またForresterのCognitive Search and Knowledge Discovery Solutionでリーダーと評価されており、コグニティブ検索のプロバイダーとしての地位を確立させています。

参考 1. Gartner’s 2019 Magic Quadrant for Insight Engines
参考 2. Forrester Wave: Cognitive Search, Q2 2019

　同社が提供する企業内検索エンジンは、エンタープライズサーチからコグニティブ検索へと進化した典型的な例です。

　そこで、Sinequaプラットフォームの開発経緯になぞらえて、コグニティブ検索のコアテクノロジーについて解説します。

　2000年頃、Sinequa 社ほか多くのエンタープライズサーチ製品が市場に出現するなか、同社エンタープライズサーチの強みは、多数のデータソースに標準で接続可能な豊富なコネクターでした。

　また、300種類以上のデータタイプにインデックス作成できるという検索の柔軟性にも優れています。

　これにより、構造化・非構造化をデータ問わず、インデックスを作成でき、検索を可能にしてきました。

　他のエンタープライズサーチやデータレイクとは異なり、既存環境からデータのコピーを作成せず、オリジナルデータに直接検索するという“データインプレース”戦略です。

　これは、最新の情報を常に検索対象いできるため、かなり合理的な仕組みです。

　また、データソース側に設定されている、文書のアクセス権限を引き継いで検索できるという、高度なセキュリティも実現しています。

5-2. エンタープライズサーチからコグニティブ検索・分析プラットフォームへの移行

　Sinequaは、図3に示される5段階を経て、次世代型のエンタープライズサーチ、コグニティブ検索・分析プラットフォームへと開発されました。

図 3. エンタープライズサーチからコグニティブ検索への移行

　デジタルワークプレースはデータアクセスポイント、ビジネスユーザーは、科学的研究やカスタマーリレーションシップ管理、人事、プロジェクト管理など、あらゆる業務担当者を指します。

　ビジネスユーザーは業務で、多くのデータソースから情報を集めなければなりません。

　よりユーザーが欲しがる情報を提供するためには、システムを人間の思考に近づけなければならず、これを支援するため、AI（人工知能）を搭載しました。

• 第1ステップ：コネクターの設定
• 専用のコネクターで複数のデータソースに接続し、データを収集する。集められたデータにインデックスが作成され、一か所から複数のデータソースに対して文書の検索が可能になる。
• 第2ステップ：データのクレンジングと構造化
• WordやPDF、画像、Zipアーカイブなど非構造化データを読み込み・分析可能になるよう、メタデータをテキストに起こし構造化する。（2020年3月現在、300種類のファイルフォーマットに対応）
• 第3ステップ：自然言語処理（NLP）
• 前のステップで構造化したテキストデータの分析に、自然言語処理を適用。言語ごとに、文章の構造を把握し、各単語の役割を分類することで、あたかも人間が考えるように文脈を理解。またこのステップで構造化・単純化されたアウトプットは、次ステップの機械学習の入力データに用いられる。
• 第4ステップ：機械学習（ML）
• 機械学習アルゴリズムの適用により、文書に潜んでいる裏の情報を読み取り、検索に付加価値を与える。例えば、ユーザーが検索したキーワードは含まなくても、検索の意図を理解し、「この文章も恐らくユーザーに役立つ」といった類推ができるようになる。
• 第5ステップ：ユーザーエクスペリエンスの設計
• このステップでは既に、複数のデータソースから収集した異質なデータを均一化し、一か所からアクセス可能にすることで、データを業務に活用できる基盤が構築できている。業務へのデータ活用の価値最大化に向けた戦略（どのデータをどのように処理し、どのようにビジュアライズするかなど）を設計する。

　このように、企業内検索の真の価値は、検索を実行して情報を取り出すだけでなく、企業データの潜在能力に意識を向け、業務のアクションに直結させることです。

　「情報のセルフサービス利用」が、各企業が目指す最新の情報活用のスタイルと考えられます。

　次回は、コグニティブ検索・分析プラットフォームSinequaの詳しい機能について解説いたします。