2022/01/13

技術・機能解説、ノウハウ｜統合運用管理

マルチベンダーシステムの運用と保守の肝

　近年のインフラ基盤は、物理環境と仮想環境が複合的に構成されており、殆どのシステムが複数のベンダー製品によって構成されている。

サーバーはA社製
ストレージはB社製
ネットワークはC社製
仮想ソフトはD社製

　マルチベンダーからなるシステム構成にする狙いは様々ではあるが、主にはコストを抑えつつ其々のベンダー製品の優れている特徴を組み合わせ、最大のパフォーマンスを発揮するシステムを構築し、顧客やユーザーのニーズに応えることである。

　しかし、システム運用や保守の面において、マルチベンダーシステムならではの課題があることも忘れてはならない。

　そこで20年以上にわたり、企業のシステム運用保守を支援してきたCTCテクノロジー（以下、CTCT）のマルチベンダーシステムの運用保守の匠こと廣原保志氏と田中優二氏に、マルチベンダー構成におけるシステムのメリットとデメリット、障害の原因調査から得た教訓や運用保守の人材不足を解消する方法などについて尋ねてみた。

廣原保志

CTCテクノロジー株式会社

テクニカルサポート本部　テクニカルサポート第2部　ストレージサポート第2課
テクニカルマネージャー

経歴

23年間、サーバー及びストレージ系のベンダーコントロールからフィールドエンジニアへのテクニカルサポート業務に従事
現在はテクニカルサポート兼プリセールスの支援業務を担当

田中優二

CTCテクノロジー株式会社

テクニカルサポート本部　テクニカルサポート第2部　ストレージサポート第2課
テクニカルマネージャー

経歴

8年間、プラント企業のIBMメインフレームオペレーターを経験
19年間、ストレージ系のベンダーコントロールからフィールドエンジニアへのテクニカルサポート業務に従事
現在もテクニカルサポートとして、主にストレージ製品のサポート業務を担当

▼ 目次
・マルチベンダー構成のシステムのメリットとデメリット
・システム障害の原因調査の経験から得た教訓
・システム運用保守に必要なスキルと人材不足を解消する方法

1. マルチベンダー構成のシステムのメリットとデメリット

　複数のベンダー製品から構成されるマルチベンダーシステムのメリット、デメリット、運用保守における注意点について尋ねてみた。

Q1-1. マルチベンダー構成のシステムのメリットとは？

廣原　マルチベンダー構成のシステムのメリットは、次の点が挙げられます。

各ベンダー製品の優れている特長を組み合わせることにより、最大のシステムパフォーマンスを得られる
各ベンダーの価格競争により、要件を満たすシステムを安価に構築できる

Q1-2. ベンダー製品を組み合わせることで、どの様な効果が期待できますか？

廣原　期待できる効果は、主に次の点が挙げられます。

品質の高い製品を組み合わせて、安定したシステムを構築できる
多くの機能を有する製品を組み合わせて、複雑なシステム要件を満たせる
必要最低限の機能を有する製品を組み合わせて、安価にシステムを調達できる
拡張性の高い製品を組み合わせて、初期投資を抑えてシステムを構築できる

Q1-3. マルチベンダー構成のシステムのデメリットとは？

廣原　マルチベンダー構成のシステムのデメリットとして、次の点が挙げられます。

障害（レスポンスの低下など）の原因特定が難しく、復旧や解決に時間を要する
運用、保守の負担が大きい
問合せ窓口がバラバラ

Q1-4. 運用を考慮するとシングルベンダー構成の方が得作では？

田中　いいえ。サーバー、ネットワーク、ストレージなどをシングルベンダーで構成することは難しいです。

　ベンダーには特定の分野への強み、弱みがあるため、シングルベンダーによる構成は、システム要件を満たせない場合が多いのです。

Q1-5. マルチベンダー構成システムの運用保守における注意点とは？

廣原　主に次のような点に注意が必要です。

各ベンダーのサービスレベル（対応範囲や対応内容）が異なり、サービス時間、保守範囲などのサービス内容に歪みが生じる
異なるベンダー製品が連携する構成の場合、障害が発生した際の原因調査に時間がかかる
障害の再現性検証をする上で、機器の準備が難しい

2. システム障害の原因調査の経験から得た教訓

　前述にもあるが、複数のベンダー製品から構成される複雑なマルチベンダーシステムにおける最大のデメリットは、障害の原因調査に時間を要することだ。

　そこで、実際の障害事例を基に、原因調査の経験から得た教訓について尋ねてみた。

Q2-1. 障害の原因調査に時間を要するケースとは？

廣原　例えば次のようなケースです。

異なるベンダーのサーバー、ネットワーク、ストレージの接続障害
システムパフォーマンスの劣化

Q2-2. 障害の原因調査に時間を要した事例を挙げてください

田中　マルチベンダー構成によるシステム障害の原因調査に時間を要した事例を紹介します。

ほぼ同時に複数台のサーバーがハングアップし、お客様向けのサービスが停止
サービス復旧の暫定対応として、サーバーOSを再起動
ハングアップの原因が、サーバーからストレージへのデータI/O処理ができなくなったことが原因として浮かび上がった
被疑箇所を下記に特定し、其々のベンダーごとに調査を開始するものの、根本原因の特定に至らず

A社製のサーバー
B社製のサーバーOS
C社製のHost Bus Adapter（以下、HBA）
D社製のFibre Channel（以下、FC）スイッチ
E社製のストレージ

Q2-3. どのように原因を特定し、解決に導きましたか？

田中　下記の流れで原因を特定し、お客様にご安心、ご納得いただける解決策を報告しました。

CTCTが保有する豊富な検証機器を用い、事象が発生した環境と類似する検証環境を準備
CTCTのパートナーであるベンダーと連携しつつ原因調査を開始
I/O負荷試験、加速度試験やFCアナライザによる調査の過程で、原因が下記であることを突き止める

HBAドライバ、ファームウェアやFCスイッチのOSバージョンによる特定機能などの組み合せにより発生する
FCスイッチが対向機器へ定期的に状態確認を実施していたが、状態確認の要求処理が失敗する
HBAファームウェアで不正なフラグを付与することにより、状態確認の要求処理が失敗する

解決策として下記を導き、お客様に報告

HBAドライバのアップグレード
FCスイッチから対向機器へ状態確認を定期的に要求する処理を無効化

図 1. 不具合の原因

Q2-4. 当事例における教訓とは？

田中　異なるベンダー製品が連携するシステムを構成、変更する場合、事前準備として下記が重要となります。

ベンダーから提供されている下記の情報を確認する

サポート情報、互換性情報

各ベンダー製品の連携、接続のために必要となる条件など
OS、パッチ条件や各種ドライバ、ファームウェアなどのバージョン条件など

推奨情報

ベンダーが検証済みのサポート構成や、パフォーマンスを向上するための設定パラメーターなど

利用しない機能は停止（無効）にする

　予めベンダーが提供している情報を SIer に確認させておくことで、重大障害の発生リスクやパフォーマンス低下などの問題を回避でき、結果的に信頼性の高いシステムの構築が可能になります。

　また、各製品の機能などにも十分に確認し、使わない機能を無効にすることにより、安定したシステム運用が可能となります。

Q2-5. 障害復旧に時間をかけないための準備とは

廣原　次の点を準備しておくことを推奨します。

システムの稼働状況の監視
障害を検知するシステムの導入
障害検知から初動切り分けのフロー化
復旧までのフロー化
教育
運用保守会社とのシステムや業務に関わる情報共有

　上記の準備には、知見や経験が必要ですので、弊社の様なシステム保守、運用の実績が豊富な SIer に相談しておくのもよいでしょう。

3. システム運用保守に必要なスキルと人材不足を解消方法

　システム運用保守において必要なスキルと人材不足を解消する方法について尋ねてみた。

Q3-1. システム運用保守において必要なスキルとは？

田中　障害事例において述べた通り、複数のベンダー製品が絡む障害では、各ベンダーの調査だけでは問題解決までに至らないケースがあります。

　このようなケースにおいては、個々の製品に詳しくても解決策を導けません。

　ベンダー各社と対等に協議できる知識や技術力だけでなく、下記のスキルが必要になります。

企業と運用保守会社、ベンダー等の会社間の信頼関係と連携力
交渉力やベンダー調整力
各々のベンダーの製品間での通信プロトコルなどのレベルで正しく処理が出来ているかなどの、原因調査ポイントを見極める力

Q3-3. システム運用保守の人材を育成する方法とは？

田中　システム運用保守に関する研修がお奨めです。

　CTCT ではIT・技術研修サービスを提供しており、システム運用やトラブルシューティングを体系的に学べる研修コースをご用意しています。

　詳細は下記よりご覧いただけますので、是非とも受講をご検討いただきたいと思います。

Q3-2. 人材不足を解消する方法とは？

田中　製品単体での運用を考える場合は、製品単体の知識だけで十分です。

　しかし、システムに最適な運用方法やシステム障害の対応などを行う場合、サーバー、ネットワーク、ストレージなど、システムを構成する要素に精通した運用保守知識が必要になります。

　しかしながら、人材育成には時間がかかります。

　そこでCTCTは、サーバー、ネットワーク、ストレージなど幅広い分野の技術スキルを有するエンジニアの人材不足に悩む企業に向けて、運用保守サービスを提供しています。

　保守運用サービスは、個々の企業特有の運用業務や運用方針にあわせて、サービス内容を柔軟にカスタマイズできます。

　また、主要なベンダー製品や運用保守に関する専門的な知識と豊富な経験を有する多くのエンジニアが、お客様の複雑なシステムの運用保守を支援するとともに、難解なシステム障害もスピーディに解決していますので、システム運用保守担当者のご負担を軽減させることも可能です。

　システムの保守運用にお困りの際は、弊社までご相談いただければと存じます。