外部データソースからデータマートへの取り込みを効率化したい
日本生命グループの一員として、主に投資運用業を手がけるニッセイアセットマネジメント株式会社。同社は業界最大規模のリサーチグループを擁し、幅広い 分野のリサーチを行うだけでなく、グループの海外拠点ネットワークや海外運用会社との戦略的提携などを通じてグローバルな情報収集を展開しており、このリ サーチ力が大きな特徴となっています。
ニッセイアセットマネジメントの社内では、アナリストやファンドマネージャの分析業務、運用報告資料の作成などにデータマートが活用されています。その データソースとしては、外部の情報ベンダー、シンクタンク、証券会社などから、例えば株式や債券の属性・時価情報などの情報ですが、それぞれのデータ形式 や配信方法が異なるため、データマートへ取り込む際にはデータの変換やマージを行うためのプログラムが必要です。
これまでは、同社システム開発部システム開発室が、それぞれのソースに応じた個別のバッチプログラムを作成して対応していましたが、既存のプログラム手法 では開発生産性を向上させることが難しい上に属人化しやすいという課題がありました。また、そのバッチプログラムには多様な環境が用いられていたため、処 理を行うサーバが複数になっており、運用管理面でも負担が大きかったといいます。さらに、アナリストは分析精度向上を、ファンドマネージャは商品拡充など を求め、より多くのデータを収集していこうとしているため、今後もデータソースの増加が見込まれることから、バッチプログラム開発負担も増大する懸念があ りました。
この課題を解決するため、開発生産性が高く、多様なデータソースを網羅できるデータ取り込みインフラの構築が求められていたのです。
DataSpiderでデータ取り込みインフラを構築
ニッセイアセットマネジメントは、このデータ取り込みインフラに、DataSpiderを採用することにしました。
「データ取り込みを行うツールとしては、数年前にも他の製品を検討したことがありましたが、3年ほど前にアシストから提案されDataSpiderの存在 を知りました。これなら使えそうだという感触を得ており、いずれ導入したいと考えていました。そして、2007年末に予算を獲得できたため、構築に着手し たのです」と、システム開発部 システム開発室 室長の小森一隆氏は説明します。 「2007年12月にトライアルを実施したところ、生産性の高さは予想以上でした。目で見た通りの動作で、違和感はありません。さっそく2008年1月よ り 本格的に導入しています」(小森氏)
導入の際、同社では、DataSpiderを上手に活用すべく、開発ルールを決 めて担当する全員がそれを徹底することにしました。開発の品質を安定させること、運用やメンテナンスの手続きを効率化することなどを目的としたもので、例 えばプロジェクト名称やフォルダ構成など、数 十項目に及んでいます。
「他の開発ツールでも同様のルールを決めていますが、特にDataSpiderの場合は、誰でも簡単に開発できてしまうので、このようなルールがないと各 自で勝手に作ってしまい、システム管理の上で支障が出かねません。DataSpiderを扱う開発者が増える前にきちんと決めておく必要があったのです」 と小森氏は言います。
非常に高い開発効率を実現し、システムの稼働も安定
データ取り込みインフラの構築後、開発は順調に進んでいます。当初、DataSpiderを扱う開発者は2名でしたが、8月には6名に増員され、活用範囲 も広がっています。2008年11月の時点で、DataSpider を用いたプロジェクトは42件に達しているそうです。
システム開発部 システム開発室 課長補佐の相田秀久氏は、DataSpiderを次のように評価しています。
「最大のポイントは、開発ツールが視覚的で分かりやすいことです。Javaなどではシステム基盤となるような部分に手間がかかるのに対し、 DataSpiderなら技術的な部分のほとんどが内包されているので、データ連携のロジックに集中して開発できます。例えば、以前の方法では1~2週間 を要していたアップロード処理が、わずか2~3日でできる ようになり、開発期間が1/5~1/3に短縮されました。今や、当社のシステム基盤の中で欠かせないものとなっています」
また、DataSpiderの視覚的な開発環境のおかげで、いったん作ったプログラムの保守性も高まりました。他のスタッフが作成したコードでも、画面上 で容易に把握できるようになったのです。こうした開発性や保守性の向上により、DataSpiderの存在を意識していないエンドユーザーからも、開発の 迅速さに驚かれるようになったそうです。 なお、ニッセイアセットマネジメントでは、DataSpiderのために専用のサーバを用意して運用しています。これは、運用管理上の都合から、基本的に 複数システムを混在させないようにしているためです。そのため、パフォーマンス上は全く問題なく、まだまだ余裕が感じられるといいます。
「データベース入出力のレスポンスは非常に早く、大量データを処理する際にも助かっています。また、本番環境での日常の運用も安定していますね。何か問題 があっても、アシストにサンプルデータを用いて検証してもらうなどして解決しています。アシストは、再現性の低いトラブルがあったときなどにも粘り強く検 証してくれているので、とても感謝しています」(相田氏)
開発効率の高さを生かし他の新たな用途にも活用を検討
現在、ニッセイアセットマネジメントでは、DataSpiderのさらなる活用へ向けた、いくつかの取り組みを進めています。例えば、頻度の高い処理を共 通化する作業に着手しているそうです。 「DataSpiderには、他プロジェクトのスクリプトをコールする機能があり、これを活用することで、開発効率のさらなる向上が図れると考えていま す。まずはDataSpiderのアイコンで用意されていないような文字列処理や演算処理などを作っているところです」(相田氏)
また、開発ルールの再整備も検討しています。ルールは頻繁に見直されており、徐々に項目が増えてきているのです。
「当初30~40項目だったのが、今では50~60項目にもなりました。しかし、多すぎると覚えきれなくなり、うっかりルール違反してしまうケースも生じ てきます。当然、そういう場合は個別に修正して対応しますが、ルール違反を増やさぬよう、できるだけルールは少なく、シンプルに整理しておきたいと考えて います」(相田氏)
そして、データ取り込みインフラ以外の、新たな用途に活用できないか、検討が進められています。 「すでにDataSpiderを使っている開発者からは、『今まで使った中で、最も便利で面白いツール』との評価もあります。それを聞いて、他のスタッフ からも使ってみたいとの声が出ています。今のところ、DataSpiderは、システム開発部の中でも、主に分析業務向けシステムを担当するメンバーが 使っているだけですが、他のシステムでも使っていければと考えています」(小森氏)
※この事例の内容は、2008年12月に実施した取材の内容に基づいて作成しています。
多彩なソースの情報を整理し