タイムスタンプ付き大量データのリアルタイム可視化(1)

はじめまして。シーマークの中村です。
人生初ブログです。

私は最初のブログのテーマとして、大量データの蓄積と可視化について取り上げてみたいと思います。
私が開発案件でよく遭遇する要件の一つに、リクエスト回数や重要ビジネスロジックの実行回数等をリアルタイムに視覚化する、というものがあります。本番の利用状況をリアルタイムに監視することで、運用対策や経営判断を早急に行いたいというのがお客様の要望です。

この場合、要件のポイントは、
大量データを
リアルタイムに
グラフ化して
検索条件で絞り込みもしたい
というものになります。

データを蓄積して取り出すという点ではシンプルな要件ですが、
単調増加するデータをいかに蓄積するか、
しかも本番サービスへの性能に影響を与えずにデータを蓄積し、
大量に蓄積されたデータを検索してグラフ化する
しかも高速に!
となると、結構悩ましい課題となります。。。

そこで、「そんなときにはこれを!」と取り出せるソリューションを導き出すべく、オープンソースを中心に技術調査及び実現方法を検討していきたいと思います。

次回は、調査対象の要件をもう少し明確にしていきます。

はじめまして。シーマークの中村です。
人生初ブログです。 

私は最初のブログのテーマとして、大量データの蓄積と可視化について取り上げてみたいと思います。
私が開発案件でよく遭遇する要件の一つに、リクエスト回数や重要ビジネスロジックの実行回数等をリアルタイムに視覚化する、というものがあります。本番の利用状況をリアルタイムに監視することで、運用対策や経営判断を早急に行いたいというのがお客様の要望です。

この場合、要件のポイントは、
大量データを
リアルタイムに
グラフ化して
検索条件で絞り込みもしたい
というものになります。

データを蓄積して取り出すという点ではシンプルな要件ですが、
単調増加するデータをいかに蓄積するか、
しかも本番サービスへの性能に影響を与えずにデータを蓄積し、
大量に蓄積されたデータを検索してグラフ化する
しかも高速に!
となると、結構悩ましい課題となります。

そこで、そんなときにはこれを!と取り出せるソリューションを導き出すべく、オープンソースを中心に技術調査及び実現方法を検討していきたいと思います。

次回は、もう少し要件を明確にしていきます。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です