NoSQLの過去、今、未来

冷やし中華よろしく、ブログ始めました。

シーマーク上村です。

例年よりも早く梅雨も明け、暑い日が続いていますがいかがお過ごしでしょうか。

暑い日にはやっぱり冷やし中華ですよねってことで、ブログ始めました(なんのつながりがってツッコミはなしで)

 

NoSQLって言葉が世にでて既に結構たつかと思うのですが、、、って文章を考えていたのですが

Cassandra終了のお知らせってポストが飛び込んで着ましたのでその事について、私見を、、

Cassandra終了といってもFacebookeの中の人が俺らもう使ってないよ、時代はHBaseでしょってな類のコメントを発したらしい(すいませんが、原文にあたっていないので伝聞調です)

CassandraといえばFacebookからApacheへソースが寄贈されたことで世に出て一躍脚光を浴び、NoSQLの本命といった形で取り上げられることも多くありました。

その中で、Facebookでもう使っていないよってコメントは、少なからず衝撃があった事は事実です。

ですが、それをもってCassandraの終了を唱えるのは早計ではないでしょうか?

NoSQLは既存のRDBMSではどうしてもまかなえないニーズを満たすために生まれ、発展してきました。

そのニーズを満たす為に合えて不得意な部分ができる事を許容しました。

たとえるなら、RDBMSは総合力に優れたマルチプレイヤーですが、NoSQLは特定能力に特化したスペシャリストといえます。

で、今回のFacebookの件はFacebookの中でのニーズが変わってきてからではないでしょうか?

ニーズの変遷によるデータストアのチョイスとしてHBaseの方がCassandraより適応しているとの判断した結果だと思っています。なのでCassandra終了ってわけではないと私は思っています。

じゃぁ、Facebookのニーズの変遷、HBaseとCassandraの違いは何よって話になるかと思いますが、まだ勉強不足(情報収集不足)で私には見えていません。いづれわかった範囲で何か書きたいと思っていますが、、

 

まとまりの無い文章ですが、今回はここまでということで、、

チャオ!

 

 

 

タイムスタンプ付き大量データのリアルタイム可視化(1)

はじめまして。シーマークの中村です。
人生初ブログです。

私は最初のブログのテーマとして、大量データの蓄積と可視化について取り上げてみたいと思います。
私が開発案件でよく遭遇する要件の一つに、リクエスト回数や重要ビジネスロジックの実行回数等をリアルタイムに視覚化する、というものがあります。本番の利用状況をリアルタイムに監視することで、運用対策や経営判断を早急に行いたいというのがお客様の要望です。

この場合、要件のポイントは、
大量データを
リアルタイムに
グラフ化して
検索条件で絞り込みもしたい
というものになります。

データを蓄積して取り出すという点ではシンプルな要件ですが、
単調増加するデータをいかに蓄積するか、
しかも本番サービスへの性能に影響を与えずにデータを蓄積し、
大量に蓄積されたデータを検索してグラフ化する
しかも高速に!
となると、結構悩ましい課題となります。。。

そこで、「そんなときにはこれを!」と取り出せるソリューションを導き出すべく、オープンソースを中心に技術調査及び実現方法を検討していきたいと思います。

次回は、調査対象の要件をもう少し明確にしていきます。

はじめまして。シーマークの中村です。
人生初ブログです。 

私は最初のブログのテーマとして、大量データの蓄積と可視化について取り上げてみたいと思います。
私が開発案件でよく遭遇する要件の一つに、リクエスト回数や重要ビジネスロジックの実行回数等をリアルタイムに視覚化する、というものがあります。本番の利用状況をリアルタイムに監視することで、運用対策や経営判断を早急に行いたいというのがお客様の要望です。

この場合、要件のポイントは、
大量データを
リアルタイムに
グラフ化して
検索条件で絞り込みもしたい
というものになります。

データを蓄積して取り出すという点ではシンプルな要件ですが、
単調増加するデータをいかに蓄積するか、
しかも本番サービスへの性能に影響を与えずにデータを蓄積し、
大量に蓄積されたデータを検索してグラフ化する
しかも高速に!
となると、結構悩ましい課題となります。

そこで、そんなときにはこれを!と取り出せるソリューションを導き出すべく、オープンソースを中心に技術調査及び実現方法を検討していきたいと思います。

次回は、もう少し要件を明確にしていきます。

Solrの機能と性能について

はじめまして、シーマークの大谷です。

Solr入門が出版されてから1年以上経ちました。

SolrのコミュニティはSolr入門を書いて以降も活発に活動が続いており、Luceneプロジェクトと統合され、現在はバージョン3.3がリリースされています。(最近は2ヶ月おきにリリースが行われるくらいです)

Solrも多くのサイトで導入が検討されたり、実際に利用されてきています。

ただ、Solrは手軽に様々な機能が利用出来る反面、構成やケアすべき点が色々と存在します。

 

私の方では新機能の紹介や、Wikipediaのデータを利用した簡単な性能測定の結果などを

このブログで取り組んでいこうと思っています。よろしくお願いします。

 

※あと、個人のブログですが、lucene-gosenというSenの後継にあたる形態素解析ツールについて記述をしています。こちらも参考にしていただければと。

既存サイトのスマートフォン対応

はじめまして。シーマークの宮崎です。
ブログのサブタイトルに「裏秋葉」とありますが、私は今流行り(?)の
在宅勤務のため、実は秋葉原にはいません。
在宅勤務といっても、節電対策とは全く関係ないのですが。。。
ということで、(今のところは)東京より涼しい長野から書いていきたいと思います。

さて、今年の夏も携帯キャリアから新しい機種が発表・発売されています。
スマートフォンが多くなった、と感じている方は多いのではないでしょうか。
2010年度のスマートフォンの割合は、
出荷台数においては22.7%、また契約数では8.8%
ということですが(http://wirelesswire.jp/News_in_Japan/201107081931.html)
実感値としてはもっと多いように感じます。
先日都内の駅のホームで周囲を見たところ、若い人が多かったせいもあるかもしれませんが
携帯電話を触っている人のほとんどがスマートフォンでした。
先ほどの記事でも、今後もスマートフォンの割合は増加するという予測がされており、
「スマートフォン対応サイト」が必須となってくるかと思います。

乱暴な言い方をしてしまうと、PCサイトにしろ携帯サイトにしろ、
スマートフォンでも見ることはできます。
私自身、「スマートフォン対応サイトって・・・」ともやもやしたところがありました。
「スマートフォン対応」とは、何をすべきなのか、何ができるのか。
特に既存のサイトをスマートフォン対応する場合、を中心にして
これから書いていけたらと思います。

システム性能課題への取り組み

シーマークすずきです.

弊社では,これまでたくさんの性能分析診断サービス案件を行ってきています.ここでは,性能分析診断サービスの紹介をしつつ,これまでの経験から培った様々なシステム性能課題への取り組みや事例から得たTIPSなどをご紹介していきたいと思います.

今回は,初回なので導入編です.

■性能分析診断サービスって何をするのか?

性能分析診断サービスは,2005年頃から正式に開始したサービスです.特にWebアプリケーションの性能課題に対応するケースが多くあります.大規模なコンシューマ向けのサービスや基幹システムのお客様からの依頼がほとんどです.当然,費用をかけてまで性能課題を解決するに値するお客様にとって非常に重要なシステムです.性能分析診断サービスの現場は,時には,本番サービス障害時やリリース直前の緊張感の高い現場が数多くあります.多くのケースは,お客様のシステムで以下のいずれかの状況になっています.

  • 予期せず突然スローダウンが起きる

– 本番サービス中に不定期にサーバー応答が極端に遅くなる

– アプリケーションも一切変更していないし,何が原因かわからない

  • 予定していた性能がでない

– カットオーバー又は納品前の性能試験を実施したら,予定していた処理性能がでない

– 早急に対策して,性能向上しなければならない

  • 新しいバージョンのWEBアプリケーションを配備したら,業務開始後,CPU高騰が発生し,慌てて前バージョンに戻した

– テスト環境では発生しない症状

– 新バージョンを配備したいが,再度同じ症状が発生すると業務にならないため,安心して配備する方策を検討したい.

 

性能分析診断サービスは,簡単に云えば,お客様のアプリケーション(C/C++,Java,PHP,Rubyなどで開発されたアプリケーション)が抱える上記の様な性能に関する問題事象を改めて定義し,その問題事象を観測,分析して,原因を明らかにし,当然,それに対する対策案を提案します.提示した対策案に依っては,直ぐに実施可能であれば,対策効果も計測し提示します.「そんなことできるの?」と聞こえてきそうですが,確かに難しいことです.でも,私たちは取り組んできました.今となっては,実は,このサービスを実践してきた経験そのもの,つまり,切磋琢磨して積み重ねた事例が私たちの”強み”になっていると思います.ある意味,こんなに多くの大規模システムに関する性能問題に直面した経験がある会社はなかなか存在しないのではないでしょうか.これまでのお客様との性能問題への取り組み経験は「豊富な失敗事例の立合い経験」というのもヘンな話しですが,貴重な経験をさせて頂いたという訳です.お客様にとっては,初めて遭遇する問題事象でも,私たちは「似たような症例」を経験している,ということもあります.時には,応急処置を行い,後から,抜本的に対策,治療を施す,と云ったことをする場合もあります.個人的には,このサービスの比喩としては,軍医の様なイメージです.「お客様のビジネスバトルフィールド(戦場)に出向き,お客様の痛みを,除去又は緩和する」という意味です.「より早く,効果的に治療する」という局面がほとんどですから,「救急治療チーム派遣サービス」なのかもしれません.

次回は,実際にどう取り組んでいくのかを載せたいと思います.