その他の最近のブログ記事

弊社では、オープンソースBIソリューション「Pentaho」、 オープンソースBAソリューション「RapidMiner」を顧客様にご提供させて頂いております。
中でも低価格、低レイテンシで、なおかつ管理コストをかけずに大量データの分析を行いたい、
分析結果を迅速に表示したいと言う顧客様のご要望に対しInfobrightのご紹介をさせて頂いております。

今回のブログではカナダのInfobirght社が公表しております、海外でInfobrightをご導入頂いております海外企業様の事例をご紹介したく思います。

■顧客様名:米adMarketplace社様(http://www.admarketplace.com/

■顧客様の企業情報
米adMarketplace社様は2000年に設立され同社のサービスは
主要な検索エンジン上で掲載されるクリック課金型のオンライン広告
ソリューションをマーケッタ向けに提供を行っており、同サービスは
オンライン広告のフィルタリング、スコアリング、ターゲティング、価格決め、
分析を100万レコードを超えるリソースを対象におこなっております。
また、同サービスが一日に扱う検索データは25億検索と非常に規模の大きい
サービスとなります。

■導入背景:
同社が収益の主軸にしているオンライン広告ビジネスは、同ビジネスに
使用するシステムが生成するデータの特性が以下の様になります。

・膨大なデータ量(同社の場合は一日15億リクエスト)
・クリック課金形態を持っているのでクリティカル性が高い
・リアルタイム性が必要とされている
・膨大な履歴データ

同社のシステムは、検索エンジンより流れてくる膨大なデータから
検索語、クリック情報、広告サービスに付随するコンバージョン情報を
元に分析し、ROIの向上のための最適化を行っています。

■データストレージを導入にあたっての考慮事項
同システムの稼働開始時はMySQLをデータストレージに使用していましたが、
同システムの運用に付随し膨大なデータに対し、迅速なクエリレスポンス、
ストレージの確保に課題が露見してきました。左記、状況に対する解決策として
以下要件をデータストレージの選定の際の判断材料といたしました。

・大量データに対し迅速なクエリレスポンスが確保できる事
・データの保存に手間がかからず、なおかつ有効にディスクストレージを利用できる事
・もともとのシステムがMySQLを使用しているので、MySQL互換性が高い事

■導入効果:
MySQLおよびMongoDBに保存されるデータを一時間単位で集計を行い、結果を
Infobrightに保存する事により、より粒度の細かい大量データを分析し結果を元に
最適化を行うことが可能になったことにより、同サービスの利用者様に対し
高いROI率を還元することが可能になりました。

以下に詳細を記載いたします。

・MySQLのみの場合は集計結果の保持しか行えなかったが、Rawデータの保持も可能になった。
・データをInfobrightに保持することによりデータ量が10分の1に圧縮され2.7TB分のデータが
270GBのデータサイズになった。
・MySQLのみの場合、クラスタ構成の設定等でパフォーマンスの向上を図っていたが、左記設定等が必要なくなった。

英語表記になりますが、本ブログで記載いたしましたケーススタディの典拠元は
以下のURLにてご確認いただけますので、ご興味のある方は参照ください。

ウェブ版

PDF版

Infobrightは商用オープンソースDWHとなりますので、費用対効果の高さは高くご期待頂けるかと思います。

また製品の運用保守費用を含め、社内環境でご使用のRDBの性能に悩まれている
ご担当者様は一度弊社まで直接ご相談いただければ早急に課題解決を行える可能性が非常に
高いかと思いますので、こちらからご相談下さい。

また、体験版をご希望の場合は、こちらからお問い合わせ頂ければと思います。

☆Have a business insight from lightning data analysis ☆
KSKソリューションズ DWHチーム
本日、恒例のセミナーを実施させて頂きました。まだカラムストア型(列指向)RDBMSの知名度は高くないので、一人でも多くの方にそのパワーを知っていただければと思います。
2011_11_15_14_41_23.jpg

満員御礼ありがとうございます。
次回は1月10日(火)の予定ですので、よろしければこちらからお申込み下さい。
★Please join and enjoy our seminar★
KSK Solutions Infobright team
Infobrightではデータを迅速にロードする為にバルクローダを提供していますが、
本ブログでは、データ挿入方法および各ローダの特性、並びに商用・コミュニティ版
における差異について記述を行いたく思います。

典拠元URL:
Infobright Data Lading Guide (2011/11/15)

■データ挿入方法
1. INSERT構文発行によるデータ挿入(商用版のみ対応)
特徴:データを圧縮しながらのデータ挿入なので、トランザクション形式での
データ挿入は処理速度が遅くなる。

2.MySQLローダ(商用版のみ対応)
特徴:平分データおよびデリミッタが対象となりデータのロード速度は
INSERT構文の発行時と比較した場合は速度が向上する。

Infobrightでは以下コマンドの発行により本ローダの使用が可能になる。
> SET @bh_dataformat='mysql;

3.ETLツールを使用したデータ挿入(商用版およびコミュニティ版に対応)
バイナリ形式のInfobrightローダにも対応し直接データソースにアクセスを行う事が
可能になるが、コネクタの用意が必要になる。

4.Infobrightローダ:テキストデータ形式 (商用版およびコミュニティ版に対応)
平分データの読み込みを行いデータを挿入する。サポートするシンタックスを減少させる
事で上記3項より処理速度の向上が可能だが以下に注意事項※1を列挙します。

※1注意事項
・整形された平分データが必要になる。
・DATE型フィールドでは「yyyy-MM-dd」形式のみ使用が可能である。
・DATETIME型およびTIMESTAMP型フィールドでは「YYYY-MM-DD HH:mm:ss」形式
のみのサポートとなり、時間は24時間ベースでの記述が必要になる。(AM/PM形式には対応していない。)

Infobrightでは以下コマンドの発行により本ローダの使用が可能になる。
> SET @bh_dataformat='txt_variable';

5.Infobrightローダ(バイナリデータ形式)
Infobrightローダ:テキストデータ形式と比較した場合、約2倍の速度で
データのロードを行う事が可能になる。

Infobrightでは以下コマンドの発行により本ローダの使用が可能になる。
> SET @bh_dataformat='binary';

以下データ形式に対応

binary.JPG



今回はデータ投入機能の比較を行いましたが、サービスを運用保守面まで想定した場合、
商用版Infobrightの導入を推奨させていただいております。

またInfobrightは商用オープンソースDWHとなりますので、費用対効果の高さはご期待頂けるかと思います。
DWH構築用ソフトウェアのご検討を頂く材料として、商用版Infobrightの詳細説明が
必要なご担当者様は一度弊社まで直接ご相談いただければ有益な情報提供が可能かと
思いますので、是非一度こちらからご相談下さい。

☆Have a low latency with IEE ☆
KSKソリューションズ DWHチーム
弊社では、オープンソースBIソリューション「Pentaho」、 オープンソースBAソリューション「RapidMiner」を顧客様にご提供させて頂いております。
中でも低価格、低レイテンシで、なおかつ管理コストをかけずに大量データの分析を行いたい、
分析結果を迅速に表示したいと言う顧客様のご要望に対しInfobrightのご紹介をさせて頂いております。

今回のブログではカナダのInfobirght社が公表しております、海外でInfobrightをご導入頂いております海外企業様の事例をご紹介したく思います。

■顧客様名:英Bluefin Group社様(http://www.bluefingroup.co.uk

■顧客様の企業情報
英Bluefin Group様は、世界最大の保険業界企業の一つであるAxaグループの傘下グループで
主に、英国にて個人顧客および法人顧客向けに保険製品の提供を行っております。
同企業様は英国内に2500名の従業員並びに、英国以外では世界80ヶ国にビジネスを
展開しております国際色の強い企業様となります。

同グループを構成している企業様数は14企業様となっております。

■導入背景:
同グループを構成している14企業様はそれぞれ異なるデータストレージ並びに
データウェアハウスを所持しており、左記データウェアハウス群の統合を行う事
並びに、粒度の細かいデータまで分析を行う事が可能なデータストレージ基盤
が必要とされておりました。

■データストレージを導入にあたっての考慮事項
・データ統合を行うに当たり柔軟にストレージの拡張を行える事
・費用対効果が高い事
・プロジェクトの成長に対しストレージ容量の耐用性を持つ事
・試験的にMySQLおよびPostgresDBでのプロジェクトを稼働していたので、テストプロジェクトの
環境に対し親和性の高いソリューションである事

■導入効果:
Infobrightの検証を行い処理速度の向上を確認する事が出来たこと
および、データの圧縮技術により、高価なストレージの購入が必要になる
状況を回避できた事により、以下効果を確認できました。

・不必要な出費を行わなくて済んだ事
・管理者層のメンバーが必要になる詳細レベルのデータまでストレスなく出力可能な事
・すぐには大量データ(50T~)に対応した製品の導入を行う必要がなく不確定要素の多い
投資を行わずに済んだこと。

ウェブ版

PDF版
http://infobright.org/images/com_images/bluefin.pdf

Infobrightは商用オープンソースDWHとなりますので、費用対効果の高さは高くご期待頂けるかと思います。

また製品の運用保守費用を含め、社内環境でご使用のRDBの性能に悩まれている
ご担当者様は一度弊社まで直接ご相談いただければ早急に課題解決を行える可能性が非常に
高いかと思いますので、こちらからご相談下さい。

☆Have a business insight from lightning data analysis ☆
KSKソリューションズ DWHチーム
弊社では、オープンソースBIソリューション「Pentaho」、 オープンソースBAソリューション「RapidMiner」を顧客様にご提供させて頂いております。
中でも低価格、低レイテンシで、なおかつ管理コストをかけずに大量データの分析を行いたい、
分析結果を迅速に表示したいと言う顧客様のご要望に対しInfobrightのご紹介をさせて頂いております。

今回のブログではカナダのInfobirght社が公表しております、海外でInfobrightをご導入頂いております海外企業様の事例をご紹介したく思います。

■顧客様名:英GeoPost UK社様(http://www.geopostuk.com/

■顧客様の企業情報
英GeoPostUK社様はヨーロッパ配達業界の中で第2位のシェアを誇り130部署、従業員数約4000名にて小売り業およびオンライン小売り業向けにもビジネスを展開しております。

■導入背景:
もともと同社の管理層はExcelでの帳票管理を行っており、管理方法、帳票形式が統一されて
おらず、ビジネス規模の拡大に伴う変化に対応する事が困難になってきました。

ビジネス規模の拡大に対する対応の一環として、まず初めに社内情報管理フローの見直しを行い、結果、ビジネス上の成果を拡大する為には粒度の細かいレベルのデータを分析する
必要があると判断しました。
次のステップとして、様々なBIベンダ社に相談を行い、各ベンダの提案を吟味しましたが、
費用対効果の面で、同企業の経営層を満足させる決定打が出ませんでした。

そこで同社の上記、戦略システムに対する要件をオープンソース製品に絞りました。

■データストレージを導入にあたっての考慮事項
・費用対効果の高さ
・詳細データの分析まで行える検索機能およびレスポンスの速さ

■導入効果:
予算の4分の1の費用で社内戦略システムの構築を行う事が可能になり、
バックエンドにInfobrightを設置する事により、詳細情報の取得を迅速に行える
システム構築に成功し、費用対効果の面でも非常に満足いく結果となりました。

英語表記になりますが、本ブログで記載いたしましたケーススタディの典拠元は
以下のURLにてご確認いただけますので、ご興味のある方は参照ください。

ウェブ版

PDF版

Infobrightは商用オープンソースDWHとなりますので、費用対効果の高さは高くご期待頂けるかと思います。

また製品の運用保守費用を含め、社内環境でご使用のRDBの性能に悩まれている
ご担当者様は一度弊社まで直接ご相談いただければ早急に課題解決を行える可能性が非常に
高いかと思いますので、こちらからご相談下さい。

☆Have a business insight from lightning data analysis ☆
KSKソリューションズ DWHチーム
先週の話ですが、新BIシステム構築検討中というお客様先に初訪問させて頂きました。
初回にもかかわらずエンドユーザー部門とIT部門双方から出席者がいらっしゃり、BI成功のポイントを1つクリアされていると感じました。

更にInfobrightに関しては無償版でテストを実施済で、データ圧縮率と検索速度の成果を拝見させて頂きました。  (以下は弊社テスト例です)
KSKIB.jpg

ユーザーが直接触れるBIフロントツールの部分は既存の各種システム、レポートとの兼ね合いやユーザー部門の声もあるので刷新する場合は現実的には2-3カ月以上かかりますが、データベースはバックで動くものなのでIT部門による事前テストがOKであればユーザーに影響を与えることなく入れ替えが可能です。

情報システム責任者の方も心得ていらっしゃり、弊社ご訪問でサポート体制の確認をされた後InfobrightEEの導入を進めていただけることになりました。

正確かつ迅速なビジネス上の意思決定を支援するDWH/BIシステムですが、以下の条件を備えた企業様は必ずやシステム構築全体も成功されると思います。

1.ビジネス上の意思決定を迅速に行う社風、プロジェクト責任者の意志
2.エンドユーザー部門の強い関与
3.検索レスポンスが数秒以内であること(自由検索、OLAP分析)

製品選定には価格性能比の極めて高いInfobrightをぜひご検討下さい。
★Have a good performance RDBMS★
KSK Solutions, Infobright Team

中でも低価格、低レイテンシで、なおかつ管理コストをかけずに大量データの分析を行いたい、
分析結果を迅速に表示したいと言う顧客様のご要望に対しInfobrightのご紹介をさせて頂いております。

今回のブログではカナダのInfobirght社が公表しております、海外でInfobrightをご導入頂いております海外企業様の事例をご紹介したく思います。

■顧客様名:英IMImobile社様(http://www.imimobile.com/

■顧客様の企業情報
英IMImobile社様は英国を拠点とし情報分析サービスのパイオニアとして事業展開されている企業様で分析サービスの対象分野は、携帯電話事業者様の業務情報、メディア情報を展開されている企業様のサービス情報等、商用データを対象とされビジネスを展開されております。

同社の分析サービスは、アジア、ヨーロッパ、ラテンアメリカ、中近東、アフリカと
世界的に展開されており、同社が提供するサービス基盤が利用されている国数は合計70ヶ国
月単位のトランザクション数は4000万トランザクション、商用ライセンス利用数は7億8000万
と非常に大規模な展開を行っております。

■導入背景:

ビジネスの成長に伴いを導入していった様々なシステムプラットフォーム※1の統合が必要になり、

費用対効果が高いデータストレージの導入を考察していました。

またデータストレージを利用した詳細な顧客データの分析も同時に行う事が可能な製品が製品選定の基準となっておりました。

※個別に導入していったモバイル広告、マーケティングツール、顧客情報管理、市場データ集計、メッセージ配信、モバイルアプリケーション配信、通話回線管理等を行うシステム群が提供する各プラットフォーム

■データストレージを導入にあたっての考慮事項
・統合プラットフォームとして使用できる大量データが保持可能なアーキテクチャ
・費用対効果の高さ
・詳細データの分析まで行える検索機能およびレスポンスの速さ

■導入効果:
大量データを扱う各システムの共通データ保持基盤にInfobrightを導入し、
それぞれ独立していたプラットフォームを統合する事により、分析対象データの
リアルタイム性および、同社サービスの利用者の詳細データを一つのプラットフォーム上で
管理し、利用者の要望に対しより迅速に反応する事が可能になり売上向上に結びつく結果となりました。

英語表記になりますが、本ブログで記載いたしましたケーススタディの典拠元は
以下のURLにてご確認いただけますので、ご興味のある方は参照ください。

ウェブ版

PDF版
http://infobright.org/images/com_images/imimobile.pdf

データウェアハウスの基盤と汎用性が高い製品となりますので、社内分析システムの基盤としての利用だけではなく社外向けシステムのデータストレージ基盤としても十分ご利用になって頂けるかと思います。

また製品の費用対効果、運用保守費用を含め、社内環境でご使用のRDBの性能に悩まれている
ご担当者様は一度弊社まで直接ご相談いただければ早急に課題解決を行える可能性が非常に
高いかと思いますので、こちらからご相談下さい。

☆Have a business insight from lightning data analysis ☆
KSKソリューションズ DWHチーム
弊社では、オープンソースBIソリューション「Pentaho」オープンソースBAソリューション「RapidMiner」を顧客様にご提供させて頂いておりますが、
低価格、低レイテンシで、なおかつ管理コストをかけずに大量データの分析結果を表示を行いたい
と言う顧客様にInfobrightのご紹介をさせて頂いております。

今回のブログではカナダのInfobirght社が公表しております、海外でInfobrightをご導入頂いております海外企業様の事例をご紹介したく思います。

■顧客様名:
Sulake社様 (http://www.sulake.com/)

■事業内容:
同社は、ソーシャルエンターテインメント会社として、主に若者向けにソーシャルゲームやソーシャルコミュニティを提供しています。
主なプロダクトとして、「Habbo(ハボ)」と呼ばれるものがあり、これは、世界最大の仮想世界とオンラインコミュニティを顧客に提供するものです。
Habboではこれまでに1億1千700万以上のHabboキャラクターが作られており、1040万人のユニークユーザが毎月アクセスしています。
またHabboコミュニティは、6大陸約32カ国に存在しています。

■導入背景:
同社が重点を置いていることは、最も魅力的なソーシャルエンターテインメントソリューションを顧客に提供することです。
しかしHabboには6大陸約32カ国から毎月1000万を超えるユニークユーザが訪れており、その地域社会ごとに必要としているものを理解するためには、毎日大量のデータを分析する必要がありました。
また、同社の環境は、常に非常に速いペースで変化しており、毎月プロダクトへの大幅なアップグレードを行っています。そのようなペースでの開発を成功させるには、アップグレードのフィードバックを24時間以内に得ることが必要不可欠でした。

■24時間以内にアップグレードのフィードバックを得るにあたっての考慮事項
・分析処理のための待機時間を減らすことにより生産性を向上させる事
・サーバとそのデータ量の増加に必要なストレージインフラストラクチャの量を削減できる事

■導入効果:
Infobrightは、同社が必要としていた機能と必要な性能を、低い総コストで提供しました。
Linux、MySQL、Javaのツール群に基づき、既存のインフラストラクチャに容易に適合できたことで、Infobrightの導入検証から数週間後には、最初のデータセットを分析し始めることが可能でした。
明らかに分析処理に要する時間が短縮され、チームの生産性向上、地域社会のニーズに素早く対応する事が可能となりました。
また、今まで必要とされていたハードウェア要件が劇的に低減されました。

英語表記になりますが、本ブログで記載いたしましたケーススタディの典拠元は
以下のURLにてご確認いただけますので、ご興味のある方は参照ください。

ウェブ版

PDF版

また製品の費用対効果、運用保守費用を含め、社内環境でご使用のRDBの性能に悩まれている
ご担当者様は一度弊社まで直接ご相談いただければ早急に課題解決を行える可能性が非常に
高いかと思いますので、こちらからご相談下さい。

☆Have a lightning data analysis☆
KSKソリューションズ DWHチーム

弊社では、オープンソースBIソリューション「Pentaho」、 オープンソースBAソリューション「RapidMiner」を顧客様にご提供させて頂いておりますが、
低価格、低レイテンシで、なおかつ管理コストをかけずに大量データの分析結果を表示を行いたい
と言う顧客様にInfobrightのご紹介をさせて頂いております。

今回のブログではカナダのInfobirght社が公表しております、海外でInfobrightをご導入頂いております海外企業様の事例をご紹介したく思います。

■顧客様名:
米Xerox社様 (http://www.xerox.com/)

■導入背景:
エンド顧客様に対し、よりよいサービスの提供の為に
エンド顧客情報を分析し分析結果よりビジネスインサイトを取得する事が必要なっており
左記取組の一環として社内用分析データウェアハウスの処理速度改善が必要になっていました。
従来のシステムでは、上記分析を行う為には、複数のデータストレージから情報を収集し、
毎回データ統合を行う必要があり、これらをアウトソースにより対応していました。

しかし、新規に分析の切り口を策定し分析を行う場合、分析を行うまでのリードタイム(数週間)
が長く掛りすぎる事と、アウトソースを行うには追加コストが掛ると言う問題で
従来のシステム構成およびビジネスフローでは、迅速に顧客情報からビジネスインサイトを
取得する事は困難になっていました。
また、従来のシステム構成では定型データの参照のみが定型帳票経由が可能で、
蓄積しているデータに対し自由に検索を行えないという問題も同時に抱えておりました。

このような状況の中、容易に運用管理が可能で複数のデータソースからのデータ統合が
行えるソリューションが必要とされていました。

■データストレージを導入にあたっての考慮事項
・他のデータソースからデータロードを容易かつ迅速に行える事
・運用保守にコストが掛らない
・自由型検索を行える機能

■導入効果:
従来のシステムからの移行に、プロジェクト開始(DWHの要件定義および設計)から計6週間で
要件を満たす分析データウェアハウスの構築を行い、Infobrightの商用利用が開始されました。

従来のシステムからの移行に当って実装は滞りなく行われ、BIフロントからの自由型検索にも
対応を行えるようになり、当初の目的である、顧客様の情報を分析する事による、
より良いビジネスインサイトの取得が可能になりました。

また、システム運用保守でも追加で社内リソースを確保する必要が無く、
社内にて管理・新規分析データの追加まで行う事が可能になりました。

英語表記になりますが、本ブログで記載いたしましたケーススタディの典拠元は
以下のURLにてご確認いただけますので、ご興味のある方は参照ください。

ウェブ版

PDF版

また製品の費用対効果、運用保守費用を含め、社内環境でご使用のRDBの性能に悩まれている
ご担当者様は一度弊社まで直接ご相談いただければ早急に課題解決を行える可能性が非常に
高いかと思いますので、こちらからご相談下さい。

☆Have a business insight from lightning data analysis ☆
KSKソリューションズ DWHチーム
弊社では、オープンソースBIソリューション「Pentaho」を顧客様にご提供させて頂いておりますが、
低価格、低レイテンシで、なおかつ管理コストをかけずに大量データの分析結果を表示を行いたい
と言う顧客様にInfobrightのご紹介をさせて頂いております。

今回のブログではカナダのInfobirght社が公表しております、海外でInfobrightをご導入頂いております海外企業様の事例をご紹介したく思います。

■顧客様名:
米Yahoo!社様 (http://www.yahoo.com/)

■導入背景:
同社がご提供されているサービスの一つである、課金型インターネット広告の
価格モデルの策定を行う為に、大量データを粒度が細かいレベル(インプレッション数、サービス閲覧者様のサイト内行動データ等の多岐に渡る属性データ単位)にて分析する必要があります。

上記分析を行う同社のPYM部署(Pricing and Yield Management Team:価格および需要予測管理部署)では、広告費用の適正価格を設定する為に大量データに対し粒度の細かい分析が
必要でしたが、Infobright導入前の環境で保有しているデータベースは、従来の行指向型RDBしかなく、費用面および性能面で過去30日分の予め集計加工されたデータのみ分析材料として利用可能である、制限された環境下におけるデータ分析を余儀なくされていました。

■サービスの精度向上およびデータストレージを導入にあたっての考慮事項
・サーバの筐体をなるべく変更せずに大量データを扱うことが出来るアーキテクチュア
(履歴データを現状のサマライズされた過去30日分から過去6か月分のRawデータまで保持可能なストレージを提供するアーキテクチュア)
・低レイテンシでなおかつ自由に検索クエリを発行できる機能
・ハードウェアコストの削減(ディスクの増設は避けたい)
・容易に管理を行える事、なおかつ管理コストがかからない事

■導入効果:
Infobrightの導入により、上記必要要件をすべて満すことが可能になった事

※Infobrightにより分析に必要な6テラバイトのデータが600ギガバイトまで圧縮

英語表記になりますが、本ブログで記載いたしましたケーススタディの典拠元は
以下のURLにてご確認いただけますので、ご興味のある方は参照ください。

ウェブ版

PDF版

また製品の費用対効果を含め、社内環境でご使用のRDBの性能に悩まれているご担当者様は
一度弊社まで直接ご相談いただければ早急に課題解決を行える可能性が非常に高いかと
思いますので、こちらからご相談下さい。

☆Have a lightning data analysis ☆
KSKソリューションズ DWHチーム