データウェアハウス、データマートで重要なのは検索レスポンスが１０秒以内(3-5秒）になることですが、それ以外にロード時間も大きな要素です。Infobrightもバージョンアップの度にロード処理を高速化させていますので、測定してみました。
いつものようにTPC-Hの構造とデータ生成ツールDBGENを利用し、ORDERSテーブル（注文ファクトテーブル）に約１億件のデータをロードしてみました。
結果は上記のように6分45秒です。
ちなみにDBGENでデータ生成するのに約2時間かかりました。
Infobrightのロードが高速なのはパラレル処理を実施しているためです。
ロード実行中にCPUの動作をtopで見てみると、以下のようになっていました。
CPU使用率が２６５％になっていますが、4コアXeonなので3コア分を使用しているということになります。
圧縮をしながらロードするためI/OだけでなくCPUパワーをフルに使って時間短縮をしています。
お客様によっては数千万件のデータでも朝までに夜間バッチのロードが終わらないためハードに大きなコストをかけて解決をはかったというケースを聞きますが、ぜひInfobrightもご評価いただければと思います。
★Have a nice load performance★
KSKソリューションズ Infobright Team
いつものようにTPC-Hの構造とデータ生成ツールDBGENを利用し、ORDERSテーブル（注文ファクトテーブル）に約１億件のデータをロードしてみました。
結果は上記のように6分45秒です。
ちなみにDBGENでデータ生成するのに約2時間かかりました。
Infobrightのロードが高速なのはパラレル処理を実施しているためです。
ロード実行中にCPUの動作をtopで見てみると、以下のようになっていました。
CPU使用率が２６５％になっていますが、4コアXeonなので3コア分を使用しているということになります。
圧縮をしながらロードするためI/OだけでなくCPUパワーをフルに使って時間短縮をしています。
お客様によっては数千万件のデータでも朝までに夜間バッチのロードが終わらないためハードに大きなコストをかけて解決をはかったというケースを聞きますが、ぜひInfobrightもご評価いただければと思います。
★Have a nice load performance★
KSKソリューションズ Infobright Team
コメントする