Infobrightではデータを迅速にロードする為にバルクローダを提供していますが、
本ブログでは、データ挿入方法および各ローダの特性、並びに商用・コミュニティ版
における差異について記述を行いたく思います。
典拠元URL：
Infobright Data Lading Guide (2011/11/15)
■データ挿入方法
1． INSERT構文発行によるデータ挿入（商用版のみ対応）
特徴：データを圧縮しながらのデータ挿入なので、トランザクション形式での
データ挿入は処理速度が遅くなる。
2．MySQLローダ（商用版のみ対応）
特徴：平分データおよびデリミッタが対象となりデータのロード速度は
INSERT構文の発行時と比較した場合は速度が向上する。
Infobrightでは以下コマンドの発行により本ローダの使用が可能になる。
> SET @bh_dataformat='mysql;
3．ETLツールを使用したデータ挿入（商用版およびコミュニティ版に対応）
バイナリ形式のInfobrightローダにも対応し直接データソースにアクセスを行う事が
可能になるが、コネクタの用意が必要になる。
4．Infobrightローダ：テキストデータ形式 （商用版およびコミュニティ版に対応）
平分データの読み込みを行いデータを挿入する。サポートするシンタックスを減少させる
事で上記3項より処理速度の向上が可能だが以下に注意事項※1を列挙します。
※1注意事項
・整形された平分データが必要になる。
・DATE型フィールドでは「yyyy-MM-dd」形式のみ使用が可能である。
・DATETIME型およびTIMESTAMP型フィールドでは「YYYY-MM-DD HH:mm:ss」形式
のみのサポートとなり、時間は24時間ベースでの記述が必要になる。（AM/PM形式には対応していない。）
Infobrightでは以下コマンドの発行により本ローダの使用が可能になる。
> SET @bh_dataformat='txt_variable';
5．Infobrightローダ（バイナリデータ形式）
Infobrightローダ：テキストデータ形式と比較した場合、約2倍の速度で
データのロードを行う事が可能になる。
Infobrightでは以下コマンドの発行により本ローダの使用が可能になる。
> SET @bh_dataformat='binary';
以下データ形式に対応
今回はデータ投入機能の比較を行いましたが、サービスを運用保守面まで想定した場合、
商用版Infobrightの導入を推奨させていただいております。
またInfobrightは商用オープンソースDWHとなりますので、費用対効果の高さはご期待頂けるかと思います。
DWH構築用ソフトウェアのご検討を頂く材料として、商用版Infobrightの詳細説明が
必要なご担当者様は一度弊社まで直接ご相談いただければ有益な情報提供が可能かと
思いますので、是非一度こちらからご相談下さい。
☆Have a low latency with IEE ☆
KSKソリューションズ DWHチーム
コメントする