製品紹介の最近のブログ記事

先日Infobright社よりIEE 4.8.0がリリースされました。

IEE 4.8.0にはメモリ管理や関数の扱いなどの内部処理に対する改修が多く
含まれますが、目に見える大きな変更点としては以下の3点が挙げられます。

- Infobrightライセンス
これまで、IEEを利用するのにライセンスファイルは必要ありませんでしたが、
4.8.0からは契約時にInfobright社から提供されるライセンスファイルを登録
しないとご利用頂けなくなりました。

- ファイル、パラメーター、エンジンの名称
IEEが利用する多くのファイル名、パラメーター名、それらの設定箇所が変更されました。
また、これまでIEEは「brighthouse」という独自のエンジンを使用していましたが、
この名称は4.8.0より「infobright」へと変更されました。

- ログの強化
以前のバージョンでは、ログはbrighthouse.logとbh.errに出力されていましたが、
4.8.0からこれらのログはローテーション機能を持った「infobright.log」に出力
されるようになりました。
また、パフォーマンスの調査に有効なFET(Function Execution Time)ログも追加されました。

これらの変更に関する詳細はInfobright社から提供されているUser GuideとRelease Noteに
記載されています。弊社からもIEE 4.8.0の体験版と共に日本語化した各ドキュメントを
ご提供しておりますので、よろしければこちらからお申込みください。

★Have a nice open source day★
KSK Analytics Infobright Team
Infobright Community Edition(ICE)は無償でダウンロードし無期限で利用できるInfobrightです。
弊社にお問い合わせを頂き、ご訪問すると既に本番業務で使われているお客様も時々いらっしゃいます。
infobright.org-logo.jpg
データが1/10-1/50程度に圧縮され、高速レスポンスが得られることに満足されているようです。

ただ、やはりいざという時はサポートが必要になり、弊社にお問い合わせを頂くようになります。

残念ながらICEのサポートは弊社ではお受けできませんが、IEE(Infobright Enterprise Edition)への移行はスムースです。

ただ一度無償版を入れてしまうと、社内で追加コストの稟議を通すことが困難になるケースもあるかと思いますので、初めからIEEをご利用頂くことをお奨めします。
IEEの体験版もご利用頂けますので、こちらのフォームからご依頼下さい。

ICEとIEEの機能の違いはこちらに記述があります。

★Have a nice big data solution★
KSK Analytics Infobright Team

================================================================
株式会社KSKアナリティクス
Infobright Enterprise Edition 4.7.1がリリースされました。

今回のリリースには以下のような修正と改良が含まれます。

  • パフォーマンスの向上: ジョインやソートにおける並列処理の割合の増加、より効率的なアルゴリズム、異なる方法で構築されたクエリー間の一貫性を向上、クエリーの同時実行の改良
  • メモリー管理の改良: メモリーの利用効率を向上、メモリーリークに対処、処理に必要なメモリー容量の削減。
  • クエリー精度、構文、ファンクション: クエリーが誤った結果を返す問題を解決、IEE の結果フォーマットと MySQL/Postgre の結果フォーマットの一貫性の向上、IEE でサポートされるクエリー/関数の増加。(処理がネイティブエンジン(MySQL や Postgres)に切り替わる頻度が少なくなります)
  • インポート/エクスポート、DLP: DLP のインポートにおけるエラーや誤ったファイルが作成される問題を解決、テーブルスキーマの変更を管理する方法を改良
  • 異常終了に対処: 異常終了を引き起こす可能性のあるコーナーケースを修正
  • インストールと設定: インストール、設定における改良

また、これまでのIEEはMySQLベース(IEE MySQL Edition)のみのリリースでしたが、PostgreSQLベース(IEE Postgres Edition)が追加され、PostgreSQLユーザーにもご利用頂き易い製品となっています。
現バージョンのIEE Postgres Editionはバージョンアップに対応していない為、実用的ではないかもしれませんが、今後のリリースではバージョンアップにも対応予定なので、IEE Postgres Editionの使用をお考えの方は4.7.1でご評価頂き、バージョンアップ対応後に実際の運用にご使用頂くのが良いかもしれません。

★Have a nice open source day★
KSK Analytics Infobright Team

IEE(Infobright Enterprise Edition)はMySQLのステートメントベースのレプリケーションをサポートしており、マスター/スレーブとマスター/複数スレーブのどちらの構成でも実装頂けます。

レプリケーションには以下のような利点があります。

スケールアウト:
複数のスレーブに対して同時にロードを行う事ができるのでパフォーマンスが向上します。

高可用性と冗長性:
すべてのスレーブにデータベースをコピーします。

データセキュリティーとバックアップ:
スレーブでバックアップサービスが実行中の場合にはレプリケーション処理を一時停止します。

レプリケーションを実装するにはマスターとスレーブのmy-ib.cnfを以下のように編集します。

1. マスターのmy-ib.cnfの[mysqld]セクションに以下の行を追加します。

server-id=1
log-bin=mysql-bin
binlog-format=statement
relay-log=bh-relay-bin
relay-log-index=bh-relay-bin.index

2. スレーブのmy-ib.cnfの[mysqld]セクションに以下の行を追加します。

server-id=<slave id>
master-host=<master ip>
master-port=5029
master-user=<master user>
master-password=<master password>
master-connect-retry=60

3. スレーブに追加したオプションの設定値を以下のように編集します。

<slave id> - インスタンスのid(ユニークな値)
<master ip> - マスターのipアドレス、またはホスト名
<master user> - マスターのレプリケーション権限を持ったユーザーid
<master password> - <master user>のパスワード

初期のIEE(Infobright Enterprise Edition)はロードプロセスを1つのトランザクションとして扱っていた為、
入力データに1行でも誤りがあれば、すべてのロードが失敗していました。

最新版のIEEはいくつかのオプションを設定する事で、ロード時のエラーを行レベルで扱えるようになったので、エラー行を除いて正しい定義の行のみをロードしたり、エラー行が多すぎる場合に処理を停止させるという事が行えるようになりました。

除外されたエラー行はファイルシステム上の'reject file.'へ移動されるので、この機能を使用するにはデータロード前に@BH_REJECT_FILE_PATH変数を設定する必要があります。

set @BH_REJECT_FILE_PATH = '/tmp/reject_file';
load data infile DATAFILE.csv into table T;

ユーザーは指定したエラー行の行数、割合で処理を停止させる事ができます。

a. 処理を停止しない場合は @BH_ABORT_ON_COUNT = -1 を設定します。

b. エラー行の割合で処理を停止させるには以下のように設定します。
/** エラー行が全体の3%に達すると処理を停止 **/
set @BH_ABORT_ON_THRESHOLD = 0.03;

c. エラー行の行数で処理を停止させるには以下のように設定します。
/** エラー行の行数が50行に達すると処理を停止します。 **/
set @BH_ABORT_ON_COUNT = 50;

また、以下のように設定すると、機能を無効に設定する事ができます。

 /** Disable the reject file feature **/
set @BH_REJECT_FILE_PATH = NULL;
set @BH_ABORT_ON_COUNT = NULL;


Infobrightの高速検索機能としてRough Queryがあります。
データ精度とのトレードオフが発生しますが、ラフな結果でよい場合に全件検索をせずに高速にレスポンスを返すことが可能です。

TPC-Hのlineitemテーブル600万件のデータで試してみました。

roughquery.jpg
通常の検索では2.7秒かかったところ、0.001秒未満になりました。

Infobrightの数値を含む列では64K単位でディスク上にデータを圧縮保存しますが、データロード時にメモリ上に1024の区画を設定し、(最大値-最小値)/1024で範囲指定し64K毎の1ブロック内に該当データがあるかないかのフラグを持ちます。このメモリ上の構造を利用してディスクアクセスせずに結果を返すのがRoughQueryです。

使い方は簡単でselect文に roughlyという予約語を追加したSQL構文になります。

厳密な数値でなく傾向がわかればよい場合に有効ですので、お試し下さい。
★Please try Rough Query★
KSK Analytics Infobright Team




Infobright4.5を手元の環境にインストール(既存の4.0.7からバージョンアップ)してみました。


リリースノートにサポート環境や実行時の注意点、修正された問題と既知の問題(Known Issues)の一覧などが記述されていますので、まず目を通します。
infobright45releasenote.jpg

インストールは実行プログラム(Windows64bitの場合infobright-4.5.0-0-win_64-iee.exe)をクリックするだけです。今回から新たにInfobrightMigratorが追加され、自動実行されます。
infobright-migrator.jpg

私の環境は正規サポートではないWindows7Pro(64bit)ですが、WindowsServerとバイナリ互換も高いので試用程度はできました。
今回のバージョンでは安定性が向上し、インストレーションは5分もかかりませんでしたので、従来のバージョンをご利用の皆様はぜひお試しください。

体験版(フル機能、30日間限定)も準備中ですので、こちらからお申込み下さい。

★Have a nice new version of Inforbright Enterprise Edition★
KSK Analytics Infobright Team
5月晴れの気持ちのよい日にはお昼は屋外でお弁当を食べることも多い私ですが、皆様いかがお過ごしでしょうか?

表記件につきまして、弊社ホームページ上に比較表がありますが、ご質問をいただきましたので以下に追記をしました。
ICEvsIEE.jpg

1. DMLサポート(INSERT、UPDATE、DELETE)
  Community版ではデータの入力はLOAD文のみとなり、
  削除はDROP TABLE(全件一括削除)となります。更新はできません。
  Enterprise版ではすべて可能です。
2. ALTER TABLEサポート
  Community版では一度作成したテーブルの変更はできません。
  DROP TABLEして新規作成することになります。
  Enterprise版ではALTER TABLEが可能です。
3. Temp tableサポート
  Community版では一時テーブルの使用はできません。
  Enterprise版では利用可能です。
4. 300GB/hr(4table)サポート、5. マルチスレッドローダー
    Community版ではローダーはシングルスレッドで動作します。
  このためEnterprise版では数倍高速にロード処理が完了します。

Community版(コミュニティ版、Community  Edition,ICEも同じものです)は業務利用では使いにくい(又は使えない)と思いますし、弊社サポートも有効ですのでぜひEnterprise版をご検討下さい。

評価版もご利用できますのでご依頼はこちらからお願い致します。

★Please download Infobright EE trial now★
KSK Analytics Infobright Team

Infobrightはとてもシンプルなデータベースで、標準UIはMySQLそのものです。
infobrightcommandUI.jpg

コマンドラインは苦手という方には、別途インストールする必要はありますが、無償で入手できるMySQLWorkBenchがお奨めです。
mysqlworkbench.jpg
以下からダウンロードしてインストールできます。
http://www.mysql.com/downloads/workbench/

Webブラウザ環境からアクセスしたい場合、以前ご紹介したphpMyAdminが利用できます。
PHPmyadmin.jpg

InfobrightはMySQL互換のため、MySQLに接続可能な各種BI製品からもアクセスできます。
ぜひこちらからダウンロード依頼頂き、お試し下さい。

★Have a nice DB front tool★
KSK Analytics Infobright Team

先日Infobright社と電話会議があり、アプライアンス製品Infoprianceの追加情報を入手しましたのでご紹介致します。

性能はInfobrightEnterpriseEditionの数倍
価格帯は大手ベンダー製品の数分の一
管理の手間が最小限
  クラスタ化されバックアップ、フェールオーバーなどもオールインワン事前設定済で提供
  容量追加もライセンスキーの入れ替えのみ(初期出荷状態でハードディスクはフルにビルトイン)
infopriance.jpg

Infobright社のテストラボを利用して事前パフォーマンス検証も可能ですので、Infobright単体よりも大容量大規模のDWHが必要な方はぜひお問い合わせ下さい。

★Have a nice DWH appliance★
KSK Analytics Infobright Team