基本情報

概要

Apache NiFi(アパッチナイファイ)とは、データフローオーケストレーションツールです。Webインタフェースでシステム間のデータフロー自動化定義が可能です。IoTデータフローを見据えた双方向性が特徴です。

基本説明

Apache NiFiは、フローベースプログラミングコンセプトでのデータ処理/配信システムです。

スケーラブルデータフローを有向グラフとして定義し、データのルーティング/変換/中間ロジックを組み合わせて定義できます。グラフィカルなWebインタフェース上でストリーム処理データフローの定義/動作を行えます。

データフロー管理自動化のための容易さ/拡張性/信頼性が特徴です。

経緯

米国家安全保障局(NSA)が開発していた「Niagrafiles」がベースになっています。

2014年11月、Apache Software Foundationにオープンソースとして寄贈
2015年7月、ApacheのTopレベルプロジェクトに昇格

主な特徴

WebベースUI

WebベースUIで、データフローの設計/制御/フィードバック/モニタリングの各機能を直感的に操作できます。

フローのリアルタイム反映

WebUI上のデータフローを変更した時点で、変更内容がリアルタイムに反映されます。リアルタイムデータロジスティックスの統合的/インタラクティブな制御が可能です。

設定柔軟性

「信頼性」「速度(低レイテンシ/高スループット)」「動的な優先順位付け」などの調整を柔軟に設定できます。

セキュア

「暗号化方式(SSL/SSH/HTTPSなど)サポート」でアクセス経路の暗号化を行い、「プラガブルロールベース認証/認可」で役割ベースの認証ができるなど、各種セキュア機構を備えています。

可用性

「処理可能な量以上にデータが取得されたケースへの対応」や「システム障害への対応」などにも対策できます。

クラスタリング

複数ノード上にスケールアウトし、性能を高められる構成になっています。シンプルなマスタスレーブクラスタリング構成です。

1ノードのスループットが100MB/sであったとしても、ノードを重ねればGB単位のスループットを達成できます。

ハードウェアリソース

NiFiの設計方針として、動作しているサーバ上の性能を使い切るように作られており、特にCPU/Diskに負荷がかかる処理モデルとなっています。

メッセージの処理保証

メッセージの処理保証は「Content Repository」のWAL方式の出力によって効果的に達成されます。

データフローの最初(データの発生元)から最後までトラッキングし、データフローの一貫した追跡が可能です。コンプライアンス/トラブルシューティング/最適化などに利用できます。

データバッファリング

データのバッファリングをサポートしており、特定容量/保存期間に応じたバックプレッシャーが可能です。

履歴ローリングバッファ

NiFiの「content repository」は履歴のローリングバッファとして動作します。保存期間超過/処理完了時/容量不足時などに削除されます。

拡張性

さまざまな拡張を行えます。高速な開発と容易なテストが可能です。

双方向性

「Apache NiFi」は、双方向/ポイントツーポイントの通信を行う特徴があります。従来型単方向ストリーミング「Apache Storm」「Spark Streaming」とは異なる部分です。

「IoTセンサ同士の通信」などにも対応できるように設計されています。

プロダクト連携

「Apache Hadoop」「Apache Spark」「Apache Storm」「SAP HANA」と連携し保存/分析できます。

「Oracle」「Teradata」「MongoDB」「Apache Hbase」「Apache Cassandra」などにも対応します。

同様製品

同様な機能を提供する製品として、次のようなものがあります。

オープンソース製品：「RapidMiner Studio」「Talend Open Studio」「Pentaho」など。

ライセンス情報

Apache NiFiのライセンスは「Apache License Version 2.0」です。このライセンスに従うことを条件として、ソースコードの改変と公開が許可されています。

ダウンロード

ダウンロードページ

※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。