マジセミドライブ

ウェビナー関連のニュースやITサービス&ツールの最新情報を随時配信します。

OSS情報

2020.01.01

【OSS情報アーカイブ】Apache NiFi

【OSS情報アーカイブ】Apache NiFi

※当記事に記載されている情報は、古くなっている場合があります。オフィシャルサイトで最新情報をご確認ください。

「Apache NiFi」とは

基本情報

概要

Apache NiFi(アパッチナイファイ)とは、データフローオーケストレーションツールです。Webインタフェースでシステム間のデータフロー自動化定義が可能です。IoTデータフローを見据えた双方向性が特徴です。

基本説明

Apache NiFiは、フローベースプログラミングコンセプトでのデータ処理/配信システムです。

スケーラブルデータフローを有向グラフとして定義し、データのルーティング/変換/中間ロジックを組み合わせて定義できます。グラフィカルなWebインタフェース上でストリーム処理データフローの定義/動作を行えます。

データフロー管理自動化のための容易さ/拡張性/信頼性が特徴です。

経緯

米国家安全保障局(NSA)が開発していた「Niagrafiles」がベースになっています。

2014年11月、Apache Software Foundationにオープンソースとして寄贈
2015年7月、ApacheのTopレベルプロジェクトに昇格

主な特徴

WebベースUI

WebベースUIで、データフローの設計/制御/フィードバック/モニタリングの各機能を直感的に操作できます。

フローのリアルタイム反映

WebUI上のデータフローを変更した時点で、変更内容がリアルタイムに反映されます。リアルタイムデータロジスティックスの統合的/インタラクティブな制御が可能です。

設定柔軟性

「信頼性」「速度(低レイテンシ/高スループット)」「動的な優先順位付け」などの調整を柔軟に設定できます。

セキュア

「暗号化方式(SSL/SSH/HTTPSなど)サポート」でアクセス経路の暗号化を行い、「プラガブルロールベース認証/認可」で役割ベースの認証ができるなど、各種セキュア機構を備えています。

可用性

「処理可能な量以上にデータが取得されたケースへの対応」や「システム障害への対応」などにも対策できます。

クラスタリング

複数ノード上にスケールアウトし、性能を高められる構成になっています。シンプルなマスタスレーブクラスタリング構成です。

1ノードのスループットが100MB/sであったとしても、ノードを重ねればGB単位のスループットを達成できます。

ハードウェアリソース

NiFiの設計方針として、動作しているサーバ上の性能を使い切るように作られており、特にCPU/Diskに負荷がかかる処理モデルとなっています。

メッセージの処理保証

メッセージの処理保証は「Content Repository」のWAL方式の出力によって効果的に達成されます。

データフローの最初(データの発生元)から最後までトラッキングし、データフローの一貫した追跡が可能です。コンプライアンス/トラブルシューティング/最適化などに利用できます。

データバッファリング

データのバッファリングをサポートしており、特定容量/保存期間に応じたバックプレッシャーが可能です。

履歴ローリングバッファ

NiFiの「content repository」は履歴のローリングバッファとして動作します。保存期間超過/処理完了時/容量不足時などに削除されます。

拡張性

さまざまな拡張を行えます。高速な開発と容易なテストが可能です。

双方向性

「Apache NiFi」は、双方向/ポイントツーポイントの通信を行う特徴があります。従来型単方向ストリーミング「Apache Storm」「Spark Streaming」とは異なる部分です。

「IoTセンサ同士の通信」などにも対応できるように設計されています。

プロダクト連携

「Apache Hadoop」「Apache Spark」「Apache Storm」「SAP HANA」と連携し保存/分析できます。

「Oracle」「Teradata」「MongoDB」「Apache Hbase」「Apache Cassandra」などにも対応します。

同様製品

同様な機能を提供する製品として、次のようなものがあります。

オープンソース製品:「RapidMiner Studio」「Talend Open Studio」「Pentaho」など。

ライセンス情報

Apache NiFiのライセンスは「Apache License Version 2.0」です。このライセンスに従うことを条件として、ソースコードの改変と公開が許可されています。

ダウンロード

ダウンロードページ

※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。

この記事のタグ一覧

おすすめの記事

【ChatGPT探訪】ビルトイン画像生成AI「 DALL·E 3 」🖼️

ChatGPT探訪

2023.10.27

【ChatGPT探訪】ビルトイン画像生成AI「 DALL·E 3 」🖼️

ChatGPTに統合されている画像生成AI「 DALL·E 3 」について、 いろいろいじりつつ🔍 各種画像生成チェックを実施してみました🎨 商用利用OKの💼 「日常的に使える画像生成ツール」として活用できそう😊 という感じになりました。 Bing経由でも無料で使えるので🆓 試してみてください👍

【ChatGPT探訪】GPT-4V「 画像解析機能 」🔍

ChatGPT探訪

2023.11.10

【ChatGPT探訪】GPT-4V「 画像解析機能 」🔍

ChatGPT4の「 画像解析機能 」について、 画像読み込み機能チェックを実施してみました🔍 「請求書不備チェック」は便利なのですが、 クローズドGPTを使いたくなります🤔 さまざまな用途に活用できる可能性を感じました🌟 いろいろ分析してくれるので、 試してみてください👍

AIツール関連 記事リストポータル

AIツール

2023.10.05

AIツール関連 記事リストポータル

AI 関連の記事をまとめたポータルページです。