マジセミドライブ

ウェビナー関連のニュースやITサービス&ツールの最新情報を随時配信します。

OSS情報

2020.01.01

【OSS情報アーカイブ】Norikra

【OSS情報アーカイブ】Norikra

※当記事に記載されている情報は、古くなっている場合があります。オフィシャルサイトで最新情報をご確認ください。

「Norikra」とは

基本情報

概要

Norikra(ノリクラ)とは、ストリームデータ処理エンジンです。リアルタイムイベントストリームデータに対して、SQLライク言語でスキーマレスなデータ処理が可能です。手軽に利用できる点が特徴です。

基本説明

Norikraは、ログなどのストリームデータをSQLライク言語で検索/抽出するためのストリームエンジンです。JSON形式データに対してリアルタイムでデータ処理を行います。

NorikraはJRubyで実装されています。JRubyであるため、マルチプロセス稼働が可能です。バックエンドエンジンには、SQLライクにストリーム処理を行えるJavaライブラリ「Esper」が使用されています。

「ユーザフレンドリーなストリーム処理」を標榜しています。同様なストリーム基盤である「Apache Spark」「Apache Storm」に比べて、非常に手軽に使える点が特徴です。簡単にクエリ追加/削除を行えます。

使用例

使用例(1)
アクセスログ(Nginx、Apacheなど)をNorikraに流し込み、「n分あたりのアクセス数」「n分あたりのレスポンスタイム」をリアルタイムに集計します。

使用例(2)
「Elasticsearch + kibana + fluentd + Norikra + Zabbix」でログをリアルタイム可視化します。あらかじめ、Norikraでデータ集計して無駄なものを省いておくことにより、解析コストを抑えられます。Zabbix連携により、検出/解析/通知までの一連の流れを自動化できます。

使用例(3)
不特定多数のクライアントからAPIが呼び出される環境において、各クライアントのアクセス頻度/レスポンス内容を確認するために、Norikraでクライアント別ステータスコードを集計し、kibanaでリアルタイムに可視化します。

使用例(4)
OpenStackが出力する大量のログをNorikraのSQLストリーミング解析にかけることにより、ログ量の傾向から攻撃/障害/故障の検出を行います。

主な特徴

スキーマレス

事前スキーマ定義は必要なく、NorikraにJSON形式データを送れば自動的にスキーマを作成します。データ型の明示的指定も可能です。

クエリ

Norikraは、「EPL」というSQLライククエリで処理を記述できます。データの集計/検索/結合/サブクエリなどをSQLのように記述できます。

クエリウィンドウ

Norikraのクエリでは、「ウィンドウ」という対象範囲指定が可能です。

ストリームで流れてくるデータ範囲を「ウィンドウ」として定義できます。「現在からの時間」「現在からの個数」「単位時間ごと」などの定義ができます。

期間ごとにデータを切り出して集計できます。

fluentdプラグイン

fluentdプラグインが用意されています。fluentd経由でデータを吸い上げて集計できます。

WebUI

WebUIが用意されています。クエリ作成/クエリ動作確認/結果確認などが行えます。サービス再起動なしでクエリを変更できます。

同様製品(概要情報)

同様な機能を提供する製品として、次のようなものがあります。

オープンソース製品:「Apache Spark」「Apache Storm」など。

導入事例

「メルカリ」「KAYAC」「Gunosy」などでの導入事例があります。

ライセンス情報

Norikraのライセンスは、「GNU General Public License v2」です。このライセンスに従うことを条件として、ソースコードの改変と公開が許可されています。

ダウンロード

ダウンロードページ

※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。

この記事のタグ一覧

おすすめの記事

経営活動に活用できる 原価管理 を実現するには? 〜製造業の現実的な課題に向き合い、現場視点から改善する原価管理手法の必達プロセスをご紹介〜

ウェビナーまとめ

2024.05.15

経営活動に活用できる 原価管理 を実現するには? 〜製造業の現実的な課題に向き合い、現場視点から改善する原価管理手法の必達プロセスをご紹介〜

2024年3月12日に三菱電機ITソリューションズ株式会社とアットストリームパートナーズ合同会社の共催で、組立加工製造業向けのセミナー「なぜか高くなる原価を管理する 不確実性の時代を乗り切るためのコスト戦略とは」が開催されました。本セミナーでは、製造業における原価管理の現状と改善手法について深く掘り下げ、経営活動への具体的な活用方法を提示しました。今回は、その講演の要点をお伝えします。

【OSS情報】LLMトレーニング用ライブラリ「 GPT-NeoX 」📚

OSS情報

2024.07.18

【OSS情報】LLMトレーニング用ライブラリ「 GPT-NeoX 」📚

「 GPT-NeoX 」は、GPU上で大規模言語モデル(LLM)を効率的にトレーニングするためのライブラリです。NVIDIAのモデルを基に独自の最適化が加えられ、オートレグレッシブ言語モデルのトレーニング手法を集約しています。

【OSS情報】WebベースAPI開発スイート「 Hoppscotch 」🌐

OSS情報

2024.07.04

【OSS情報】WebベースAPI開発スイート「 Hoppscotch 」🌐

「 Hoppscotch 」は、オープンソースのAPI開発エコシステムで、使いやすさとアクセシビリティを重視した軽量なWebベースのスイートです。無料版と有料版があり、PostmanやInsomniaの代替として利用可能です。