TOP /  ビッグデータ/BI /  ビッグデータをリアルタイムに処理するための、Amazon Kinesis、Apache Storm、かもめ GUSTを比較してみました!(リアルタイムデータ処理勉強会)

ビッグデータをリアルタイムに処理するための、Amazon Kinesis、Apache Storm、かもめ GUSTを比較してみました!(リアルタイムデータ処理勉強会) | ビッグデータ/BI

講演資料を見るには、プライバシーポリシーに同意して、送付先メールアドレスをご入力しご請求ください。

メールアドレス


法人様向けの資料のため、フリーアドレスをご利用の場合は、会社名、お名前を入力してください。
会社名
お名前

リアルタイムデータ処理ツール Kinesis、 Stormと比較してみた 大量データは「溜める前に」 すばやく処理して、次のアクションへ かもめエンジニアリング株式会社川村・山口 2015/9/29 かもめエンジニアリング株式会社 目次  今求められる「リアルタイムデータ処理」  『Amazon Kinesis』のおさらい  『Apache Storm』のおさらい  ストリームデータ処理を活用した『GUST』の概要  Kinesis、StormとGUSTとの比較  GUSTの適用可能性 今求められる リアルタイムデータ処理 今求められる「リアルタイムデータ処理」 IoTの普及などにより、 収集されるデータの量は今後も増加の一途 出典… http://www.cisco.com/c/en/us/solutions/collateral/service-provider/visual-networking-index-vni/white_paper_c11-520862.html 今求められる「リアルタイムデータ処理」 収集したデータの活用手法は、大別して2種 「過去の蓄積データを 「今流れているデータを 分析し、 即時に処理し、 有益な情報を得る」 次のアクションへつなぐ」 ここでご紹介する「リアルタイムデータ処理」は コレのことです。 今求められる「リアルタイムデータ処理」 データを「溜めてから」行うバッチ処理では、 次のアクションまでに数時間~数日必要とされる 所要時間 データマート 次の 集計・分析 作成 アクション 今求められる「リアルタイムデータ処理」 データを「溜める前に」リアルタイム処理すれば、 次のアクションまでの時間が大幅短縮 所要時間 急ぐアクションは リアルタイム処理で 時間短縮 データマート 集計・分析 急がない 作成 アクション 今求められる「リアルタイムデータ処理」 「今、すばやく対応したい」ことすべてに有効  人や物の動きを把握して・・・  在庫・物流・人員配置の管理  医療・ヘルスケア分野でのインシデント検知  ターゲティング広告  交通・その他インフラのコントロール など  リスクや予兆を検知して・・・  機器やシステムの故障・異常を事前に予測  不正行為に至るパターンを検知 など リアルタイムデータ処理の基盤として リアルタイムデータ処理の基盤として Amazon Kinesis、Apache Storm等が 注目されています。  かもめの製品『GUST』の競合製品と思われがちな Kinesis、StormとGUSTを比較してみました。 Amazon Kinesisのおさらい Kinesisとは 大量なデータのリアルタイム処理をサポートする AWSのフルマネージド型サービスです  データをバッファリングしておくので、一時的なト ラフィックの増加などに耐えることができます。 Kinesisの基本的な考え方 データ/処理の流れ(例) 適用範囲 リアルタイム データ処理 バッファ 集計 分析 利用 処理 販売 収集 バッファ 分析 利用 処理 販売 バッチ処理  一時的なデータのバッファリング機能 Kinesisの構成要素 Kinesis自体にはデータ処理する機能はない Kinesisの特長 1.AWSのフルマネージド型サービス 2.同じストリームを複数のアプリから利用可能 3.データの保存期間は24時間 4.データの順番が保証されている 5.伸縮自在 6.データ送信・受信用のアプリ開発SDKがある Apache Stormのおさらい Stormとは 大量なデータを高速処理可能な リアルタイム分散処理フレームワークです Stormの基本的な考え方 データ/処理の流れ(例) 適用範囲 リアルタイム データ処理 バッファ 集計 分析 利用 処理 販売  バッファリングされたデータ取得から 収集 集計処理までの処理全体をプログラミング 蓄積 分析 利用 処理 販売 バッチ処理 Stormとは 入力処理から解析、出力処理まで、 自由にプログラミングすることができます ワーカーノード データストア Zookeeper データストア マスターノード Stormの特長 1.分散処理フレームワーク 2.拡張性 3.データ欠損がない事 4.耐障害性 ストリームデータ処理を活用した 『GUST』 の概要 ガ ス ト GUSTとは リアルタイムデータ処理を可能にする ストリーム処理アプリケーションです  あらかじめいくつかのルールエンジンが備わってい るため、プログラミングレスでいろいろなデータを 自動的に処理します。 『GUST』の基本的な考え方 データ/処理の流れ(例) プログラミングレス リアルタイム 適用範囲 データ処理 分析 利用 集計 処理 販売 収集  標準的な処理ルールが搭載  カスタマイズルールの作成も可能 蓄積 分析 利用 処理 販売 バッチ処理 GUSTとは プログラミングレスで設定可能 ・・・ それぞれの処理を行う処理ユニット ※負荷が高い箇所の処理ユニットは スケールアウトにより拡張可能 プログラミングレス GUST 分散処理層 分散ストレージ層 ※保持・共有すべき情報を同期 GUSTの特長 1. 多様なルールエンジンを標準搭載したアプリケー ション 2. オンプレミス・クラウドのどちらにも設置可能 3. 要求性能に応じた処理ユニットのスケールアウトが 可能 4. プログラミングレスで導入が可能 5. カスタマイズによる処理ルール・I/Fの拡張が可能 6. 中継キューとして高速な分散KVSを内蔵 比較 比較 実際にシステムを組むとすると… モデルケースの要件  アプリケーションログを常に監視しつづける。頻繁 に不正アクセスがあった場合にアラートをあげる  アラートは、メールによる通知とBIツールでリアル タイムに監視したい 全体構成と モデルケースのシステムを組むために必要なこと Kinesisを使った全体構成 AWSの他のサービスと組み合わせて使用 解析処理ルールはプログラミングする必要がある データ発生元 traditional sAmazon Kinesis Amazon EC2 BIツール Amazon Redshift Amazon Amazon Amazon SNSemail notification Lambda DynamoDB Lambda Stormを使った全体構成 入出力・解析処理をプログラミングする必要がある データ発生元 traditional server BIツール メール通知 GUSTを使った全体構成 設定ファイルの編集だけで設置可能 ・・・ それぞれの処理を行う処理ユニット データ発生元 GUST traditional server BIツール 分散処理層 分散ストレージ層 ※保持・共有すべき情報を同期 GUSTの設定画面例 ※ 開発中・イメージ MOJULE in out in MOJULE a-1 out in MOJULE a-2 out in MOJULE a-3 out word “Reject” method count up in MOJULE b-1 out in MOJULE b-2 out in MOJULE c-1 out 必要なものの違い (1) Kinesis Storm GUST 設置環境 オンプレミス オンプレミス AWS もしくはクラウド もしくはクラウド ログサーバに ログサーバから ログサーバに (バッファへの) FluentdのKinesisへ登録す データ収集 プラグインを導入 る仕組みを別途用 Syslog転送の設定 (Push方式) 意 をする Kinesis自体がバッッファリング機 バッファ ファの役割。別途 能が別途必要 バッファリング機 用意は不要。 (NoSQLDB等) 能不要 Kinesis Client (バッファから Libraryもしくは任意の言語でプロ Syslog形式で待ち の)データ取得 Node.jsを使ってプラミング 受けするよう設定。 (Pull方式) GUIで設定可能 ログラミング 必要なものの違い (2) Kinesis Storm GUST Kinesis Client 利用する集計ルー Libraryもしくは任意の言語でプロ 集計 - 処理 Node.jsを使ってプ グラミング ルを設定。 ログラミング GUIで設定可能 分散KVSエンジン 集計 - 中継キュー 別途必要 別途必要 を内蔵 Kinesis Client BIツール用データ Libraryもしくは任意の言語でプロ 出力形式・出力先 生成・保存 Node.jsを使ってプ グラミング を設定。GUIで設 定可能 ログラミング メール宛先・本文 メール送信 SNSの設定を行う 任意の言語でプロ を設定。GUIで設 グラミング 定可能 BIツール 別途必要 別途必要 別途必要 GUSTの適用可能性 GUSTの適用可能性 【 適用パターン ❶ 】GUSTを使ったサービス構築 BIツール ダッシュボード Excel Amazon Amazon RedshiS3 Tableau ❶データの SQL、JDBC、ODBC 収集、圧縮 Salesforce DWH API Dr. Sum ❸ アドホック・ データマート作成 Jaspersoft ❷ リアルタイム・データマート作成 Pentaho ❹ リアルタイム・モニタリング BIツール ダッシュボード GUSTの適用可能性 【 適用パターン ❷ 】Kinesisとの連携 Data Mart GUST BIツール 生 デ ー タ GUSTの適用可能性 【 適用パターン ❸ 】Stormとの連携 GUST サービス A Stormを使った アプリケーション storage 1 GUST サーBス storage 2 ありがとうございました ご清聴/ご一読くださいまして、まことにありがとうございました。 ご質問、ご相談、詳細説明のご要望などは、どうぞ下記までお寄せください。 ご連絡先 かもめエンジニアリング株式会社 営業部 sales@kamome-e.com 03-6420-3177 ※ 本資料中にある他社の商標・ロゴ・サービス名等は、当社および当社商品との特別な関係を示唆するものではありません。

セミナー全体の評価と、参加者からのコメント

参加者によるこのセミナーの評価は、
4.0 でした!(5点満点中)
セミナー名 ビッグデータをリアルタイムに処理するための、Amazon Kinesis、Apache Storm、かもめ GUSTを比較してみました!(リアルタイムデータ処理勉強会)
講演企業 かもめエンジニアリング株式会社
開催日 2015年09月29日
SI(システムインテグレータ) 40代 男性 の参加者
来る前はKinesisと競合するものと思っていたが違いを理解できた。 GUSTの長所が理解できた。 トレジャーデータとの協業で彼らのメリットが何なのか(Kinesisもあると思っていたので)を知ることができた。
(株)ユニ・ソリューションズ 田中 忠弘さん
タイムリーな話題でオープン系のツールに比較ということで 専門技術者の話が聞けるという目的で参加しましたが、 実際の開発上の要求などの話もQ/Aがあったりして意義ありでした。 よかった点:タイムリな話題性 悪かった点:具体的絞込み不足
IT関連ソフトウェア製造業 60代以上 男性 の参加者
Apple to orange だが比較は有意義
三井情報株式会社 中島 隆夫さん
やはり比較するとものの本質がわかり易いようです。 ただ、それぞれのコアコンピタンスになっている”仕組み”にもう少し突っ込んでお話されてもよかったのでは。機能要件ではなくて。多少独善になってもいいです。その方が弁証法的に止揚できます。「だったらこういう使い方でこちらの製品でもカバーできるよね!むしろいいのでは?」的な。
IT関連ハードウェア製造業 50代 男性 の参加者
現時点でのリアルな処理構成がわかって大変参考になった。
SI(システムインテグレータ) 50代 男性 の参加者
特定製品に偏ることなく複数の製品、サービスについて比較しておりわかりやすかった。

IT業界の改革にご協力いただけませんか?

本サイトは、株式会社オープンソース活用研究所がプロデュースする、中小IT企業による”本気”の情報提供セミナー「マジセミ」の結果レポートページです。「マジセミ」は、次を目的として活動しています。

我々はITエンジニアが、今よりももっと「誇り」と「喜び」をもって仕事をし、今よりももっと企業や社会に貢献できる、そんなIT業界を創りたいと考えています。

そのためには、技術をもった中小のIT企業がもっと元気になる必要がある。その為には、技術をもった中小のIT企業を、もっと皆様に知って頂く必要がある、と考えました。

株式会社オープンソース活用研究所
代表取締役所長 寺田雄一

本当かウソか、あなたが見極めてください。

もし、我々のこの活動にご賛同していただけるのであれば、ぜひ下のセミナーに参加してください。

「なんだ、結局ただの売り込みセミナーじゃないか」

もしそう感じたら、アンケートなり、あなたのFacebookなりに、そのままお書き頂き、拡散して頂いて構いません。

参加者からのお褒めの言葉、お叱りの言葉が、我々中小IT企業を成長させ、それが日本のIT業界を変えていくのだと、強く確信しています。

あなたの行動が、日本のIT業界を変えるのです。

日程を確認していただき、ご興味のあるセミナータイトルをクリックしてください。

「マジセミ」のFacebookページ

今後のセミナー情報などを提供させていただきたますので、「マジセミ」のFacebookページに「いいね!」をお願いします。

セミナー講演企業のFacebookページ

今後のセミナー情報などを提供させていただきたますので、セミナー講演企業のFacebookページに「いいね!」をお願いします。

日本のIT業界を変えるためのアクション、ありがとうございました!