TOP /  IoT /  IoT時代を支える、高速大量データ処理技術に関する勉強会 ~500億台からの膨大なリクエストを、どう高速にアルタムで処理するか/MQTTの紹介と分散KVSの応用~

IoT時代を支える、高速大量データ処理技術に関する勉強会 ~500億台からの膨大なリクエストを、どう高速にアルタムで処理するか/MQTTの紹介と分散KVSの応用~ | IoT

講演資料を見るには、プライバシーポリシーに同意して、送付先メールアドレスをご入力しご請求ください。

メールアドレス


法人様向けの資料のため、フリーアドレスをご利用の場合は、会社名、お名前を入力してください。
会社名
お名前

IoT時代を支える、 高捠大挪データ 技術に 勉強会 する 500億デバイスからの膨大なリクエストを どう高捠にリアルタイムで するか MQTTの紹介と分散KVSの 2014/12/10 用 かもめエンジニアリング株式会社 Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. 0 今日お話しする主な事柄 IoT(Internet of Things)をめ る IoT時代を支えるプロトコル「MQTT」とは IoTにおける性能問題と、分散KVSの かもめ「KFEP」の実績とIoTへの応用 Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. 用 “IoT”をめ る 1 インターネットに接続するモノの多様化 PC、携帯、スマートフォン ウエアラブル機器、各種家電 業機 、 監視カメラ、セキュリティ装置 工場、発電設備 農業プラント/センサー インフラ施設/センサー 製造物、農作物 Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. 2 “IoT”をめ る Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. 2 3 “IoT”をめ る Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. 3 4 “IoT”をめ る Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. 4 5 “IoT”をめ る Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. 5 6 “IoT”をめ る Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. 6 7 “IoT”をめ 2020 る 7 でに、 バイスは 大な数になると 「250億」 (ガートナー ) http://monoist.atmarkit.co.jp/mn/articles/1411/14/news139.html 「500億」 (エリクソンWebサイトより) バイス ンター する大 の情報を、どのように する デバイスの高スペックは望めない 通信は、非拤に大挪に 「MQTT などの Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. われる プロトコルに 目 る 8 IoT時代を支えるプロトコル「MQTT」とは 1 IoT(M2M)の実現を目的としたプロトコル IBM社とEurotech社のメンバーにより考案 シンプル、 、 ヘッダサイズが小さい — HTTP:50バイト MQTT:2バイト トラフィックが(HTTPに比べて)10分の1 な 合にも適する(QoS) 非同期のPublish/Subscribe型通信により、 “相手が読めるときに読む“方式 クライアント(デバイス)障害時などに、“遺言”を送信可能 Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. 9 2 IoT時代を支えるプロトコル「MQTT」とは 基本的なしくみ Subscriber (受信側) Publisher (送信側) ( Broker サーバ) Subscriber (受信側) Subscriber (受信側) Publisher/Subscriberは、同一デバイス上で兼任できる(実装による) Broker ⇔ Broker で通信のブリッジも可能(実装による) Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. 10 3 IoT時代を支えるプロトコル「MQTT」とは 用 Broker Publisher / Subscriber Publisher / Subscriber Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. Broker Publisher / Subscriber Publisher / Subscriber Publisher / Subscriber 11 IoT時代を支えるプロトコル「MQTT」とは 4 増加する実 Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. 12 IoT時代を支えるプロトコル「MQTT」とは 5 増加する実 Paho IBM社とEurotech社のメンバーにより開発・寄贈 Mosquitto オープンソースのMQTTフレームワーク Intel超小型コンピュータ「Edison」にも 組み込まれている Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. 13 IoT時代を支えるプロトコル「MQTT」とは 6 増加する実 HiveMQ ドイツで開発されたMQTTブローカー Akane 国内ベンダ開発のMQTTブローカー Facebook Messenger にも採用 「1個1個が小さく」「大挪の」データを 「低遅延」「双方向」で通信 ⇒大規模チャットシステムの基盤として有効 Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. 14 過去の勉強会でこんな声をいただきました。 「“認証” を考えるのって、 結局後回しになってしまって充分な検討が できないんですよね。 それで今、困ってるんです。」 Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. IoTのセンターサーバを考える 1 IoTの世界では・・・ 膨大なデバイス 大挪の通信 ▼▼▼▼▼ サーバ側の負荷は、ケタ違いに増大する サービスやアプリケーションが充実すればするほど、 サーバ側がボトルネックになりやすい あらかじめ考慮しておかないと、あとからの入替/改修は 手間・コストとも嵩みやすい Message Sight を導入すれば解決?? Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. 16 2 IoTのセンターサーバを考える 負荷の増大に う サーバ側増 の 1/2 DB Broker Broker ひとつのBrokerに Broker Broker Broker Broker が スケールアップにより対応 Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. Brokerをスケールアウトして負荷分散を 図るが、今 は 後のDBの負荷が上がる 17 3 IoTのセンターサーバを考える 負荷の増大に う サーバ側増 の DB DB ? 2/2 DB Broker Broker Broker Broker Broker Broker Broker Broker DBのスケールアップにより対応 DBを分割して負荷分散を図るが Brokerの振分けやDB間の同期などに課題 Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. 18 4 IoTのセンターサーバを考える 分散KVSの 用により、負荷分散と ブローカー⇔分散KVS DB 分散・共有 分散 KVS Broker 分散 KVS Broker を実現 分散 KVS Broker 分散 KVS Broker ブローカーの問い合わせ先を 分散KVSにすることで 性能を拡張しやすくする 分散KVS⇔DB 永続化が必要な情報を 適宜DBに書き込むことで 担保する どのデバイスからの通信を どのブローカーが受けても 接続情報は共有される Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. 19 5 IoTのセンターサーバを考える 認証の大 に 用 る分散KVS(現 での ) Yahoo! JAPAN ID NoSQL分散KVS「Riak」を採用 KFEPの (後述) Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. 20 分散KVSの一捁 ─ 当社製品「KFEPケイフェップ」 1 統合認証基盤システムとして採用多数 大手モバイルキャリア A社さま スマートフォン、フィーチャーフォンのサービス 用者認証(約20万ユーザ) データ通信用 拢向けのサービス 用者認証(約500万ユーザ) 大手モバイルキャリア B社さま スマートフォン、フィーチャーフォンの 用者認証 用 捵拻 (約4,000万ユーザ) モバイルキャリアとの 携による 用 捵拻 システム向け システム 大手電機メーカー C社さま 企業向けVPN接続・インターネット接続・モバイル通信サービスなどの共通基盤としての 用者認証 用 捵拻 (企業約5,000社、約1,000万ユーザ) 一般的なAAAサーバが「個 サービスの 用者認証」を うのに対し、 KFEPは「 数サービスの 用 認証の統合 を います。 Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. 21 分散KVSの一捁 ─ 当社製品「KFEPケイフェップ」 2 サービスの付加価値を高めるためにも 企業・ISP向け回線ホールセラー D社さま インターネット上のサイトへの接続 限など な 用 を実現するため、 IPアドレス配 拻 システムを拧 (企業数千社、約100万ユーザ) 大手Webフィルタリングサービス事業者 E社さま より高い のフィルタリングサービスを実現するため、基盤の高捠 (企業数千社) 大手PC周辺機器メーカー 化を担当 F社さま PC周辺機器をインターネット経由で操作するサービスの接続性向上のため、 KNAT(L2GW)と組み合わせ、機器 用者の位置情報拻 システムを実現 Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. 22 分散KVSの一捁 のような ─ 当社製品「KFEPケイフェップ」 の ータ に 3 に適合 1件ごとの データの 短時間での データサイズが 個数、 挪が 大挪の 小さい 大きい が 要求される (数KB 数 KB (数千万 数億件 (数千 数万件 /秒 损 ) 以上) 以上) センサーネットワーク等で扱われる 大挪・ 捠なデータの に最適 Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. 23 分散KVSの一捁 ─ 当社製品「KFEPケイフェップ」 4 段階的な拡張・統合に適合 複数分散配置 による データの 性 の確保 スケールアウト による 性能の向上 複数サービス間 連携を実現 スモールスタートからの拡張が Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. 24 デバイスどうしの通信には・・・ 1 KAMOME IoT Connect ② 認証 接続コントロール KAMOME IoT Server ① 接続リクエスト ③ 接続許可 ♪ 接続相手の位置通知 ♪ KAMOME IoT Module Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. ④ TCP over UDP “ To U ” 通信 KAMOME IoT Module 25 デバイスどうしの通信には・・・ 2 KAMOME IoT Connect インターネットに接続する 回線があれば使用可能 センターが仲介するのは 最初の接続のみ あとは機器どうしが直接通信 独自の TCP over UDP(ToU)技術 を採用 • freeWiFiなどの回線も • センターの帯域確保の • UDPのつながりやすさ 使用でき、通信コスト軽減 コスト軽減 • • センターに通信データが • TCPの汎用性 残らず、事業リスク軽減 用シーンが大きく拡大し、 サービスの質向上に Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. • 接続性が大きく向上します • HTTPに限定されず 捞な通信に 用できます 26 ご清聴/ご高覧くださいまして、まことにありがとうございました。 ご質問、ご相談、詳細説明のご要望などは、どうぞ下記までお寄せください。 お問い合わせ先 かもめエンジニアリング株式会社 営業部 sales@kamome-e.com 03-6420-3177 Copyright© 2008-2014 KAMOME Engineering, Inc. All rights reserved. 27

セミナー全体の評価と、参加者からのコメント

参加者によるこのセミナーの評価は、
4.3 でした!(5点満点中)
セミナー名 IoT時代を支える、高速大量データ処理技術に関する勉強会 ~500億台からの膨大なリクエストを、どう高速にアルタムで処理するか/MQTTの紹介と分散KVSの応用~
講演企業 かもめエンジニアリング株式会社
開催日 2014年12月10日
その他のサービス業 40代 男性 の参加者
IoTで議論されている技術論点がよかった。 DCのあり方の動向まではわからなかった。
IT関連製品販売業・リセラー 30代 男性 の参加者
ディスカッション形式でiotの課題がみれたのが良かった。
SI(システムインテグレータ) 20代 男性 の参加者
オープンソース以外の分散KVSの話を聞くことがないので貴重でした。 MQTTの技術的な詳細と実際の事例が聞けるとよかったです。
NTTソフトウェア 中村秀文さん
いろいろな意見、情報が聞けて参考になりました
マカフィー株式会社 吉野伸彦さん
IoTについて、業界の動向、課題、技術的ポイントなど、たいへん得るところの大きいセミナーでした。ディスカッションも様々な方のお話を伺えてたいへん為になりました。
その他のIT関連業 40代 男性 の参加者
ざっくばらんにお話できた。
テクノロジストコンサルティング 岡崎誠さん
大変夢もある話で面白かったです。 今後も継続してください、
SI(システムインテグレータ) 20代 男性 の参加者
参加型のセミナーで色々な知見を持った方と交流が出来、非常に面白かったです。 また次回、次々回で別テーマで実施する勉強会があれば是非参加させてもらいたいです。

IT業界の改革にご協力いただけませんか?

本サイトは、株式会社オープンソース活用研究所がプロデュースする、中小IT企業による”本気”の情報提供セミナー「マジセミ」の結果レポートページです。「マジセミ」は、次を目的として活動しています。

我々はITエンジニアが、今よりももっと「誇り」と「喜び」をもって仕事をし、今よりももっと企業や社会に貢献できる、そんなIT業界を創りたいと考えています。

そのためには、技術をもった中小のIT企業がもっと元気になる必要がある。その為には、技術をもった中小のIT企業を、もっと皆様に知って頂く必要がある、と考えました。

株式会社オープンソース活用研究所
代表取締役所長 寺田雄一

本当かウソか、あなたが見極めてください。

もし、我々のこの活動にご賛同していただけるのであれば、ぜひ下のセミナーに参加してください。

「なんだ、結局ただの売り込みセミナーじゃないか」

もしそう感じたら、アンケートなり、あなたのFacebookなりに、そのままお書き頂き、拡散して頂いて構いません。

参加者からのお褒めの言葉、お叱りの言葉が、我々中小IT企業を成長させ、それが日本のIT業界を変えていくのだと、強く確信しています。

あなたの行動が、日本のIT業界を変えるのです。

日程を確認していただき、ご興味のあるセミナータイトルをクリックしてください。

「マジセミ」のFacebookページ

今後のセミナー情報などを提供させていただきたますので、「マジセミ」のFacebookページに「いいね!」をお願いします。

セミナー講演企業のFacebookページ

今後のセミナー情報などを提供させていただきたますので、セミナー講演企業のFacebookページに「いいね!」をお願いします。

日本のIT業界を変えるためのアクション、ありがとうございました!