TOP /  ビッグデータ/BI /  【無料】IoTデータ分析分析ハンズオンセミナー(奈良)

【無料】IoTデータ分析分析ハンズオンセミナー(奈良) | ビッグデータ/BI

講演資料を見るには、プライバシーポリシーに同意して、送付先メールアドレスをご入力しご請求ください。

メールアドレス


法人様向けの資料のため、フリーアドレスをご利用の場合は、会社名、お名前を入力してください。
会社名
お名前

IoTデータ分析ハンズオンセミナー 株式会社KSKアナリティクス データアナリスト 足立 悠 本日のアジェンダ  はじめに  IoT時代のデータ活用  ハンズオン  次のステップへ向けてはじめに KSKアナリティクスとは 株式会社KSKアナリティクス(KSK Analytics, Inc.) 「データ」を価値ある「情報」へ。 “先進的なオープンソースで、お客様のビジネスの成功を支援します。” 事業概要 1.アナリティクス・ソフトウェア事業: オープンソースを中心としたデータ分析・活用ソフトウェアの販売、サポート等の提供。 BI DWH プランニング データマイニング 分析基盤 2.アナリティクス・サービス事業: Hadoopやアナリティクスツールなど複数のオープンソースを組合せた分析サービスの提供。 アジャイル型 データサイエンスチーム ビッグデータ分析基盤 オープンソース データ分析サービス 育成支援サービス 構築サービス 分析トレーニングサービス KSK Analytics, Inc 世界標準のOSSを日本へ導入 日本発のOSSを世界へ展開 オープンソースBI/BAを専門とする 日本で『 唯一 』のベンダー 講師紹介 足立 悠 技術本部 プロフェッショナルサービスG データアナリスト テキストマイニングに関する案件を中心に手掛ける 大学院博士課程にてソーシャルネットワーク分析の研究に従事 略歴: 大手電機メーカー、事業会社を経てKSKアナリティクスへ入社。社内のデータ活用推 進者として、マーケティング戦略、業務改善に関するデータ分析業務に携わる。特に、 テキストマイニング、オープンデータの活用、GISによる可視化を得意とする。また、 最近は、IoT分野のデータ活用に取り組み始める。 経験プロジェクト: ・大手化粧品メーカー 大規模口コミデータのテキストマイニングによる製品開発支援 ・大手メーカー SNSデータ分析、GIS可視化による新規開拓支援 ・大手オフィス用品メーカー 顧客クレーム分析による生産管理改善支援 ・大手消費財メーカー 営業フェーズ、日報分析による営業活動効率化支援 KSK Analytics, Inc 本セミナーで目指すもの 本セミナーのねらい ・製造業で使えるデータ活用の一部(入門の 入門)を知っていただきます。 ・オープンソースを使って手軽に、 簡単に分析できることをご体験いただきます。 ※本日使用する分析ソフトと作成するプロセスは、セミナー終了後も無 料で継続利用できます!セミナー終了時に詳細をご案内します。IoT時代のデータ活用 IoT時代のデータ活用 あなたは半導体メーカーに勤務しています。 ある日上司に呼び出され「IoTの時代なので、社 内に蓄積されたデータを分析して、何ができそうか 報告するように」言われました。 IoTという言葉、成功事例を何となく 聞いたことがあるものの、何から手を 付ければ良いか分かりません・・・。 あなた IoTとは Internet of Th(モノのインターネット) IoTのコンセプトは自動車、家電、ロボット、 施設など、あらゆるモノがインターネットにつな がり、情報のやり取りをすることで、モノのデー タ化やそれに基づく自動化等が進展し、新たな付 加価値を生み出すというものである。 http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h27/html/nc254110.html IoTとは ~今後ますます普及! インターネットにつながるモノ 分野・用途別の (IoTデバイス)の数 IoTデバイス数及び成長性 総務省,平成27年版情報通信白書ICT化の進展がもたらす経済構造の変化, http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h27/html/nc254110.html KSK Analytics, Inc IoTとは ~今後ますます普及! ネットワークを介して 大量のデバイスに備えられた センサから情報を収集 ビッグデータ ネットワーク接続機器数の 分野別予測 総務省,平成27年版情報通信白ICT化の進展がもたらす経済構造の変化, http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h27/html/nc254110.html KSK Analytics, Inc IoTとは ~適用例 IoTの適用分野の例 米Verizonの M2M接続数の増加率 (2014年/2013年) 総務省,平成27年版情報通信白書ICT化の進展がもたらす経済構造の変化, http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h27/html/nc254130.html KSK Analytics, Inc IoTとは ~適用例(産業) 産業向けIoT製品・取り組み事例 総務省,平成27年版情報通信白書ICT化の進展がもたらす経済構造の変化, http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h27/html/nc254130.html KSK Analytics, Inc データマイニング ~定義 (大量の)データを分析して、 ビジネスに使える知識を発見すること データ 整形・加工 モデル作成・評価 本日のハンズオン データマイニング ~データ 数値データ ・売上データ ・在庫データ ・顧客データ ・購買履歴データ ・センサデータ ・・・など ※テキストデータの場合は「テキストマイニング」と呼ばれる データマイニング ~整形・加工 前処理(ETL) ・Extract 外部の情報源からデータを抽出 ・Transformation 抽出したデータを必要に応じて変換・加工 ・Load ターゲットへ変換・加工済みのデータをロード ※BIで使われることが多い用語だが、 データマイニングにも当てはまる。 データマイニング ~モデル作成・評価 主な手法 ・回帰分析 データから実数値を予測 ・クラスタリング データをグループ化 ・クラス分類 データが属するカテゴリの予測 ・頻出パターン抽出 データから頻出する組合せを発見 分析ツール 過去1年間でデータマイニングに利用した ソフト/ツールは何ですか? http://www.kdnuggets.com/polls/2015/analytics-data-mining-data-science-software-used.html, 分析ツール ~RapidMiner http://www.rapidminer.jp http://www.slideshare.net/ossanalytics/rapidminer-29517687 分析ツール ~RapidMiner 無料で利用することが出来るため、 ビジネス・アカデミックを問わず強力に支援分析ツール ~RapidMiner 豊富な分析アルゴリズム に加え、モデル評価や データ加工(ETL)など 幅広い機能を保有 分析ツール ~RapidMiner 他のオープンソースも活用できるため、 さらに幅広いアルゴリズムで分析可能 パッケージ数6,000以上 最先端アルゴリズムも多い 追加モデル数、約100個 これらはRapidMinerでエクステンション(無料)を インストールして頂くことでご利用できます分析ツール ~RapidMiner エクステンション(無 料)は、リコメンデー ションや、時系列分析、 Webマイニングなどに も対応分析ツール ~RapidMiner 強力なビジュアライゼーション により、データから視覚的に関 連性や仮説を発見 分析ツール ~RapidMiner 高度な分析もノンプログラミングで簡単操作 プログラムと Data と 向き合う時間 < 向き合う時間ハンズオン 演習1 いろいろと分析ツールを調べた結果、オープンソ ースでコストがかからず、GUIで分析できるソフト 「RapidMiner」を使ってみることにしました。 とりあえず、このソフトで何ができそう か、手を動かして試してみることにしました。 あなた 演習1 RapidMinerを起動してみましょう。 1.デスクトップのショートカットをダブルクリックします。 2.Continue using ‘Starter’ をクリックします。 ※無料版(Starter)は利用できる最大メモリが1GBです。 演習1 画面の種類と説明 ウィザード:4つのビジネスケースを想定した デモ分析を体験できる 結果:デザイン画面で構築した分析プロセスの 実行結果を確認できる デザイン:分析プロセスを構築できる ホーム:RapidMiner起動時、最初に表示される画面 演習1 日本語環境へ変更 「Tools」→「Preferences…」 「en」から「ja」に変更して RapidMinerを再起動 演習1 データを読み込んでみましょう。 ③「実行」ボタン をクリック。 ②プロセス画面にドロップし、 「res」へ線を引き、 ①Samples – data の 「Iris」をドラッグし、 演習1 実行結果 統計情報 データ一覧 演習1 実行結果 ヒストグラム 散布図 演習2 RapidMinerで何ができそうか少しずつ見 えてきたので、次は機械の稼働データを使っ て、どのようなことが分かるか分析してみる ことにしました。 RapidMinerの使い方をブログに連載中! http://www.blog.rapidminer.jp/ あなた 演習2 train.csv を読み込んでみましょう。 ①検索ボックスに 「read」と入力し、 ③「設定ウィザードインポート」 をクリックします。 ②「Read CSV」をドラッグして、 デザイン画面へ配置します。 演習2 3-2. 区切り文字を 「カンマ」に設定し、次へ。 3-1. iot-handson – data フォルダの train.csv を選択し、次へ。 KSK Analytics, Inc 演習2 3-3.何も変更せず、次へ。 3-4. 「Machine_ID」項目の役割を「id」、 「Failure」項目の役割を「label」 に変更し、終了! 演習2 相関係数を計算しましょう。 ④検索ボックスに 「correlation」と入力し、 ⑤「Correlation Matrix」デザイン画面に配置し、 resポートへ線をつなぎ、 をドラッグして、 「実行」をクリックします。 予知保全 予知保全(Predictive Maintenance)とは 設備管理・保全の方式のひとつで、設備を診断 し、性能の低下や劣化状況をもとに保全活動を行 うこと。 従来の定期保全、予防保全、事後保全(故障し てからの修理)とは異なり、設備の劣化を見逃さ ずに正確に把握できることが重要になる。 http://www.monosiri.jp/term/%E4%BA%88%E7%9F%A5%E4%BF%9D%E5%85%A8 予測モデル 機械の稼働データのうち、正常/故障が わかっている正解データに機械学習の手法 を用いモデルを作成し、 ⇒ 教師あり学習で予測モデルを作成 未判別データに適用して正解を予測。 ⇒ 予測モデル適用 教師あり学習 - Wikipedia, https://ja.wikipedia.org/wiki/%E6%95%99%E5%B8%AB%E3%81%82%E3%82%8A%E5%AD%A6%E7%BF%92 k近傍法 k近傍法(k-Nearest Neighbors algorithm)とは ある未分類の新規データを、分類済みの近傍数k のデータを使って分類する手法。 k-NN法とも呼ばれる。 k=5 ※多数決投票 ? ※「近傍」は距離関数により定義 k=1 k近傍法 ユークリッド距離(Euclidean distance)とは 距離関数の1つ。2点を直線で結んだときの直 線の長さにあたる。 y q 例:2点 p と q の距離 2 2 (qx px) (q y p y p x 演習3 機械の故障データ(過去の履歴)を使い、 現状は正常稼働しているが将来的に故障 しそうな機械を見分ける分析を行うことに しました。 あなた データセット1 機械の稼働データ 正常/故障データ(train.csv) 「正解」列 (正常:no、故障:yes) ※RapidMinerでは「label」の役未判別データ(test.csv) 演習3 【 本演習のゴール 】 1.train.csv(演習2で読込済)から、k-NNモ デルを作成します。 2.test.csv を読み込みます。 3.1で作成したモデルを2のデータに適用し、 未判別データの正常/故障を予測します。 演習3 【 完成プロセス 】 演習3 k-NNモデルを作成します。 ①検索ボックスに 「k-nn」と入力し、 ②「k-NN」をドラッグして、 デザイン画面へ配置します。 ③右側のパラメータビューで、 「k=7」に設定します。 演習3 test.csv を読み込みます。 ④検索ボックスに 「read」と入力し、 ⑥演習2と同じ手順で、 ⑤「Read CSV」をドラッグして、 「設定ウイザードインポート」 デザイン画面へ配置します。 から、test.csvを読み込みます。 演習3 作成したk-NNモデルにtest.csvデータを適用します。 ⑦検索ボックスに ⑧「Apply Model」をドラッグし 「apply」と入力し、 て、デザイン画面へ配置します。 ⑨図のように線をつないで 「実行」します。 予知保全 Accelerator:Predictive Maintenance 予知保全のチュートリアルを操作してみましょう。 1.「Use demo data」をクリックします。 2.「Take me to the results」をクリックします。 3.結果画面を確認します。 4.結果画面右下「Show the process」をクリックします。 5.プロセス画面の各オペレータを確認します。 ※演習3はこれの簡易版です。 異常検知 3つの異常検知(Anomaly Detection) ・外れ値検出 (Outlier Detection) ・変化点検出 (Change-Point Detection) ・異常行動検出 (Abnormal Behavior Detection) 異常検知 何に活用できるか? ・故障検知 ・障害予兆の検出 ・不正検出 ・侵入者検知 ・スパムメール検知 ・・・など データセット2 (ある機械で製造された)製品の品質データ quality.csv 異常検知 不良 件数 このあたりからの 累積は見逃せない!? 時間 外れ値検出 外れ値検出(Outlier Detection)とは データセットにおいて、他のデータと比較して 値が外れているデータを検出すること。 外れ値 演習4 製品の品質データのうち、不良件数が急激 に増加している期間のデータを抽出し、その 時に何が起こっているかを知りたいと考えま した。そこでまず、外れ値を検出して みることにしました。 あなた 演習4 【 本演習のゴール 】 1.quality.xlsx を読み込み、実行します。 2.欠損値を処理します。 3.外れ値を検出します。 4.時間の変数を除外します。 5.再度、外れ値を検出します。 演習4 【 完成プロセス 】 演習4 quality.xlsx を読み込みます。 ①検索ボックスに 「read」と入力し、 ②「Read Excel」をドラッグして、 デザイン画面へ配置します。 ③右側のパラメータビュー 「設定ウィザードインポート」 で、ファイル読み込み設定します。 ※演習2参照 KSK Analytics, Inc 演習4 欠損値をゼロ埋めで処理します。 ⑤検索ボックスに 「replace」と入力し、 ⑥「Replace Missing Values」 をドラッグして、デザイン画面へ 配置します。 ⑦右側のパラメータビューで、 「default」を「zero」に選択します。 実行して、欠損値が無いことを確認します。 演習4 外れ値を検出(距離ベース)します。 ⑧検索ボックスに 「outlier」と入力し、 ⑨「Detect Outlier (Distance)」を ドラッグして、デザイン画面へ配置します。 演習4 「Select Attributes」オペレータを接続。 ⑩検索ボックスに 「select a」と入力し、 ⑪「Select Attributes」をドラッグして、 デザイン画面へ配置します。 演習4 右側のパラメータビューで設定します。 ⑫「subset」を選択して、 「属性選択」をクリックします。 ⑭「invert selections」に チェックを入れます。 ⑬「Time」を選択して、 右側に移動します。 変化点検出 変化点検出 (Change-Point Dとはection) 時系列データセットにおいて、値の急激な変化 を検出すること。 変化点 デモ あなたは、製品の不良件数が一定数に達す る手前で、その兆候を検出できないか試して みることにしました。 あなた デモ 急激な変化 (傾き大きい)を検知 val:不良件数 cf:変化スコア次のステップへ向けて 更なる課題 信頼度をそのまま信用して良いのか? ・作成したモデル自体の精度は評価できているか? また、どのように評価するべきか? ・モデル作成にはすべての説明変数を使う べきか?また、絞り込む基準は? ・・・など 更なる課題 欠損値の補間方法は正しかったか? ・今回は欠損値を「ゼロ」で埋めたが、最適な補間 方法であったか? ・すべての値の平均値を使ってはどうか? 他にどのような補間方法があるか? ・・・など 更なる課題 なぜ外れ値を検出できるようになったか? ・時間属性の尺度は? ・変数ごとに尺度(スケール)が違うが、 合わせなくて良いのか?どの手法を 使えばいいのか? ・・・など データサイエンスチームへの データ分析支援サービス このような課題を持たれている方にオススメです ・ データサイエンスチームの分析成果が生まれにくい ・ チームとして早期に分析スキルを得たい ・ データ分析で取り組む課題が明確になっていない ・ 分析ソフトは出来るだけコストをかけたくない ※「オフショア分析」はじめました(より低価格でご提供できます)! http://www.offshore-bunseki.com スケジュールの一例 7ヶ月目 1ヶ月目 2ヶ月目3ヶ月目 4ヶ月目 5ヶ月目 6ヶ月目 〜 定例ミーティング 分析項目のリスト化 優先順位検討 分析トレーニング 反復型の分析 スケジュール項目は大きく「定例ミーティング」、「反復型の分析」、「ト レーニング」の3つに分けられます。 定例ミーティングは2週間に一回のミーティングで、分析結果を共有するもの です。貴社の分析者のみならず「ビジネス価値」を判断できる方の参加をお願い しております。定例ミーティングでは、その次の2週間でどのようなことに取り 組むのかを決めます。 また、プロジェクトの前半で分析トレーニング(RapidMiner、NYSOL)の受 講をお奨めしております。これらを受講頂くことで後のスキルトランスファーで の効果が発揮されるものと考えております。 KSK Analytics, Inc RapidMinerトレーニング 対象者 ビジネスユーザー、データサイエンスチーム 形式 オープンコースあるいはお客さま指定日(2日間、あるいは4日間) こんな方に RapidMinerの使い方・機能について素早く理解したい オススメ RapidMinerを使用した予測モデルの作成や評価を行いたい RapidMinerを使用した高度な予測分析手法を学びたい RapidMinerで相関ルール作成やマーケットバスケット分析を行いたい RapidMinerで顧客のセグメンテーション、クラスター分析を行いたい 価格 ・ご参加費用(オープンコース): (税別)/1名当り(1パート) Regular(1日前まで)225,000円 Early Bird(21日前まで)200,000円 DUO(2コース連続受講)185,000円 定員 1名~5名まで ※RapidMinerの無料版のご利用を検討されている方にもオススメのトレーニングです。 ※オープンコース http://www.rapid-i-partner.jp/service/training/training.html#rapidminer_basic KSK Analytics, Inc 無料セミナー1 ビジネスデータ分析ハンズオンセミナー オープンソース分析ソフト3製品(RapidMiner、NYSOL、 R(Revolution R))を使ったハンズオンセミナーです。 現場で陥りがちなポイント「分析あるある」を交え、実践 的な分析方法、進め方をご紹介します。 弊社大阪/東京オフィスにて定期開催中! ⇒ http://www.ksk-anl.com/#!event/ce1u 無料セミナー2 テキスト分析ハンズオンセミナー オープンソース分析ソフト2製品(RapidMiner、NYSOL) を使った、テキスト分析ハンズオンセミナーです。 テキストマイニングの基礎、分析の進め方、現場でよく使 う手法などをご紹介します。 弊社大阪/東京オフィスにて定期開催中! ⇒ http://www.ksk-anl.com/#!event/ce1u 事例1 センサーログからの事前故障予測~大手医療機器製造会社 ビジネス課題 機器から送付されてくる様々なセンサーデータから、機器 のメンテナンス必要時期と交換が必要パーツを予測したい。 不必要な訪問やパーツ交換を省いてコストを削減したい。 アナリティクスによる問題解決 •過去2年蓄積分のセンサーデータの分析、属 性の絞り込み、関連性をモデル化。 機器内の •予測モデルの作成とレポーティングにより、 各種センサー メンテナンス担当者への自動通知。 データ •さらに、予測レポート結果のフィードバック モデリング予測レポート を取り込むことで、より予測精度の向上を継 続的に高めていくように仕組みを作成。 フィードバック KSK Analytics, Inc 事例2 統計的モデルによるCase Studyーカー ビジネス課題 サプライチェーンにおける流通在庫を最適化したい。タイム リーな需要予測により、多様な製品にかかわる部品在庫を削 減したい。部品ごとのリードタイムに応じて、安全在庫を設 定したい。 アナリティクスによる問題解決 •月次の売上数量をトレンドと季節傾向に分解 し、モデル式を作成。将来12ヶ月間の月別 の売上を予測。 •予測は製品の発売前から適用可能に、機種別、 過去の出荷 製品別など任意の単位で予測可能に。 実績データ •予測モデルをパラメータ化、モデル作成時の 予測モデル予測数量 SCMシステム 傾向が持続しないと予想される場合があるた め 実績データの蓄積に応じて予測を更新可 能に。 KSK Analytics, Inc 事例3 会員データ分析による顧客離反防止~大手プロバイダー ビジネス課題 提供サービスの解約率を低減したい。何が解約率に大きな インパクトを与えるのかを明確にしたい。中長期のマーケ ティング施策の論拠がほしい。 アナリティクスによる問題解決 •ヒアリングにより分析要件を決定して、必要 なデータを収集、クレンジングし、ETLツール でデータマートを構築。 •データをチャートおよびテーブルでビジュア 会員属性データ ビジュアル化 ル化、顕著な傾向を把握できる。クラスター 分析にて、顧客のセグメントを明確化。 使用履歴データ クラスター分析 •さらなるクレンジングを繰返し、決定木モデ ポイント履歴 分析データマート ルよりルールを可視化。(ポイント使用した アンケートデータ 顧客は2か月以内に退会可能性が極めて高い 決定木分析 etc) KSK Analytics, Inc 事例4 商品推薦システム(リコメンデーション)と 大手通信会社~法人営業部門 購買予算額の予測 ビジネス課題 どの顧客へのどの商品を提案するのか?どのような企業であれ ば商品を購入する可能性が高いのか?など営業担当でも認識は 様々。企業にノウハウが蓄積されておらず営業戦略が策定でき ない アナリティクスによる問題解決 •顧客が過去に購入した商品や順番、組み合わ せから、推薦すると購入確率の高い商品の上 位の商品をリスト化して担当営業に配布。 (リコメンデーション) 予算額の予測 営業日報 •社外の企業データを購入し、企業の業種、規 (Salesforce) 模、そして過去の購買傾向などから、年間の 営業データマート 予算額を予測。予測をするのにどのような変 企業データ 商品推薦 数が有効であるのか、またどの顧客に注力し 購買履歴データ (リコメンデーション) て営業活動を行うべきか、など明確になった。 企業データマート KSK Analytics, Inc Analytics News http://analytics-news.jp/ RapidMinerダウンロード こちらをクリック! http://www.rapidminer.jp/download/software/ RapidMinerセットアップ http://www.rapidminer.jp/download/jadocument/ 御社でお持ちの データ活用をご支援します。 お問い合わせはこちらまで 株式会社KSKアナリティクス www.ksk-asales@ksk-anl.com KSK Analytics, Inc

IT業界の改革にご協力いただけませんか?

本サイトは、株式会社オープンソース活用研究所がプロデュースする、中小IT企業による”本気”の情報提供セミナー「マジセミ」の結果レポートページです。「マジセミ」は、次を目的として活動しています。

我々はITエンジニアが、今よりももっと「誇り」と「喜び」をもって仕事をし、今よりももっと企業や社会に貢献できる、そんなIT業界を創りたいと考えています。

そのためには、技術をもった中小のIT企業がもっと元気になる必要がある。その為には、技術をもった中小のIT企業を、もっと皆様に知って頂く必要がある、と考えました。

株式会社オープンソース活用研究所
代表取締役所長 寺田雄一

本当かウソか、あなたが見極めてください。

もし、我々のこの活動にご賛同していただけるのであれば、ぜひ下のセミナーに参加してください。

「なんだ、結局ただの売り込みセミナーじゃないか」

もしそう感じたら、アンケートなり、あなたのFacebookなりに、そのままお書き頂き、拡散して頂いて構いません。

参加者からのお褒めの言葉、お叱りの言葉が、我々中小IT企業を成長させ、それが日本のIT業界を変えていくのだと、強く確信しています。

あなたの行動が、日本のIT業界を変えるのです。

日程を確認していただき、ご興味のあるセミナータイトルをクリックしてください。

「マジセミ」のFacebookページ

今後のセミナー情報などを提供させていただきたますので、「マジセミ」のFacebookページに「いいね!」をお願いします。

日本のIT業界を変えるためのアクション、ありがとうございました!