TOP /  運用管理/運用自動化 /  不正調査から障害調査まで、大量のログデータの統合管理をオープンソースで(Graylogの紹介)

不正調査から障害調査まで、大量のログデータの統合管理をオープンソースで(Graylogの紹介) | 運用管理/運用自動化

講演資料を見るには、 プライバシーポリシーに同意して、送付先メールアドレスをご入力しご請求ください。

またご入力いただきました情報は、当該イベントの主催・共催・協賛・講演企業とも共有させていただき、 当社及び各社のサービス、製品、セミナー、イベントなどのご案内に使用させていただきます。

メールアドレス


法人様向けの資料のため、フリーアドレスをご利用の場合は、会社名、お名前を入力してください。
会社名
お名前

Graylogの紹介と事例  (株式会社デージーネット (調整中))

今回ご紹介するのは、オープンソースでありながら本格的な「統合ログ管理」が可能な「Graylog」です。 通信事業者やWebサービス事業者、企業のセキュリティ部門などで注目されています。 本セミナーでは、「Graylog」についてご紹介するとともに、通信事業者などにおける事例についてもご紹介します。

講演資料を見るには、 プライバシーポリシーに同意して、送付先メールアドレスをご入力しご請求ください。

またご入力いただきました情報は、当該イベントの主催・共催・協賛・講演企業とも共有させていただき、 当社及び各社のサービス、製品、セミナー、イベントなどのご案内に使用させていただきます。

メールアドレス


法人様向けの資料のため、フリーアドレスをご利用の場合は、会社名、お名前を入力してください。
会社名
お名前

セミナー全体の評価と、参加者からのコメント

参加者によるこのセミナーの評価は、
3.9 でした!(5点満点中)
セミナー名 不正調査から障害調査まで、大量のログデータの統合管理をオープンソースで(Graylogの紹介)
講演企業 株式会社デージーネット
開催日 2018年08月29日
企業に対してITを提供する企業(ベンダー、SIerなど) 40代 男性 の参加者
オープンソースのログ管理を探していました。ニーズにマッチする製品であり、今後に期待しています。
製造業 50代 男性 の参加者
質問が良かった。知りたいことがわかった。
企業に対してITを提供する企業(ベンダー、SIerなど) 50代 男性 の参加者
コメントなし
流通業(卸売・小売) 50代 男性 の参加者
graylogの強みが何かあまり理解できなかった。
匿名の参加者
コメントなし
その他のIT関連業 40代 男性 の参加者
ビジネス観点と導入事例があるとよかった。
企業に対してITを提供する企業(ベンダー、SIerなど) 40代 男性 の参加者
コメントなし
企業に対してITを提供する企業(ベンダー、SIerなど) 30代 男性 の参加者
Graylogがどういう製品か、確認したいと思ったことはすべて確認できましたので、期待通りとさせていただきます。
その他のIT関連業 40代 男性 の参加者
コメントなし
その他のIT関連業 20代 男性 の参加者
コメントなし
匿名の参加者
コメントなし
企業に対してITを提供する企業(ベンダー、SIerなど) 30代 男性 の参加者
コメントなし
企業に対してITを提供する企業(ベンダー、SIerなど) 30代 男性 の参加者
コメントなし
GDEPソリューションズ株式会社 山口浩二さん
コメントなし
匿名の参加者
コメントなし

2018年8月29日
不正調査から障害調査まで
大量のログデータの統合管理をオープンソースで
自己紹介
株式会社デージーネット
OSS研究室 森 彰吾
2
株式会社デージーネット
プロフィール
設立
1999年5月
本社
愛知県 名古屋市 名東区
東京営業所 東京都 港区 浜松町
企業理念
より良い技術で、インターネット社会の便利と安心に貢献します。
事業内容
オープンソースソフトウェアを中心としたシステムインテグレーション
専門的技術サービスの提供
(全国のISP、ネットサービス、企業、大学等)
設計、構築、運用、管理、保守まですべてをトータルに提供
書籍の出版
3
書籍出版
4
本セミナーの概要
5
概要
課題
大量のログ・データの収集・解析・管理に関する課題
Graylogの紹介
Graylogの機能と課題の解決
Graylogのユースケース
ファイルサーバの操作ログの収集・検索
システムメトリックス(CPU使用率等)の収集と可視化
DHCPサーバのログ解析
Graylogの課題と改善策
6
大量のログ・データに関する課題
7
ログ・データ管理の課題
ログ・データの収集の課題
様々なプロトコルやフォーマットに対応するのが難しい
例えばSyslogサーバならSyslogのプロトコルしか受け付けない
ログ・データ検索の課題
ログ・データに含まれる特定情報を探すのに時間がかかる
ログ・データ解析の課題
1行のテキストだと、特定の情報を抜き出すのが大変
sshd[15584]: Invalid user user01 from 172.16.20.72 port 59820
sshd[16125]: Invalid user tom from 172.16.20.72 port 58810
sshd[16621]: Invalid user bob from 172.16.20.72 port 43820
特定の情報を抜き出したとしても、統計を取るのも大変
時系列に並べてみてもテキストでは状況がわからない
グラフ化するためにExcelに貼り付けたり、スクリプトを開発したり...
8
ログ・データ管理の課題
ログ・データの管理の課題
ログ・データの保存・ローテーション・削除
テキストのログやデータは管理が比較的楽だが、DBなどに溜まっ
ているものは、ローテーションや削除は難しい場合がある
権限管理の課題
データを活用したい人の立場は様々
システムの管理者
マーケッター
その人の権限によって、見せるデータを制限する必要がある
ログ管理ツールの課題
高機能なツールが存在するが..
1日あたりのデータ量が増えるとライセンス費が高くなったりする
ライセンスの範囲に収まるようにデータ量を抑えるという本末転倒な事
態も発生する
9
ログ・データ管理システムに求められること
10
上手にログ・データを管理するためには
システムに要求される機能
様々なプロトコルでログ・データを収集できること
大量のログ・データを収集できること
制限が無い・ライセンスに縛られない
ログを素早く検索できること
性能だけでなく、条件検索や絞りこみ、条件の保存機能も必要になる
様々なフォーマットのログ・データを解析する仕組みがあること
ログ・データを可視化する仕組みがあること
可視化したグラフの一覧を見るダッシュボードも必要になる
ログ・データの保存・ローテーション・削除ができること
全体削除では困るので、分類して保存する仕組みも必要になる
ユーザの権限管理機能
ユーザ毎にログ・データの参照可否を設定できること
11
Graylogの機能
12
Graylogの概要
Graylogとは
ログやデータの入力・保存・検索・解析をオールインワンで実現し
たオープンソース・ソフトウェア
バックエンドにElasticsearchを利用ことで高速な検索を実現
ソフトウェア情報
開発元: Graylog.inc
ライセンス: GPL v3
ソースリポジトリ: Github(2010年現在)
現行最新バージョン 2.4.6
依存ソフトウェア
Java
Elaticsearch
mongodb
13
Graylogの基本機能:ログの受信
ログの受信から保存までの流れ
Syslogの例
14
Graylogの機能:ログの受信
ログの受信
Graylogは様々なデータソースに対応
Syslog(tcp/udp)
Beats(Elastic社のBeatsファミリーのプロトコルに対応)
FilebeatやMetricbeatなどがOSSとして公開されている
例えばMetricbeatの場合、システムメトリックス(CPU使用率などの情報)を、
外部のシステムに送ることができる
AWS log
Apache Kafka
RawTcp/UDP
GELF over tcp/udp/http
GELF: Graylog Extended Log Format
JSON拡張のGraylog独自フォーマット
これを使えば、基本的にどんなデータでも受け取れる
その他プラグインでデータソースを増やすこともできる
15
Graylogの機能:ログの分解
ログの分解
Extractorと呼ばれる機能でログのフィールド分解が可能
分解することで、特定のフィールドを指定して検索ができるようにな

欲しい情報への到達性が上がる
次のようなExtractorが用意されている
正規表現での抜き出し・置換
JSON形式の読み取り
区切り文字での分解
文字数での抜き出し
Grokパターン
特にGrokパターンが強力
SyslogやApacheなどのよくあるログの形式を抜き出すための、正規表
現のセット
16
Graylogの機能:ログの分解
Grokパターン
17
Graylogの機能:ログの分解
定義済Grokパターンの例
Syslogメッセージ
Aug 20 12:00:01 host01 systemd: this is message.
Grokパターン全体
%{SYSLOGTIMESTAMP:timestamp} %{SYSLOGHOST:logsource} %{SYSLOGPROG}: %{DATA: message}
SYSLOGTIMESTAMPの定義
%{MONTH} +%{MONTHDAY} %{TIME}
MONTHの定義
\b(?:Jan(?:uary|uar)?|Feb(?:ruary|ruar)?|M(?:a|)?r(?:ch|z)?|Apr(?:il)?|Ma(?:y|i)?|Jun(?:e|i)?|Jul(?:y)?|
Aug(?:ust)?|Sep(?:tember)?|O(?:c|k)?t(?:ober)?|Nov(?:ember)?|De(?:c|z)(?:ember)?)\b
18
Graylogの機能:ログの分解
Syslogの分解例
Syslogメッセージ
Aug 20 12:00:01 host01 systemd: this is message.
Grokパターン全体
%{SYSLOGTIMESTAMP:timestamp} %{SYSLOGHOST:logsource} %{SYSLOGPROG}: %{DATA: message}
分解後のフィールド
timestamp: Aug 20 12:00:01
logsource: host01
program: systemd
message: this is message
19
Graylogの機能:Syslog以外の受信例1
様々なログ受信イメージ
Beatsの例
Beatsを使うことで、テキストファイルやシステムメトリックス、Windows
のイベントログも収集することができる
※ BeatsはElastic社が提供するOSS
20
Graylogの機能:Syslog以外の受信例2
様々なログ受信イメージ
データコンバータを利用した例
LogstashやFluentdなどのコンバータとなるソフトウェアと組み合わせ
ると、コンバータが対応しているプロトコルやフォーマットのデータは、全
て収集可能になる
※LogstashはElastic社が提供するOSS
※Fluentdは Cloud Native Computing Foundation (CNCF) が提供するOSS
21
Graylogの機能:ログの検索
ログの検索
期間指定
検索条件呼び出し
検索条件
簡易ヒストグラム
検索条件の保存
表示フィールドの選択
検索結果
22
Graylogの機能:ログの検索
Windowsのイベントログ
23
Graylogの機能:ログの検索
ログの検索条件
キーワードで検索が可能
フィールド名を指定して検索が可能
source: example.org
AND/OR/NOT も利用可能
特殊検索もあり
フィールドの有無で検索⇒ _exists_: field_name
正規表現⇒source:/example.*/
数値の範囲⇒http_response_code:{400 TO 404}
      http_response_code:>400
日時検索
絶対時間(2018年1月から2018年2月まで)
相対時間(現在から1週間前)
キーワード(2 days ago midnight +0900 to 1 days ago)
24
Graylogの機能:ログの可視化
WEBレスポンスタイムの可視化例
チャート図
ダッシュボードへの追加
グラフの変更
グラフの種類選択
25
Graylogの機能:ダッシュボード
ダッシュボード
用途毎にダッシュボードを作って、グラフを保存できる
グラフ作成時の時間条件によって最新のグラフを参照可能
ex) 現在から1日前等
26
Graylogの機能:ログの可視化
その他グラフ
27
Graylogの機能:権限管理
権限管理
参照権限は、
ログの保存インデックス毎や
ダッシュボード毎に設定可能
28
Graylogの機能:ログデータの管理
ログデータの管理
インデックス毎に状態の確認が可能
ローテーションもインデックス毎に設定可能
29
Graylogの機能:ログデータの管理
ログデータの管理
ローテーションされたデータの確認・手動削除も可能
30
Graylogのその他機能
アラート送信
キーワードやしきい値の超過などをトリガーにして、アラート送信が
可能
アラートはメールやWEBへのPOSTなどの形式で送信できる
WEBへのPOSTができるので、Slackなどの外部システム連携も可能
アラートを1度送ってから連続送信を止める機能有り
設定情報のエクスポート・インポート機能
ダッシュボードやGrokパターンなどの設定情報をエクスポートする
ことが可能
エクスポートした情報をインポートもできる(JSON形式)
設定を書き換えてインポートすることで、複数ホストのダッシュボードを
一斉に作成するなどの作業も可能
プラグイン
受信プロトコルやアラート送信の条件などをプラグインで増やすこ
とができる
31
Graylogのユースケース
32
ユースケース1:ファイルサーバの監査ログ
ファイルサーバの監査ログ
次のようなログに誰が、いつ、どのファイルを、どう使ったのかが記
録されている
Aug 10 07:32:40 moon1 smbd_audit: 2018/08/10 07:32:40|user01|172.16.10.114|share|pwrite|ok|solution/docs/sample.docx
Aug 10 07:32:41 moon1 smbd_audit: 2018/08/10 07:32:41|user02|172.16.10.214|share|unlink|ok|営業部/見積書/20180701.pdf
:
データの用途
情報漏えいやファイルの紛失が合った場合に、
何があったかすぐ知りたい
業務時間外に異常なアクセスがないか知りたい
ファイルサーバに負荷をかける大量アクセスなどをしているユーザ
を特定したい
33
ユースケース1:ファイルサーバの監査ログ
ファイルサーバの監査ログをGraylogに保存すると
Graylogの機能で高速に検索ができる
ダッシュボード化して状況の把握をする
通常ありえない時間帯や接続元からのアクセスが、ひと目でわかる
34
ユースケース2:システム情報の監視
システム情報の監視
Elastic Beats(Metric Beats)と連携
システムのCPU使用率・メモリ使用率を取得
ダッシュボード化
アラート送信
高負荷やファイルシステムの使用率をトリガーとしてアラートを送信する
35
ユースケース3:DHCPのセキュリティログ解析:背景
背景
通信事業者の場合、貸出しているIPアドレスの利用者の特定が必
要なケースがある
犯罪関連で警察等から依頼がある
ログがファイル管理だとIPアドレスをログから検索することになる
ログの量は3000万件など膨大
ログを一元管理する場合でも、ログの性質上、ネットワーク越しに
転送してロストが発生すると問題になる
つまりSyslog(UDP)が使えない。Syslog(TCP)なら信頼性はあるが、
ネットワーク障害時には、ロストする可能性が否めない。
36
ユースケース3:DHCPのセキュリティログ解析:解決方法
DHCPのログをFilebeatで転送
DHCPサーバのログは、ログファイルに出力
Filebeatでログファイルを読み取って、Graylogに転送
元のログはファイルに残るので転送に失敗しても最悪大丈夫
ファイルが残っていれば、再び転送処理が可能
DHCPのログをGraylogに保存すると
高速な検索が可能になる
DHCPのIPアドレスの払い出しのイベント(DHCPACK)のみを抽出して
検索ができる
IPアドレスを指定して検索・MACアドレスを表示できる
時間帯での絞り込みも可能
37
Graylogの課題
38
Graylogの課題
課題:可視化の機能が弱い
グラフの種類が少ない
ダッシュボードでは時間の範囲が変更できない
解決案:Grafanaを利用する
Grafanaという可視化ツールを使うことができる
Grafanaは、Elasticsearchなどに保存されているデータを可視化
するためのツール
GraylogがElasticsearchに貯めたデータも可視化可能
39
Graylogの課題
課題:WEBUIの日本語対応無し
多言語化する仕組みがない
日本語対応が難しいため、利用の敷居が高い
※日本語が含まれるデータの検索は可能(UTF-8に変換)
解決案:日本語マニュアルの準備
デージーネットでは、Graylogの日本語マニュアルをWEBで公開し
ています
https://www.designet.co.jp/ossinfo/graylog/manual/
40
まとめ
41
まとめ
Graylogを使うメリット
様々なプロトコル・フォーマットのログ・データを一元管理できる
ログの入力・分解
ログのローテーション
ログの高速検索が可能になる
Elasticsearchを利用することにより検索を高速化
様々な検索条件の利用が可能
ログをフィールド分解をすることで、情報への到達性UP!
可視化による分析が可能になる
ログの可視化・ダッシュボード化
権限によるログやダッシュボードの閲覧規制が可能になる
無制限にデータの保存が可能
他のソフトウェアと連携してより便利に使える
42
まとめ
Graylogの用途
WEBのアクセス解析
監査ログの可視化
システム情報の可視化・アラート送信
特殊なフォーマットのログの解析・保存
大量データの全文検索用ツール
43
Graylog情報
Graylogの調査報告書を公開しています
URL: https://www.designet.co.jp/download/
44
ご清聴ありがとうございました
45

他のカテゴリから探す

IT業界の改革にご協力いただけませんか?

本サイトは、株式会社オープンソース活用研究所がプロデュースする、中小IT企業による”本気”の情報提供セミナー「マジセミ」の結果レポートページです。「マジセミ」は、次を目的として活動しています。

我々はITエンジニアが、今よりももっと「誇り」と「喜び」をもって仕事をし、今よりももっと企業や社会に貢献できる、そんなIT業界を創りたいと考えています。

そのためには、技術をもった中小のIT企業がもっと元気になる必要がある。その為には、技術をもった中小のIT企業を、もっと皆様に知って頂く必要がある、と考えました。

株式会社オープンソース活用研究所
代表取締役所長 寺田雄一

本当かウソか、あなたが見極めてください。

もし、我々のこの活動にご賛同していただけるのであれば、ぜひ下のセミナーに参加してください。

「なんだ、結局ただの売り込みセミナーじゃないか」

もしそう感じたら、アンケートなり、あなたのFacebookなりに、そのままお書き頂き、拡散して頂いて構いません。

参加者からのお褒めの言葉、お叱りの言葉が、我々中小IT企業を成長させ、それが日本のIT業界を変えていくのだと、強く確信しています。

あなたの行動が、日本のIT業界を変えるのです。

「マジセミ」のFacebookページ

今後のセミナー情報などを提供させていただきたますので、「マジセミ」のFacebookページに「いいね!」をお願いします。

日本のIT業界を変えるためのアクション、ありがとうございました!

関連するセミナーの講演資料
いよいよリリース!Zabbix 4.0の機能紹介と、Zabbixを中心とした運用自動化について 不正調査から障害調査まで、大量のログデータの統合管理をオープンソースで(Graylogの紹介) 【大阪開催】OSS運用監視ツールにおける、バースト時の SNMP Trap 受信漏れ対策と、大量アラートのインシデント登録について ~システム監視の効率化の鍵は「前捌き」にあった!~ OSS運用監視ツールにおける、バースト時の SNMP Trap 受信漏れ対策と、大量アラートのインシデント登録について ~システム監視の効率化の鍵は「前捌き」にあった!~ 【広島 Zabbix セミナー】運用自動化は何をどう「自動化」すれば効果がでるのか?~ソフトバンクの運用自動化事例と、RPAの活用、ジョブ管理から、障害対応の自動化、イベントビューアの改善まで~ オフショアで開発する「AR/VR」~Microsoft HoloLens を活用したMRデモと、不動産やホテル、レストランなどの「バーチャル訪問」を実現するAR/VR活用事例~ ハイブリッドクラウド/マルチクラウド環境での運用を自動化・効率化するには?(統合運用管理ツール「Hinemos」の紹介) 主要RPAツールの比較と活用事例~どのような業務がどこまで自動化できるのか~ 運用自動化・効率化は何をどう「自動化・効率化」すれば効果がでるのか?~ソフトバンクの運用自動化・効率化事例と、RPAの活用、ジョブ管理から、障害対応の自動化、イベントビューアの改善まで~ 【大阪開催】OSS監視ツール+RPA(ロボティック・プロセス・オートメーション)による運用の自動化・効率化