TOP /  情報共有/コンテンツ管理 /  ファイルサーバーの全文検索を実現する(オープンソースの全文検索システムFessの活用)

ファイルサーバーの全文検索を実現する(オープンソースの全文検索システムFessの活用) | 情報共有/コンテンツ管理

講演資料を見るには、 プライバシーポリシーに同意して、送付先メールアドレスをご入力しご請求ください。

またご入力いただきました情報は、当該イベントの主催・共催・協賛・講演企業とも共有させていただき、 当社及び各社のサービス、製品、セミナー、イベントなどのご案内に使用させていただきます。

メールアドレス


法人様向けの資料のため、フリーアドレスをご利用の場合は、会社名、お名前を入力してください。
会社名
お名前

「Fess」を活用し、Windowsファイルサーバーに全文検索機能を追加する  (株式会社デージーネット 森 彰吾)

講演資料を見るには、 プライバシーポリシーに同意して、送付先メールアドレスをご入力しご請求ください。

またご入力いただきました情報は、当該イベントの主催・共催・協賛・講演企業とも共有させていただき、 当社及び各社のサービス、製品、セミナー、イベントなどのご案内に使用させていただきます。

メールアドレス


法人様向けの資料のため、フリーアドレスをご利用の場合は、会社名、お名前を入力してください。
会社名
お名前

セミナー全体の評価と、参加者からのコメント

参加者によるこのセミナーの評価は、
4.5 でした!(5点満点中)
セミナー名 ファイルサーバーの全文検索を実現する(オープンソースの全文検索システムFessの活用)
講演企業 株式会社デージーネット
開催日 2017年11月24日
匿名の参加者
実体験の話が聴けて良かったです。
匿名の参加者
コメントなし
製造業 60代以上 男性 の参加者
コメントなし
消費者に対してITを提供する企業(Webサービス、ゲームなど) 30代 男性 の参加者
ハンズオンなどがあるとより良いと思います。
企業に対してITを提供する企業(ベンダー、SIerなど) 20代 男性 の参加者
メールでコードができないのは残念です。
匿名の参加者
大変良かった。
企業に対してITを提供する企業(ベンダー、SIerなど) 40代 男性 の参加者
コメントなし
その他のIT関連業 40代 男性 の参加者
実例と質疑の回答がわかりやすかったです。
匿名の参加者
分かりやすい解説だったと思います。 Fessはさわり始めたばかりですが、少し理解が深まりました。
企業に対してITを提供する企業(ベンダー、SIerなど) 30代 男性 の参加者
良かった点:広い範囲のことを教えていただけたこと。 足りない点:もう少し長い時間でも良いと思う。
匿名の参加者
コメントなし
匿名の参加者
コメントなし
消費者に対してITを提供する企業(Webサービス、ゲームなど) 40代 男性 の参加者
検索の自動化、出力等ができると良かった。
企業に対してITを提供する企業(ベンダー、SIerなど) 40代 男性 の参加者
Fessについて足りない点があることをテストを行う前にわかったので、とても勉強になり、また、今後の取り組みについての情報になった。ありがとうございました。
ケントシステム株式会社 朝長俊光さん
コメントなし
匿名の参加者
とても勉強になりました。
建設業 40代 男性 の参加者
コメントなし

ファイルサーバーの全文検索を実現する
自己紹介
株式会社デージーネット
OSS研究室 森 彰吾
2
株式会社デージーネット
プロフィール
設立
1999年5月
本社
愛知県 名古屋市 名東区
東京営業所 東京都 港区 浜松町
企業理念
より良い技術で、インターネット社会の便利と安心に貢献します。
事業内容
オープンソースソフトウェアを中心としたシステムインテグレーション
専門的技術サービスの提供
(全国のISP、ネットサービス、企業、大学等)
設計、構築、運用、管理、保守まですべてをトータルに提供
書籍の出版
3
書籍出版
4
本セミナーの概要
5
概要
ファイルサーバの全文検索をFessで実装する
ファイルサーバの全文検索は何故必要なのか
Fessとは
Fessの概要
Fessでファイルサーバを検索する基本的な例
利用例
まとめ
6
ファイルサーバの全文検索の必要性
7
ファイルサーバの全文検索の必要性
よくあるファイルサーバの問題点
Windowsファイルサーバ・NASをファイルサーバとして利用
長年運用しているとファイルが大量に置かれて検索性が下がる
OS標準の検索システムでは検索が遅い場合がある
クライアント毎に検索性能にばらつきがでる
検索の結果が表示されても、マッチしているのか判別がつきにくい
ファイルの一覧が出力されるだけで内容までわからない
全文検索を導入すると
ファイル検索の速度が向上する
検索速度が安定する
検索条件にヒットした内容が表示されるので、どの情報が必要な
情報なのか判別がつきやすい
8
全文検索システムに求められるもの
全文検索システムには何が必要なのか
検索したキーワードにデータがヒットすること
つまり日本語や日本語の単語を認識する機能
さらに、ファイルの形式を解析して、文章を認識する機能
性能
高速に検索できること
高速に検索するためにはインデックスと呼ばれる検索のための索引が
必須。高速に検索するためにはインデックスのサイズはそれなりに大きく
なる。そのためファイルサーバとは別環境で動作できることが求められ

セキュリティ
企業・団体が扱うデータは全てが誰でもアクセスできて良いデータでは
ない
認証・アクセス権限を絞る機能
認証情報の一元化
9
全文検索システムに求められるもの
全文検索システムには何が必要なのか
拡張性
ファイルサーバは日々ファイル数が増える
ファイル数が増えても性能を維持するためには、拡張できる仕組みが必

10
Fess基本編
11
Fessとは
Fessとは
オープンソースの全文検索サーバ
様々な情報の収集(クローリング)が可能
WEBサイト
ファイルサーバ
データベース
CSVファイル
収集した情報の検索が可能
つまりサイト内検索やファイルサーバのファイル検索が可能
CodeLibsというプロジェクトで開発されているソフトウェア
株式会社N2SMという日本企業が母体となっている
日本企業が開発しているため日本語のドキュメントが整備されて
いる
基本的な内容はドキュメントを読めば理解できる
12
Fessとは
Fessのファイルサーバ検索機能概要
ローカルフォルダだけでなく、CIFSやFTPプロトコルでリモートの
ファイルを全文検索の対象にできる
様々なファイル形式の文章を読み取って、検索キーワードにマッチ
させることができる
ユーザ認証と権限による検索結果の出し分けが可能
バックエンドでElasticSearchを利用しているため、検索が早い
13
Fessとは
対応ファイル形式一覧
MSOffice形式(xls,xlsx,doc,docx,ppt,pptx)
OpenDocument形式(odt,ods,odp)
テキスト
PDF
XML, HTML,
圧縮ファイル(zip, tar, gz)
mp3などのメタ情報も可能
etc..
14
Fessとは
Fessの基本構成
必要なソフトウェアはFess本体とElasticSearch
解析したファイルの情報は全てElasticSearchに保存される
15
Fessとは
Fessのインタフェース
16
Fessとは
Fessのインタフェース
17
Fessでファイルサーバ検索を行うためには
Fessでファイルサーバ検索を行う基本的な流れ
ファイルサーバのクロール設定をする
クロールスケジュールの設定をする
ファイルサーバをクローリングする
18
Fessでファイルサーバ検索を行うためには
クロール設定
クロールをするパスを設定する
設定を行うと自動的にフォルダを辿って情報を収集する
特定パスを除外することも可能
同時アクセス数とアクセス間隔を決められるので、ファイルサーバの負
荷を軽減できる
19
Fessでファイルサーバ検索を行うためには
スケジュール設定
クロールを行うスケジュールを設定する
デフォルトでは毎日0時に動作する
20
Fessでファイルサーバ検索を行うためには
クローリング
スケジューラで自動実行される
今すぐ実行ボタンですぐにクローリングをすることも可能
つまり新しいファイルをすぐ検索に載せたい場合も対応できる
21
Fessでファイルサーバ検索を行うためには
検索
情報をクローリングすると検索が可能になる
検索は様々な条件で行うことができる
AND検索
メール AND WEB
OR検索
メール OR WEB
NOT検索
DNS AND NOT キャッシュ
フィールド検索
title: 保守
ソート
etc..
22
Fessでファイルサーバ検索を行うためには
様々なファイルの検索結果
html
XML
zip
pdf
docx
etc..
23
Fessでファイルサーバ検索を行うためには
サイトのデザインを変更することも可能
FessのインタフェースでHTMLを編集可能
HTMLやCSSの知識があればデザインの変更が可能
24
Fessの利用例
25
利用例1: 権限による検索結果の出し分け
権限による検索結果の出し分け
Fessでは、認証したユーザ毎に権限を割り当てることができる
認証情報や権限情報は、ActiveDirectoryやOpenLDAPなどの
LDAPサーバから取得することができる
この機能を利用して、部署や役職などの権限ごとに、検索可能な
フォルダを決めることができる
26
利用例1: 権限による検索結果の出し分け
クローリングイメージ
ElasticSearch
Fessクローラ
共有フォルダ配下を
全てクローリング
[収集データイメージ]
タイトル: file1.docx
権限:ユーザ user01
グループ dev
共有フォルダ
タイトル: file2.docx
権限:ユーザ user02
グループ sales
開発部
devグループのみ参照可能
営業部
salesグループのみ参照可能
収集したファイルの権限情報が
登録される。
※ただしCIFSの場合のみ
27
利用例1: 権限による検索結果の出し分け
devグループ所属ユーザによる検索
ElasticSearch
Fess WEB UI
検索
[検索対象になるファイル]
タイトル: file1.docx
権限:ユーザ user01
グループ dev
devグループ所属ユーザ
タイトル: file2.docx
権限:ユーザ user02
グループ sales
28
利用例1: 権限による検索結果の出し分け
salesグループに所属するユーザによる検索
ElasticSearch
Fess WEB UI
検索
タイトル: file1.docx
権限:ユーザ user01
グループ dev
[検索対象になるファイル]
salesグループ所属ユーザ
タイトル: file2.docx
権限:ユーザ user02
グループ sales
29
利用例1: 権限による検索結果の出し分け
両グループに所属するユーザによる検索
[検索対象になるファイル]
ElasticSearch
Fess WEB UI
検索
[検索対象になるファイル]
タイトル: file1.docx
権限:ユーザ user01
グループ dev
dev/salesグループ所属ユーザ
タイトル: file2.docx
権限:ユーザ user02
グループ sales
30
利用例2: 権限による検索ラベルの出し分け
絞り込み検索
Fessでは、クローリング時に、データに特定のラベルを付けること
ができる
Fessが収集したデータをラベルでカテゴライズして、絞り込み検索
が可能
絞り込み条件を可視化することで
欲しい情報への到達性を上げることができる
入力の手間を省き、クリック・タッチだけで検索が行えるため、ユーザを
誘導しやすくなる
ラベルはユーザの権限毎に自動的に表示・非表示することができ

31
利用例3: ページ数が多いファイルの検索
ページ数が多いファイルを検索することもできる
取扱説明書や業務マニュアルなど大量のページに及ぶファイルを
検索したいというニーズに応えることができる
ただし標準の機能だけではできない
予めファイルをページ毎に分割しておいて、クローリングさせること
でページ毎に検索結果を出すことができる
PDFの場合
全ページを1ページ毎に分割
ファイル名を「ファイル名_page1.pdf」などに変更して配置してお

Fessでオリジナルファイルを含めてクローリングする
32
利用例3: ページ数が多いファイルの検索
検索結果
検索結果にページ番号が含まれるようになる
33
利用例3: ページ数が多いファイルの検索
リンクをクリックすると該当ページのみのファイルが表示される
34
利用例3: ページ数が多いファイルの検索
元のファイルが見たい場合は、ラベルで絞り込みが可能
クリック!
35
利用例3: ページ数が多いファイルの検索
絞り込み結果
36
利用例4: Fessの拡張
ファイル数が増えた場合
ファイル数が増えるとFessがクローリングに要する時間が多くなる
クローリングは並行稼働可能だが、サーバのリソースを多く利用す

並行稼働にもそのうち限界がくる
限界がきた場合、Fessは横展開ができます
37
利用例4: Fessの拡張
展開イメージ
Fessのサーバが1台増えた場合も同じElasticSearchを参照する
クローラ設定毎にどのFessで動作するかを設定して、サーバ毎で
役割分担をすることができる
検索や管理操作はどのサーバからでも可能
38
ユーザ動向の解析
39
ユーザ動向の解析
Fessは検索時の情報を残します
検索ワード
時間
接続元のIPアドレス
etc..
この情報をKibanaという可視化ソフトウェアで参照することが
できます
40
まとめ
41
まとめ
まとめ
Fessは高機能な全文検索システム
わかりやすいWEBインタフェース
様々なファイル形式に対応している
認証サーバ連携
権限による検索結果の出し分け
アイデア次第で様々なことができる
ページ分割をした検索なども対応が可能
拡張性が高い
スケールアウトを見込んだ設計思想
42
DesigNETにFessをお任せ
Fessの導入を支援します
デージーネットではFessの導入を支援します
オンプレ・クラウド様々な環境に対応可能です
要件をヒアリングさせて頂き、ベストな検索環境を構築します
保守サービスを利用頂ければ、障害時には素早く復旧が可能です
何かございましたら、お問い合わせください
今、サイト内検索・ファイル検索に困っている
費用感がしりたい
電話番号
本社:052-709-7121
お問い合わせフォーム
https://www.designet.co.jp/contact/
43

他のカテゴリから探す

IT業界の改革にご協力いただけませんか?

本サイトは、株式会社オープンソース活用研究所がプロデュースする、中小IT企業による”本気”の情報提供セミナー「マジセミ」の結果レポートページです。「マジセミ」は、次を目的として活動しています。

我々はITエンジニアが、今よりももっと「誇り」と「喜び」をもって仕事をし、今よりももっと企業や社会に貢献できる、そんなIT業界を創りたいと考えています。

そのためには、技術をもった中小のIT企業がもっと元気になる必要がある。その為には、技術をもった中小のIT企業を、もっと皆様に知って頂く必要がある、と考えました。

株式会社オープンソース活用研究所
代表取締役所長 寺田雄一

本当かウソか、あなたが見極めてください。

もし、我々のこの活動にご賛同していただけるのであれば、ぜひ下のセミナーに参加してください。

「なんだ、結局ただの売り込みセミナーじゃないか」

もしそう感じたら、アンケートなり、あなたのFacebookなりに、そのままお書き頂き、拡散して頂いて構いません。

参加者からのお褒めの言葉、お叱りの言葉が、我々中小IT企業を成長させ、それが日本のIT業界を変えていくのだと、強く確信しています。

あなたの行動が、日本のIT業界を変えるのです。

日程を確認していただき、ご興味のあるセミナータイトルをクリックしてください。

「マジセミ」のFacebookページ

今後のセミナー情報などを提供させていただきたますので、「マジセミ」のFacebookページに「いいね!」をお願いします。

日本のIT業界を変えるためのアクション、ありがとうございました!