基本情報

概要

Apache ManifoldCF(アパッチマニフォールドシーエフ)とは、オープンソースクローラフレームワークです。インターネット上やイントラネット内のさまざまなサーバに保管されているドキュメントコンテンツ(Webページ/文書ファイル/DBデータなど)を収集し、それを検索エンジンに送ります。

「クローラ」とは

Web/社内ファイルサーバなどに保管されている文書を自動的に収集するプログラムです。「ロボット」などと呼ばれることもあります。検索エンジンシステムには不可欠な収集機能です。

基本説明

「Apache ManifoldCF」は、Apacheソフトウェア財団のインキュベータプロジェクトです。検索エンジン「Apache Solr」の関連プロジェクトとして開発されており、「Apache Solr」との連携を想定して作られています。

Web、Windowsサーバ、SharePointサーバ、各種データベースなどから、さまざまなドキュメントデータをクロールするオープンなコネクタフレームワークです。

HTMLだけではなく、HTML/RSSフィードからリンクを探索して、リンク先に存在するドキュメントまでクロールできます。

「Apache ManifoldCF」は大量多様なコンテンツに対するクロール結果を検索エンジンに渡します。検索エンジンは、その結果を元にしてインデックスを構築します。

3つのコネクタ

「コネクタ」とは、外部システムとの接続のことを表します。「ManifoldCF」には、3つのコネクタがあります。
1．「レポジトリコネクタ」　コンテンツ/レポジトリ入力元(Web/ファイルサーバ/データベースなど)
2．「アウトプットコネクタ」　クロール情報の出力先(Apache Solr)
3．「オーソリティコネクタ」　セキュリティ/パーミッション設定参照先(Active Directory)

「Apache ManifoldCF」と「Apache Nutch」の違い

Apacheプロジェクトには、他にもクローラとして「Apache Nutch」があります。

「Nutch」がWebクローラ特化型であるのに対して、「ManifoldCF」は、Webだけではなくさまざまなリポジトリに対してクロールを行えます。さらに、セキュリティ情報に配慮して検索できるという優位性もあります。

経緯

「ManifoldCF」の「CF」は、「Connector Framework」の略称です。

ManifoldCFは、MetaCarta社によって開発されました。5年間の開発期間を経て、2009年12月に、「Apache Software Foundation」にソースコードが寄贈されました。

主な機能

認証基盤(AtiveDirectory)連携機能

認証基盤(ActiveDirectoryなど)と連携して、クロール時に権限情報もセットで保管することにより、ユーザ単位で表示内容を制限できます。「人事部のデータは、人事部所属のユーザのみ表示される」といった設定が可能です。

同時並行収集機能

複数のリポジトリに対して、同時並行クロールが可能です。

Elasticsearch対応

クロール結果は「Solr」のみではなく、「Elasticsearch」を出力先とすることもできます。

差分更新機能

一括更新のみではなく、差分更新も可能です。

主な特徴

可用性

シャットダウン/再起動からの回復力が強く信頼性の高いフレームワークです。

RDBMSを利用

ManifoldCFは、リレーショナルデータベースを利用します。「PostgreSQL」「Derby」「MySQL」などに対応しています。

同様製品(概要情報)

同様な機能を提供する製品として、次のようなものがあります。

オープンソース製品：「Apache Nutch」など。

導入事例

「Apache Solr」とセットで利用されることが多く、マルチに使えるクローラとして注目されています。

ライセンス情報

「Apache ManifoldCF」のライセンスは、「Apache License Version 2.0」です。このライセンスに従うことを条件として、ソースコードの改変と公開が許可されています。

ダウンロード

ダウンロードページ

※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。