基本情報

概要

Apache Nutch(アパッチナッチ)とは、オープンソースのWebクローラフレームワークです。Apache Hadoopによる拡張性が特徴です。

基本説明

Apache Nutchは、指定されたWebリンクをたどりながら、ページ収集/スコアリングを行い、全文検索(Lucene)用のインデックスを生成します。

Apache Nutchは、Java製のWebクローラで、全文検索エンジン「Apache Lucene」のサブプロジェクトとして開発されました。全文検索エンジン「Apache Solr」、分散処理フレームワーク「Apache Hadoop」、コンテンツ検出/分析「Apache Tika」、インメモリデータモデル「Apache Gora」などのApacheプロジェクトで構築されています。

大規模Web検索向けに拡張性を持たせたフレームワークです。パーサ機能(Webページ/PDFファイル/その他ドキュメント)、クローラ機能、リンクグラフ/データベース機能などを搭載しています。

経緯

2010年4月、Apacheソフトウェア財団のトップレベルプロジェクトに指定されました。

2系統

「Nutch 1.x」系は、成熟し製品化準備の整ったクローラです。

「Nutch 2.x」系は、「Apache Gora」を用いることでストレージが抽象化され、永続的マッピングでオブジェクト処理できます。

主な特徴

ストレージ

大規模ストレージプラットフォーム(Apache Accumulo/Apache Avro/Apache Cassandra/Apache HBase/Apache HDFS)や、SQLベースストレージシステムに対して、ストレージの抽象レイヤとして追加できます。

Goraによるインメモリデータモデルを用いて、NoSQL/SQLデータベースを抽象化して利用できます。

インデックス

Nutchのインデックスは、Luceneのインデックスであるため、Lucene用インデックス管理GUIツールを使用して内容を確認できます。

プラグイン機能

プラグインでさまざまな機能追加を行えます。

パース/インデックス/評価フィルタなどの拡張インターフェースを提供しています。パースカスタム実装/インデックス機能などを追加できます。

Webページの言語判定を行い、検索キーとして言語を指定できるようにすることも可能です。

負荷分散

Nutchは分散管理フレームワーク「Apache Hadoop」を採用してます。Googleが提唱した分散処理システム「MapReduce」が元になっています。

Hadoopクラスタを構成することにより、情報量が増えても分散対応し、大規模なクロールデータを複数サーバ上に分散保持できます。

小規模クローラから大規模Webクローラまで、さまざまなユースケースをカバーできます。

URLフィルタ機能

URLフィルタ設定を行うことで「任意のサイトの新着情報のみクロールする」ようなことを行えます。

同様製品

同様な機能を提供する製品として、次のようなものがあります。

オープンソース製品：「Apache ManifoldCF」「Heritrix」「S2Robot」など。

ライセンス情報

Apache Nutchのライセンスは「Apache License 2.0」です。このライセンスに従うことを条件として、ソースコードの改変と公開が許可されています。

ダウンロード

ダウンロードページ

※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。