![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
#author("2018-08-29T13:54:15+09:00","","") #author("2018-08-29T13:56:41+09:00","","") [[CentOS7]] *サイト内検索システム構築(Namazu) [#nbf6db30] ''Google''のようにキーワードを入力して自宅サーバーのWebサイト内を検索することができるようにする。 ここでは、あらかじめ作成しておくインデックスを使用して、高速に検索することができる[[Namazu>http://www.namazu.org/]]でサイト内検索システムを構築する。 なお、検索対象のWebコンテンツは''/var/www/html/hoge''に格納されているものとする。 &color(red){※''NKF''コマンドがインストールされていること}; *Namazuインストール [#n7aa5813] **Namazuに必要なkakasiインストール [#td59a10e] |BGCOLOR(black):COLOR(white):|c |[root@localhost ~]# wget http://kakasi.namazu.org/stable/kakasi-2.3.6.tar.gz &color(lime){← kakasiダウンロード};| |&color(lightpink){※最新版のURLは[[ダウンロードページ>http://www.namazu.org/stable/]]で確認すること};| |[root@localhost ~]# tar zxvf kakasi-2.3.6.tar.gz &color(lime){← kakasi展開};| |[root@localhost ~]# cd kakasi-2.3.6 &color(lime){← kakasi展開先ディレクトリへ移動};| |[root@localhost kakasi-2.3.6]# ./configure && make && make install &color(lime){← kakasiインストール};| |[root@localhost kakasi-2.3.6]# cd &color(lime){← kakasi展開先ディレクトリを抜ける};| |[root@localhost ~]# rm -rf kakasi-2.3.6 &color(lime){← kakasi展開先ディレクトリを削除};| |[root@localhost ~]# rm -f kakasi-2.3.6.tar.gz &color(lime){← ダウンロードしたkakasiを削除};| **Namazuインストール [#k6fb2a04] |BGCOLOR(black):COLOR(white):|c |[root@localhost ~]# wget http://www.namazu.org/stable/namazu-2.0.21.tar.gz &color(lime){← Namazuダウンロード};| |&color(red){※最新版のURLは[[ダウンロードページ>http://www.namazu.org/stable/]]で確認すること};| |&color(lightpink){※最新版のURLは[[ダウンロードページ>http://www.namazu.org/stable/]]で確認すること};| |[root@localhost ~]# tar zxvf namazu-2.0.21.tar.gz &color(lime){← Namazu展開};| |[root@localhost ~]# cd namazu-2.0.21/File-MMagic/ &color(lime){← Namazu同梱のFile::MMagic展開先ディレクトリへ移動};| |[root@localhost File-MMagic]# yum -y install perl-ExtUtils-MakeMaker &color(lime){← perl-ExtUtils-MakeMakerインストール};| |[root@localhost File-MMagic]# perl Makefile.PL && make install &color(lime){← File::MMagicインストール};| |[root@localhost File-MMagic]# cd .. &color(lime){← Namazu展開先ディレクトリへ移動};| |[root@localhost namazu-2.0.21]# ./configure && make && make install &color(lime){← Namazuインストール};| |[root@localhost namazu-2.0.21]# cd &color(lime){← Namazu展開先ディレクトリを抜ける};| |[root@localhost ~]# rm -rf namazu-2.0.21 &color(lime){← Namazu展開先ディレクトリを削除};| |[root@localhost ~]# rm -f namazu-2.0.21.tar.gz &color(lime){← ダウンロードしたNamazuを削除};| |&color(lightpink){※mknmzコマンドで下記のエラーメッセージが出力される場合の対処⇒[[参考>https://rt.cpan.org/Public/Bug/Display.html?id=77410]] &br; defined(@array) is deprecated at /usr/local/share/perl5/File/MMagic.pm line 1122. &br; (Maybe you should just omit the defined()?)};| |[root@localhost ~]# chmod +w /usr/local/share/perl5/File/MMagic.pm &color(lime){← MMagic.pmへ書き込み権限追加};| |[root@localhost ~]# vi /usr/local/share/perl5/File/MMagic.pm &color(lime){← MMagic.pm編集};| | &color(lime){#};elsif (defined @$entry) { &color(lime){← 行頭に#を追加してコメントアウト}; &br; elsif (ref $entry eq "ARRAY" and @$entry) { &color(lime){← 追加};| |[root@localhost ~]# chmod -w /usr/local/share/perl5/File/MMagic.pm &color(lime){← MMagic.pmから書き込み権限削除};| *Namazu設定 [#a48bb497] **mknmzコマンド設定 [#e1ba2172] 検索に使用するインデックスを作成するmknmzコマンドを設定する |BGCOLOR(black):COLOR(white):|c |[root@localhost ~]# cp /usr/local/etc/namazu/mknmzrc-sample /usr/local/etc/namazu/mknmzrc &color(lime){← サンプルより設定ファイルコピー};| |[root@localhost ~]# vi /usr/local/etc/namazu/mknmzrc &color(lime){← mknmzコマンド設定ファイル編集};| |# $ALLOW_FILE = ".*\\.(?:$HTML_SUFFIX) |.*\\.txt" . # HTML, plain text &br; # " |.*\\.gz |.*\\.Z |.*\\.bz2" . # Compressed files &br; # " |.*\\.pdf |.*\\.ps" . # PDF, PostScript &br; # " |.*\\.tex |.*\\.dvi" . # TeX, DVI &br; # "|.*\\.rpm |.*\\.deb" . # RPM, DEB &br; # "|.*\\.doc |.*\\.xls |.*\\.pp[st]" . # Word, Excel, PowerPoint &br; # "|.*\\.j[sabf]w |.*\\.jtd" . # Ichitaro 4, 5, 6, 7, 8 &br; # "|.*\\.sx[widc]" . # OpenOffice Writer,Calc,Impress,Draw &br; # "|.*\\.rtf" . # Rich Text Format &br; # "|.*\\.hdml" . # HDML &br; # "|.*\\.mp3" . # MP3 &br; # "| \\d+ | [-\\w]+\\.[1-9n]"; # Mail/News, man &br; $ALLOW_FILE = ".*\\.(?:$HTML_SUFFIX)"; &color(lime){← 追加(HTMLを検索対象にする)}; &br; &color(lightpink){※その他の文書も検索対象にしたい場合は上記コメントを参考に設定を追加する};| |[root@localhost ~]# vi /usr/local/bin/mknmz &color(lime){← mknmzコマンド編集};| |&color(red){※mknmzコマンドが"Use of uninitialized・・・"というエラーメッセージを出力しないようにする対処};| |&color(lightpink){※mknmzコマンドが"Use of uninitialized・・・"というエラーメッセージを出力しないようにする対処};| |#! /usr/bin/perl -w &br; &color(lime){↓}; &br; #! /usr/bin/perl &color(lime){← -wを削除};| **namazuコマンド設定 [#lfb8ce5f] インデックスをもとに検索を行うnamazuコマンドを設定する |BGCOLOR(black):COLOR(white):|c |[root@localhost ~]# cp /usr/local/etc/namazu/namazurc-sample /usr/local/etc/namazu/namazurc &color(lime){← サンプルより設定ファイルコピー};| |[root@localhost ~]# vi /usr/local/etc/namazu/namazurc &color(lime){← namazuコマンド設定ファイル編集};| |## &br; ## Replace: Replace TARGET with REPLACEMENT in URIs in search &br; ## results. &br; ## &br; ## TARGET is specified by Ruby's perl-like regular expressions. &br; ## You can caputure sub-strings in TARGET by surrounding them &br; ## with `(' and `)'and use them later as backreferences by &br; ## \1, \2, \3,... \9. &br; ## &br; ## To use meta characters literally such as `*', `+', `?', `|', &br; ## `[', `]', `{', `}', `(', `)', escape them with `\'. &br; ## &br; ## e.g., &br; ## &br; ## Replace /home/foo/public_html/ http://www.foobar.jp/~foo/ &br; ## Replace /home/(.*)/public_html/ http://www.foobar.jp/\1/ &br; ## Replace /C\ |/foo/ http://www.foobar.jp/ &br; ## &br; ## If you do not want to do the processing on command line use, &br; ## run namazu with -U option. &br; ## &br; ## You can specify more than one Replace rules but the only &br; ## first-matched rule are applied. &br; ## &br; #Replace /home/foo/public_html/ http://www.foo.bar.jp/~foo/ &br; Replace /var/www/html/hoge/ http://hoge.com/ &color(lime){← 追加(/var/www/html/hoge/をhttp://hoge.com/に置換する例)}; &br; &br; ## &br; ## Lang: Set the locale code such as `ja_JP.eucJP', `ja_JP.SJIS', &br; ## `de', etc. This directive works only if the environment &br; ## variable LANG is not set because the directive is mainly &br; ## intended for CGI use. On the shell, You can set &br; ## environemtnt variable LANG instead of using the directive. &br; ## &br; ## If you set `de' to it, namazu.cgi use &br; ## NMZ.(head |foot |body |tips |results).de for displaying results &br; ## and use a proper message catalog for `de'. &br; ## &br; #Lang ja &br; Lang ja_JP.eucJP &color(lime){← 追加(検索結果の日本語化)};| *Namazu確認 [#k67ea0ee] **インデックス作成 [#hcd366b4] 例として、/var/www/html/hogeのインデックスを/usr/local/var/namazu/index/hogeに作成する |BGCOLOR(black):COLOR(white):|c |[root@localhost ~]# mkdir /usr/local/var/namazu/index/hoge &color(lime){← インデックス作成先ディレクトリ作成};| |[root@localhost ~]# mknmz /var/www/html/hoge -O /usr/local/var/namazu/index/hoge |nkf -w &color(lime){← インデックス作成};| |&color(lightpink){※最後の「|nkf -w」はシステムの文字コードがUTF-8の場合のみ指定する}; &br; 検索対象のファイルを調べています... &br; 4個のファイルがインデックス作成の対象として見つかりました &br; 1/4 - /var/www/html/hoge/index.html [text/plain] &br; 2/4 - /var/www/html/hoge/virtual/index.html [text/plain] &br; 3/4 - /var/www/html/hoge/virtual/usage/index.html [text/html] &br; 4/4 - /var/www/html/hoge/virtual/usage/usage_200511.html [text/html] &br; インデックスを書き出しています... &br; [基本] &br; 日付: Sat Nov 26 00:34:46 2005 &br; 追加された文書の数: 4 &br; サイズ (bytes): 48,802 &br; 合計の文書数: 4 &br; 追加キーワード数: 293 &br; 合計キーワード数: 293 &br; わかち書き: /usr/local/bin/kakasi -ieuc -oeuc -w &br; 経過時間 (秒): 5 &br; ファイル/秒: 0.80 &br; システム: linux &br; Perl: 5.008005 &br; Namazu: 2.0.14| **インデックスをもとに検索 [#m7ecf260] |BGCOLOR(black):COLOR(white):|c |[root@localhost ~]# namazu test /usr/local/var/namazu/index/hoge |nkf -w &color(lime){← testというキーワードで検索してみる};| |&color(lightpink){※最後の「|nkf -w」はシステムの文字コードがUTF-8の場合のみ指定する}; &br; 検索結果 &br; &br; 参考ヒット数: [ test: 1 ] &br; &br; 検索式にマッチする 1 個の文書が見つかりました。 &br; &br; 1. index.html (スコア: 2) &br; 著者: 不明 &br; 日付: Tue, 22 Nov 2005 17:09:40 &br; test &br; http://hoge.com/index.html (5 bytes) &br; &br; &br; &br; 現在のリスト: 1 - 1| *namazu.cgi設置 [#h030fd88] Webページ上からNamazuを利用するためのCGI(namazu.cgi)を設置する |BGCOLOR(black):COLOR(white):|c |[root@localhost ~]# cp /usr/local/libexec/namazu.cgi /var/www/cgi-bin &color(lime){← namazu.cgiをcgi-binへコピー};| *namazu.cgi設定 [#b795706c] |BGCOLOR(black):COLOR(white):|c |[root@localhost ~]# nkf -w /usr/local/var/namazu/index/hoge/NMZ.head.ja>NMZ.head.ja &color(lime){← namazu.cgi検索結果ページヘッダファイルをUTF-8に変換};| |&color(lightpink){※システムの文字コードがUTF-8の場合のみ};| |[root@localhost ~]# vi NMZ.head.ja &color(lime){← namazu.cgi検索結果ページヘッダファイル編集};| |<head> &br; <META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=euc-jp"> &color(lime){← 追加(NamazuWebインタフェースページの文字化け対処)}; &br; &br; <!-- <input type="hidden" name="idxname" value="foobar"> --> &br; ↓ &br; <input type="hidden" name="idxname" value="hoge"> &color(lime){← コメントを解除してインデックス格納ディレクトリ名を指定}; &br; &br; <a href="{cgi}">[検索方法]</a> &br; &color(lime){↓}; &br; <a href="{cgi}?idxname=hoge">[検索方法]</a> &color(lime){← インデックス格納ディレクトリ名を指定};| |[root@localhost ~]# nkf -e NMZ.head.ja>/usr/local/var/namazu/index/hoge/NMZ.head.ja &color(lime){← 編集したnamazu.cgi検索結果ページヘッダファイルをeucに戻す};| |&color(lightpink){※システムの文字コードがUTF-8の場合のみ};| |[root@localhost ~]# rm -f NMZ.head.ja &color(lime){← UTF-8に変換したnamazu.cgi検索結果ページヘッダファイルを削除};| |&color(lightpink){※システムの文字コードがUTF-8の場合のみ};| |[root@localhost ~]# nkf -w /usr/local/var/namazu/index/hoge/NMZ.foot.ja>NMZ.foot.ja &color(lime){← namazu.cgi検索結果ページフッタファイルをUTF-8に変換};| |&color(lightpink){※システムの文字コードがUTF-8の場合のみ};| |[root@localhost ~]# vi NMZ.foot.ja &color(lime){← namazu.cgii検索結果ページフッタファイル編集};| |この全文検索システムは &br; <strong><a href="http://www.namazu.org/">Namazu</a> <!-- VERSION --> v2.0.14 <!-- VERSION --></strong> &br; &color(lime){↓}; &br; <strong><a href="http://www.namazu.org/">Namazu</a></strong> ← Namazuバージョン情報表示部分削除 &br; &br; 以下の全行を削除(管理人メールリンク非表示化) &br; <address> &br; <!-- ADDRESS --> &br; <a href="mailto:webmaster@extras64">webmaster@extras64</a> &br; <!-- ADDRESS --> &br; </address>| |[root@localhost ~]# nkf -e NMZ.foot.ja>/usr/local/var/namazu/index/hoge/NMZ.foot.ja &color(lime){← 編集したnamazu.cgi検索結果ページフッタファイルをeucに戻す};| |&color(lightpink){※システムの文字コードがUTF-8の場合のみ};| |[root@localhost ~]# rm -f NMZ.foot.ja &color(lime){← UTF-8に変換したnamazu.cgi検索結果ページフッタファイルを削除};| *namazu.cgi確認 [#q594d6a9] http://サーバー名/cgi-bin/namazu.cgi?idxname=hogeにアクセスして「Namazu による全文検索システム」というページが表示されるので、キーワードを入れて検索してみる。 &color(red){※idxname=hogeのhogeの部分は、インデックス作成先ディレクトリ名(ここでは/usr/local/var/namazu/index/hoge/なのでhoge)を指定する}; *インデックス更新自動化 [#m9c6baad] |BGCOLOR(black):COLOR(white):|c |[root@localhost ~]# vi mknmz.sh &color(lime){← mknmz実行スクリプト作成};| |#!/bin/bash &br; &br; # &br; # Namazuインデックス作成汎用スクリプト &br; # &br; # 使い方: mknmz.sh $1 $2 [$3] &br; # $1: インデックス作成対象ディレクトリ名[省略不可] &br; # $2: インデックス作成先ディレクトリ名[省略不可] &br; # $3: インデックス作成対象外ディレクトリ／ファイルリスト名[省略可] &br; # &br; &br; PATH=/usr/local/bin:/usr/bin:/bin &br; &br; # インデックス作成対象ディレクトリ名を引数より取得 &br; if [ -d $1 ]; then &br; DOC=$1 &br; else &br; echo "Usage: $0 Directory Index [ExcludeDirectoryList]" &br; exit 1 &br; fi &br; &br; # インデックス作成先ディレクトリ名を引数より取得 &br; if [ -d $2 ]; then &br; IDX=$2 &br; else &br; echo "Usage: $0 Directory Index [ExcludeDirectoryList]" &br; exit 1 &br; fi &br; &br; # ロックファイル残存対処 &br; if [ -f ${IDX}NMZ.lock2 ]; then &br; ps `cat ${IDX}NMZ.lock2` > /dev/null 2>&1 &br; [ $? -ne 0 ] && rm -f ${IDX}NMZ.lock2 &br; fi &br; &br; # インデックス作成対象外ディレクトリ名を引数より取得 &br; if [ $# -eq 3 ] && [ -f $3 ]; then &br; for exclude in `cat $3` &br; do &br; NOTDOC="$NOTDOC$exclude |" &br; done &br; NOTDOC=`echo $NOTDOC |sed 's/ |$//g'` &br; fi &br; &br; # システム文字コード退避 &br; SYSTEM_LANG=`echo $LANG` &br; &br; # システム文字コードをeucにする &br; export LANG=ja_JP.eucJP &br; &br; # インデックス作成 &br; TEMP_LOG=`mktemp` &br; if [ $# -eq 3 ] && [ -f $3 ]; then &br; mknmz $DOC -O $IDX --exclude="$NOTDOC" > $TEMP_LOG &br; &br; else &br; mknmz $DOC -O $IDX > $TEMP_LOG &br; fi &br; &br; # ログ出力 &br; if [ "$SYSTEM_LANG" = "ja_JP.UTF-8" ]; then &br; nkf -w $TEMP_LOG | logger -t mknmz &br; else &br; cat $TEMP_LOG | logger -t mknmz &br; fi &br; rm -f $TEMP_LOG &br; &br; # 月曜日はインデックスの最適化(不要データの掃除)も行う &br; [ $(date +%w) = "1" ] && gcnmz -qb $IDX| |[root@localhost ~]# chmod 700 mknmz.sh &color(lime){← mknmz実行スクリプトに実行権限付加};| |[root@localhost ~]# crontab -e &color(lime){← cron編集};| |00 00 * * * /root/mknmz.sh /var/www/html/hoge/ /usr/local/var/namazu/index/hoge/ &br; &color(lime){← 追加(毎日00:00にmknmz実行スクリプトを実行する)};| |&color(lightpink){※インデックス作成対象ディレクトリ内で、インデックス作成対象外にしたいディレクトリまたはファイルがある場合};| |[root@localhost ~]# echo "/var/www/html/hoge/exclude/" >> mknmz.exclude &color(lime){← /var/www/html/hoge/exclude/をインデックス作成対象外リストに追加};| |[root@localhost ~]# echo "/var/www/html/hoge/excludefile.*" >> mknmz.exclude &color(lime){← /var/www/html/hoge/excludefile.*をインデックス作成対象外リストに追加};| |[root@localhost ~]# ./mknmz.sh /var/www/html/hoge/ /usr/local/var/namazu/index/hoge/ mknmz.exclude &color(lime){← インデックス作成対象外リストを指定してmknmz実行スクリプト実行};| これで、毎日00:00に自動的にインデックスを更新するようになる。また、mknmzの実行結果は/var/log/messagesに保存される。 *検索結果ページのデザイン変更 [#k3bccb2e] namazuによる検索結果ページは以下のファイル(中身はHTML)を編集することによって、デザインを自由に変更することができる。 |変更箇所|編集ファイル|h |ヘッダ部|/usr/local/var/namazu/index/NMZ.head.ja| |フッタ部|/usr/local/var/namazu/index/NMZ.foot.ja| |検索結果部(標準版)|/usr/local/var/namazu/index/NMZ.result.normal.ja| |検索結果部(簡潔版)|/usr/local/var/namazu/index/NMZ.result.short.ja| |検索方法部|/usr/local/var/namazu/index/NMZ.body.ja| |検索ヒント部|/usr/local/var/namazu/index/NMZ.tips.ja| *特定ディレクトリのみのサイト内検索 [#s30e5b22] 既に作成済であるサイト内の全ファイル(例:/var/www/html/hoge)を検索できるページのほかに、サイト内の特定ディレクトリ(例:/var/www/html/hoge/bbshtml/)内のファイルのみ検索できるようにしたい場合は、新たにインデックスを作成すればよい。
