検索ロボットの動作/動作確認の徹底が必要

このURLがどこから漏れたのか。これはerror.htmlファイルでとどまっているのではなく、URL自体が取得されているので後々まで「たたられる」ことになる。それは単純で超初歩的なミスだった(笑)。
LOG
66.249.79.87 - - [21/Jan/2018:12:14:30 0900] "GET #*******#****#***#book_0441$html HTTP/1.1" 401 347 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; http://www.google.com/bot.html)"
66.249.79.87 - - [21/Jan/2018:12:01:39 0900] "GET #*******#***#**#pbk_0053$html HTTP/1.1" 401 347 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; http://www.google.com/bot.html)"
66.249.79.89 - - [21/Jan/2018:10:16:18 0900] "GET #*******#***#***#card_0006$html HTTP/1.1" 401 347 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; http://www.google.com/bot.html)"
この種の特殊なデータのURLが取得されたのは、ローカルでの確認用のtopic_jump.jsをWEBにアップロードしていたというドジによるものである。こういうものが出てくるまでは気がつかなかった。しかも、実際のWEBページにアクセスしてその動作確認をしなかったという初歩的なミスでもある。

この対策として下記のように変更した。
  1. topic_jump.jsは****_****.jsにリネイムして、内部の関数名も全部変更した。
  2. WEB上ではerror.htmlは表示させず無動作にした(関数の中身は空白)。クリックしても反応しない。
ちなみに、このURLはinf2エリアで取得したものであろう。それは本や文化的なトピックである。ニッポンの愚民(エクセルバカと低能学生)はアクセスしてこないからこうしても別に問題は生じないだろう。

重要
間接リンクにする場合は同時にnoindex,nofollowを設定する。
見せる気のないファイルはアクセス制限エリアに置く。
またはローカルで持つようにしてWEBには置かないことである。

- 2018/01/21 -