搜索引擎的蜘蛛人（ROBOTS）秘密

我们知道，搜索引擎都有自己的“搜索机器人”（ROBOTS），并通过这些ROBOTS在网络上沿着网页上的链接（一般是http和src链接）不断抓取资料建立自己的数据库。" s2 i  j. [. h0 L( t/ ^" u  s: w

# ?9 Z; M; y. H: T0 Z, t) R' }) ?4 ~2 l2 f
对于网站管理者和内容提供者来说，有时候会有一些站点内容，不希望被ROBOTS抓取而公开。为了解决这个问题，ROBOTS开发界提供了两个办法：一个是robots.txt，另一个是TheRobotsMETA标签。
1 a1 i' ]/ f3 S" T8 x
+ S3 U" B$ K" j' T7 R4 |8 ^7 z8 X- G% Z2 l* ]$ E6 }5 p
一、robots.txt. k6 }9 ?; n1 @' h; S) K! }

+ s& f3 e* d+ o8 K% O1、什么是robots.txt？
( @# ?/ ^# l. ~2 F/ ~- j  o5 `3 \: M* s' A* a. k! C% X- O4 \% |

; u( Z/ x1 J+ c$ B$ r. V$ Irobots.txt是一个纯文本文件，通过在这个文件中声明该网站中不想被robots访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。
6 ~+ n+ h4 s" D/ V, b+ \4 A0 V. \! M6 [

2 d+ ~4 N: T9 a. d* H) K9 D, a当一个搜索机器人访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果找到，搜索机器人就会按照该文件中的内容来确定访问的范围，如果该文件不存在，那么搜索机器人就沿着链接抓取。" l6 X- C9 h& Z8 T. z, c( @; p
' [/ [! }" K( b9 z% k; h
. ~% R1 N! R$ \  U1 C0 ?; b/ \
robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
! X9 ]( b0 T' J9 }/ Z+ E# n2 O' w5 _; S, P. O, p
网站URL+ F% k# B5 k. K
相应的robots.txt的URL# r; c7 ?5 v9 t/ J5 w

( V& `; }; j0 o: Y0 dhttp://www.w3.org/
0 m6 R6 K/ {3 W1 O6 u3 y8 F; nhttp://www.w3.org/robots.txt; a( o: X* l0 J+ m6 i: E( ]+ E; B

) ~+ b4 Y' F3 `! y  E; ^http://www.w3.org:80/4 ]$ U& `7 Q; K$ t; Q2 f
http://www.w3.org:80/robots.txt: U) O3 p% q* w3 _

- ]+ e$ z' W$ mhttp://www.w3.org:1234/" n) i% {# d; T  E, a7 P6 ^$ t3 A
http://www.w3.org:1234/robots.txt
' ~- {! ?- R8 D: y6 n. F; J" E# {; e. }( d
http://w3.org/
& D" z. e$ `  Nhttp://w3.org/robots.txt
, f. o7 ~7 g3 i% G( M' \  R
) A  D  p1 _  F/ }3 ~: x6 }! [# P% p: H6 N
                                               
: ^* b; a  \$ v) I' E) U6 F2 C3 l6 T, V
                                                2 f( n& Q9 E9 k* t0 _8 p* N" k) C

, i9 E8 X5 s$ f  X/ ~6 g, B                                               
. c4 P0 F( j; [
6 b7 T& A: Q. U2 |" d# ~" I                                                ( X0 u" j; P! p: O& ^7 [# g3 T

* O9 b( b1 E' d                                        * Z- r% j7 N" ~8 k+ i: @

! ~) d% f, _' [6 V5 z2 X( |                                               
) b3 W+ N* f4 A4 ~- i2 H  L) t2 B
                                               
6 [9 T# C2 l" D1 a/ X, V* Y! |: [; A( F* t: p
                                               
7 f/ b* n* O7 R1 N% F; C8 }$ F
3 ^! ]9 ?5 Q, W# K7 o0 m
3 }7 [8 i, a9 J3 K6 |$ t% I- Q0 d, B8 N" A7 r* @. m
                                        ) k1 a5 q4 G, `+ W8 m
* z: d; N8 t$ f; I# j