Linux

2012-02-07

[转]禁止爬虫访问技巧

有时候,一些秘密的入口,一些被爬虫爬过便有暴露风险的目录,我们必须采用一切手段来保卫。禁止一切爬虫进入,尽管称不上完全保密,但基本上可以把秘密的传播变得可控。 1.robots.txt 在想要保密的那...

进一步了解