不同的域名绑定同一个站展现不同的robots.txt

http://www.itjxue.com  2017-08-18 12:15  来源:未知  点击次数: 

源于静态资源要做CDN加速,又不想搜索引擎抓到加速域名,像七牛这样的给准备好robots的除外,百度云加速、360网站卫士这样的CDN加速就需要脑洞大开让它们显示不同的robots.txt,所以这个标题才这么纠结,不知道怎么说才好。

我用的是nginx,规则是这样的:

 
 

如果是apache,这样写规则:

 

之后在空间下把robots.txt这样命名如,robots_www.itjxue.com.txt、robots_bbs.sztuoshi.com.txt这样访问www.itjxue.com和bbs.sztuoshi.com的robots.txt就是不同的,避免了搜索引擎的重复抓取

(责任编辑:IT教学网)

更多