不同的域名绑定同一个站展现不同的robots.txt
http://www.itjxue.com 2017-08-18 12:15 来源:未知 点击次数:
源于静态资源要做CDN加速,又不想搜索引擎抓到加速域名,像七牛这样的给准备好robots的除外,百度云加速、360网站卫士这样的CDN加速就需要脑洞大开让它们显示不同的robots.txt,所以这个标题才这么纠结,不知道怎么说才好。
我用的是nginx,规则是这样的:
如果是apache,这样写规则:
之后在空间下把robots.txt这样命名如,robots_www.itjxue.com.txt、robots_bbs.sztuoshi.com.txt这样访问www.itjxue.com和bbs.sztuoshi.com的robots.txt就是不同的,避免了搜索引擎的重复抓取
(责任编辑:IT教学网)
上一篇:写给大家看的中文排版指南