robots

不再关注网络安全

360违反robots协议或将引发行业大乱

  对于近日奇虎360综合搜索被爆出无视国际通行的Roberts协议,抓取百度、Google等搜索引擎内容,导致众多网站出于安全和隐私考虑不允许搜索引...

wordpress的robots分享

对一个问题纠结了好久,就是我的URL结构现在越来越不喜欢了,但考虑到现在搜索收录又不敢随意改变结构,而我用GG管理员查看的时候发现重复收录页过多,并且有...