• PS：对于这上次Go-http-client是什么蜘蛛篇文章又过了一天，我发现蜘蛛记录里Go-http-client这玩意儿又疯狂的爬取！

    它爬的路径非常不对劲！

    正常来说，蜘蛛爬的都是一些文章的链接，和作者主页

    但是！它爬的路径居然有backup.zip,backup.sql

    我真的百思不得其解，backup（备份）！为什么会爬取备份和sql（数据库）而且，它爬的路径不止这种，还有ssh，api和一起网站目录的一些文件路径

    对于他我真的挺好奇这到底是个啥玩意！果断镜像谷歌搜索了一下。
    果不其然，找到了关键部分UA Go-http-client/1.1，有个站长是这么说的：
    首先说一下， 这个不是爬虫

这个是 是阿里云（或腾讯云 ）的全站加速 为了确定最优线路用的

是否采用自研算法自动优化线路， 这个选项取消掉就行了 具体的记不清了

也有人这么说：

1.有人天天用Go-http-client/1.1这个浏览器刷我的网站，现在排名都掉了，但是百度统计又统计不到这个关键字。看日志又看不出来所以然来

2.这个就是全站 cdn 针对整个网站是动态的那种的 倒也不是必须这么测试 我记得好像有个设置 意思大概是说是否采用自研算法自动优化线路什么优化边缘计算什么的 这个选项取消掉就行了 。这个答案网上有很多，应该是cdn加速这种

对于我这种小白站长来说，是真搞不懂这玩意儿要不要留，毕竟它爬的路径真的很怪！

但是它爬的路径太怪了，UA也看不出来是个啥浏览量，就是个不正常的浏览器访问的，而且在我这里他的ip只有这一段213.232.87.230
还是国外的，只好禁止它访问了，所以，以防万一，还是给他屏蔽好了，搞不清楚具体是个啥玩意，再观察观察