【老谭创业网】学习,提升,成长
创业改变人生,为网络创业者提供源动力!

DuckDuckGo Favicons Bot是什么蜘蛛爬虫?可以屏蔽吗?

DuckDuckGo Favicons Bot是DuckDuckGo的爬虫

DuckDuckGo是美国的一个互联网搜寻引擎,其总部位于美国宾州Valley Forge市。

DuckDuckGo强调在传统搜寻引擎的基础上引入各大Web 2.0站点的内容。其办站哲学主张维护使用者的隐私权,并承诺不监控、不记录使用者的搜寻内容。

如果你的网站是中文 网站,针对国内用户的话,建议把它屏蔽掉,它对提升我们的流量并没有什么帮助,爬虫抓取数据是会消耗服务器资源的!

当然,你的服务器资源足够大的话,或者你自己不介意爬虫抓取的话,可以不屏蔽!

赞(0)
未经允许不得转载:老谭创业网 » DuckDuckGo Favicons Bot是什么蜘蛛爬虫?可以屏蔽吗?

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址