怎么知道搜索引擎的蜘蛛来爬过我的网站

Sep

发布:zyseo | 分类:SEO研究 | 评论:2 | 引用:0 | 浏览:

问:我自己有一个网站，放上去有一个多月了，yahoo和google都已经收录了，但是百度一直没有收录，有人说可以看到搜索引擎的蜘蛛来没没爬你的网站，那我想问一下怎么样知道蜘蛛有没有来过呢。在哪里看啊！？

答:每个网络蜘蛛都有自己的名字，在抓取网页的时候，都会向网站标明自己的身份。网络蜘蛛在抓取网页的时候会发送一个请求，这个请求中就有一个字段为User－agent，用于标识此网络蜘蛛的身份。例如Google网络蜘蛛的标识为GoogleBot，Baidu网络蜘蛛的标识为BaiDuSpider，Yahoo网络蜘蛛的标识为Inktomi Slurp。如果在网站上有访问日志记录，网站管理员就能知道，哪些搜索引擎的网络蜘蛛过来过，什么时候过来的，以及读了多少数据等等。

查看IIS日志
IIS日志的默认目录就是%systemroot%\system32\logfiles\