看过google网站质量指南的人相信会对“Lynx“这个名字不会太陌生，在Google网站质量指南中多次提到Lynx 这款软件，其中多次提到请用Lynx去检测你的网站，因为它和爬虫看到的内容几乎一样，既然是官方推荐的检测工具，自然有其独到之处，google的文档中提到，该工具的抓取原理和目前大多数的爬虫程序几乎一样