在使用scrapy genspider xxx xxx.yyy时指定了一个域名，而这些域名将会记录在相应的spider中的allowed_domains参数中，这些参数会影响我们使用动态url捕获网站源码。因为在爬行某网站时，就会进使用这个域名进行判断爬行的url是否为合法的url，如果不是对应的url就会自动终止爬行。所以如果你要使用一个爬虫爬所有不同网站时，就需要屏蔽这个参数的影响。