scrapy如何爬取iframe

2024-10-13 17:04:18

1、判断URL指向网站的域名,

scrapy如何爬取iframe

3、那么可以将其丢弃

scrapy如何爬取iframe

5、然后查询新提取的URL在数据库中是否存在,

6、如果存在的话,当然就无需再去爬取了。

7、希望我的经验对你有所帮助

猜你喜欢