url采集工具

小俊 | 黑帽软件 | 2020-08-06
运行环境:python+redis 采集原理:从初始关键词里面采集网址,然后在网址里面爬取关键字,一边采集关键字,一边采集网址,redis数据库自动去重,多线程模式采集网址加url! [阅读全文]
ė449次浏览 60条评论 0 url采集

url关键字批量采集工具

小俊 | 黑帽软件 | 2020-07-26
1、支持baidu、google、sogou等多个引擎同步采集,扩大采集面,加快采集速度; 2、过滤指定网址采集,在工具同目录下有个排除网址的文本文件,把需要排除的网址放到里面,一行一个,采集更快提高效率; 3、取Domain选项,勾选为只取主域名,不勾选为完整url网址; 4、过滤重复项,一个域名只出现一次,不重复,提高采集效率; 5、可以和配合关键词挖掘工具一起使用。(主页直接搜 [阅读全文]
ė162次浏览 60条评论 0 url采集

Ɣ回顶部