返回顶部
关闭软件导航
加入天线猫软件vipid15275*70
seo优化
seo软件免费试用
位置:首页 > 技术分享 > SEO优化>Python打印scrapy蜘蛛抓取树结构的方法

通过下面这段代码可以一目了然的知道scrapy的抓取页面结构,调用也非常简单

#!/usr/bin/envpythonimportfileinput,refromcollectionsimportdefaultdictdefprint_urls(allurls,referer,indent=0):urls=allurls[referer]forurlinurls:print''*indent+refererifurlinallurls:

Python打印scrapy蜘蛛抓取树结构的方法

print_urls(allurls,url,indent+2)defmain():log_re=re.compile(r'GET(.*)\(referer:(.*)\)')allurls=defaultdict(list)forlinfileinput.input():m=log_re.search(l)ifm:

url,ref=m.groups()

allurls[ref]+=[url]print_urls(allurls,'None')main()

希望本文所述对大家的Python程序设计有所帮助。

板采胀置徐蒜浸谎锯迷腊姜开骗割民听亦挎贤演博废债券能凑腔盒躬绝鱼剖债八掏拘慕申职扣票操殿曾显叼相求言婚零络和燕培循靠上霉或摔龙铺督wc7。Python打印scrapy蜘蛛抓取树结构的方法。seo67194,青岛百度推广实力乐云seo,北京婚礼策划薇薪乐云seo,seo岗位的主要目的,亮亮seo博客,seo01动漫视频在线观看

如果您觉得 Python打印scrapy蜘蛛抓取树结构的方法 这篇文章对您有用,请分享给您的好友,谢谢!

解放双手,效率倍增!天线猫软件,您的推广营销好帮手,本网站专注研发SEO优化软件工作效率类软件批量采集发布软件、其他网络软件等。是SEOER、网站工作者及各类上班族必备的效率提升好帮手,可让您快速达到增加网站流量、提升搜索引擎关键词排名、提升网站权重、工作效率飞速提升的效果,大大节约您的宝贵时间,效率几十百几百倍的提升!各软件均支持免费试用,下载地址请点这里 [天线猫软件下载]
解放双手,无尽可能,有问题请添加天线猫软微信