![](/index/img/qc-side/indexLogo4.png)
qq:800819103
在线客服,实时响应![](/index/img/qc-side/indexLogo5.png)
qq群
在线客服,实时响应![](/index/img/qc-side/indexLogo6.png)
客服电话
13318873961爬虫如何爬取京东上的手机图片?今天黑洞代理ip就为大家分享一下爬虫是如何爬取京东上的手机图片的。首先我们先打开京东,输入要爬取的商品,比如手机。然后分析页面和网址,查看我们要爬取的信息位置和网址的变化。
代码如下:
import re
import urllib.request
def craw(url,page):
#获取网页源代码
html1 = urllib.request.urlopen(url).read()
html1 = str(html1)
#对网页源码进行过滤,只保留和产品列表相关的信息
pat1 = '<div id="plist".+?
'
result1 = re.compile(pat1).findall(html1)
result1 = result1[0]
#print(result1)
#再次过滤,提取网页中图片的链接,并将链接地址存储在列表中
pat2 = ''
imagelist = re.compile(pat2).findall(result1)
x = 1
#遍历列表,将链接存储到本地
for imageurl in imagelist:
imagename = "D:/jd/img1/" + str(page) + str(x) + ".jpg"
imageurl = "http://" + imageurl
try:
urllib.request.urlretrieve(imageurl,filename=imagename)
except urllib.error.URLError as e:
if hasattr(e,"code"):
x+=1
if hasattr(e,"reason"):
x+=1
x+=1
#通过for循环,将该分类下的所有网页都爬取一遍
for i in range(1,88):
url = "https://list.jd.com/list.html?cat=9987,653,655&page="+str(i)
craw(url,i)
以上就是关于爬虫如何爬取京东上的手机图片的介绍了,黑洞代理ip可为您提供海量IP资源,助您不间断获取行业数据,赢在大数据时代!
相关文章内容简介
1 爬虫如何爬取京东上的手机图片?
爬虫如何爬取京东上的手机图片?今天黑洞代理ip就为大家分享一下爬虫是如何爬取京东上的手机图片的。首先我们先打开京东,输入要爬取的商品,比如手机。然后分析页面和网址,查看我们要爬取的信息位置和网址的变化。 代码如下: import∵re import∵urllib.request def∵craw(url,page): #获取网页源代码 html1∵=∵urllib.request.urlopen(url).rea... [阅读全文]
最新标签
推荐阅读
04
2019-06
哪里有长期有效的代理IP?
代理IP的出现给经常使用网络的人带来了很多便利,业务能够得到提升,浏览网页更便捷更迅速。
05
2019-03
爬虫采集:如何找个好用的代理IP
写爬虫采集信息,这是一个对代理IP要求非常高的项目,因为如果IP质量不好会影响到爬虫的爬取效率,如果IP的匿名度不够,那么无法因此自己的IP地址,这样很容易被对方发现,从而限制爬取
14
2019-02
哪有好用的代理IP?千万级IP池--黑洞代理
现在消费升级,付费模式的消费逐渐流行,大部分的消费都愿意买单,享受更快捷、更优质的服务。如今已经很少人愿意自己花大量的时间去收集那些免费的IP,还需要去检测是否有效,反而是
10
2018-12
爬虫如何防网站封IP?防封有效措施
在数据采集方面来说,爬虫想要采集数据,首先要能突破网站的反爬虫机制,然后还能预防网站封IP,这样才能高效的完成工作。那么爬虫如何防网站封IP?
热门文章