qq：800819103
在线客服，实时响应
qq群
在线客服，实时响应
客服电话
13318873961爬虫如何爬取京东上的手机图片？今天黑洞代理ip就为大家分享一下爬虫是如何爬取京东上的手机图片的。首先我们先打开京东，输入要爬取的商品，比如手机。然后分析页面和网址，查看我们要爬取的信息位置和网址的变化。
代码如下：
import re
import urllib.request
def craw(url,page):
#获取网页源代码
html1 = urllib.request.urlopen(url).read()
html1 = str(html1)
#对网页源码进行过滤，只保留和产品列表相关的信息
pat1 = '<div id="plist".+?
'
result1 = re.compile(pat1).findall(html1)
result1 = result1[0]
#print(result1)
#再次过滤，提取网页中图片的链接，并将链接地址存储在列表中
pat2 = ')
imagelist = re.compile(pat2).findall(result1)
x = 1
#遍历列表，将链接存储到本地
for imageurl in imagelist:
imagename = "D:/jd/img1/" + str(page) + str(x) + ".jpg"
imageurl = "http://" + imageurl
try:
urllib.request.urlretrieve(imageurl,filename=imagename)
except urllib.error.URLError as e:
if hasattr(e,"code"):
x+=1
if hasattr(e,"reason"):
x+=1
x+=1
#通过for循环，将该分类下的所有网页都爬取一遍
for i in range(1,88):
url = "https://list.jd.com/list.html?cat=9987,653,655&page="+str(i)
craw(url,i)
以上就是关于爬虫如何爬取京东上的手机图片的介绍了，黑洞代理ip可为您提供海量IP资源，助您不间断获取行业数据，赢在大数据时代!
相关文章内容简介
1 爬虫如何爬取京东上的手机图片？
爬虫如何爬取京东上的手机图片？今天黑洞代理ip就为大家分享一下爬虫是如何爬取京东上的手机图片的。首先我们先打开京东，输入要爬取的商品，比如手机。然后分析页面和网址，查看我们要爬取的信息位置和网址的变化。 代码如下： import∵re import∵urllib.request def∵craw(url,page): #获取网页源代码 html1∵=∵urllib.request.urlopen(url).rea... [阅读全文]
最新标签
推荐阅读
06
2019-05
正向代理IP和反向代理IP的有什么区别？
说到代理服务器，了解的人可不少，有些人可能会经常用到代理服务器访问网络获取资源。而提取正向代理和反向代理，知道的人就比较少了，也高不清楚什么原理，有什么作用的。下面小编为
05
2018-12
爬虫动态代理ip怎么搭建？免费或付费？
爬虫要采集数据，总绕不过去动态代理ip，因为现在几乎所有的网站平台都会设置反爬虫机制，使用动态代理ip是最快突破IP限制的方法。而爬虫需求的IP量非常大，需要搭建IP池才能满足需求...
20
2019-02
游戏怎么多开不被封号？
想要在游戏中赚钱，大家通常都是多开游戏号，这样可以更好的利用游戏资源赚钱。但游戏商也不傻，对于这些危害游戏的行为，肯定是禁止的，若是被检测到必定是封号的。因此当我们需要多
04
2019-07
python爬虫抓取和分析京东商城评价
互联网购物现已成为当下最流行的购物方式，很多用户在互联网购买商品后，会对商品包装、质量，商家服务做出客观评价。商品评价的好坏对于店面和商品本身来说，重要性是显而易见的，大
热门文章
