![](/index/img/qc-side/indexLogo4.png)
qq:800819103
在线客服,实时响应![](/index/img/qc-side/indexLogo5.png)
qq群
在线客服,实时响应![](/index/img/qc-side/indexLogo6.png)
客服电话
13318873961动态IP如何帮助爬虫爬取360图解电影的图片,在360图片中有一个图解电影的标签,电影爱好者可以从中保存自己喜爱的电影图片。今天黑洞代理就为大家分享一下,爬虫是如何爬取360电影图片的。这里以Scrapy来爬取,并将图集按电影名称分类保存至本地。
代码如下:
import json
from scrapy import Spider, Request
from tujiemovie360.items import IndexItem, DetailItem
class TujiemovieSpider(Spider):
name = 'tujiemovie'
allowed_domains = ['image.so.com/z?ch=video']
start_urls = ['http://image.so.com/z?ch=video/']
# 索引页
index_url = 'http://image.so.com/zj?ch=video&sn={sn}&listtype=new&temp=1'
# 详情页
detail_url = 'http://image.so.com/zvj?ch=video&id={id}&pn=60&sn={sn}'
# 重写
def start_requests(self):
# 索引页请求
for sn in range(0, 1): # 修改上限值,可以把整个图解电影全爬下来
yield Request(url=self.index_url.format(sn=sn * 30), callback=self.parse_index, dont_filter=True)
def parse_index(self, response):
'''
解析索引页
'''
results = json.loads(response.text)
if 'list' in results.keys():
for movie in results.get('list'):
item = IndexItem()
item['id'] = movie.get('id')
item['group_title'] = movie.get('group_title')
item['total_count'] = movie.get('total_count')
item['actor'] = movie.get('actor')
item['director'] = movie.get('director')
yield item
# 请求每部电影图集详情页
id = movie.get('id')
total_count = movie.get('total_count')
for sn in range(0, total_count // 60 + 1):
yield Request(url=self.detail_url.format(id=id, sn=sn * 60), callback=self.parse_detail,
dont_filter=True)
def parse_detail(self, response):
'''
解析电影图集详情页(每张图片)
'''
results = json.loads(response.text)
if 'list' in results.keys():
for pic in results.get('list'):
item = DetailItem()
item['id'] = pic.get('group_id') # 电影图集id
item['imageid'] = pic.get('imageid')
item['pic_url'] = pic.get('pic_url')
item['pic_title'] = pic.get('pic_title')
item['qhimg_url'] = pic.get('qhimg_url')
yield item
通过上述代码,我们就可以获取到360图解电影的相关图片了。黑洞代理为您提供安全稳定、高效便捷的爬虫代理IP服务,更多问题请点击官网咨询客服。
相关文章内容简介
1 动态IP如何帮助爬虫爬取360图解电影的图片
动态IP如何帮助爬虫爬取360图解电影的图片,在360图片中有一个图解电影的标签,电影爱好者可以从中保存自己喜爱的电影图片。今天黑洞代理就为大家分享一下,爬虫是如何爬取360电影图片的。这里以Scrapy来爬取,并将图集按电影名称分类保存至本地。 代码如下: import∵json from∵scrapy∵import∵Spider,∵Request from∵tujiemovie360.items∵import∵Ind... [阅读全文]
最新标签
推荐阅读
15
2019-05
换IP软件极大程度保护了消费者
在早几年的时候,人们对于换ip软件还是比较陌生的,更不知道电脑换ip方法。因为毕竟之前网络的发展没有那么普及,所以说很多人对于网络信息隐私这块儿,并不是非常了解。大家对于自己
29
2018-11
国内稳定ip代理有哪些?黑洞代理IP可用率95%
IP代理是一款可以换IP的软件,适用于许多场景,常见的发帖换IP,还有爬虫大军采集数据需要大量换IP,许多互联网工作者需要这一款换IP软件,那么国内稳定ip代理有哪些?
22
2018-11
怎么抓取数据?两种效果不同采集方法
大数据时代,各行各业都需要信息,信息采集工作少不了,大量的数量有利于了解用户的信息,更好的服务消费者,那么这数据怎么抓取呢?下面跟黑洞代理一起去看看怎么抓取数据。
15
2019-05
什么样的换ip软件比较适合普通人群使用?
如果时间倒退10年,相信很多人对于电脑换ip方法是一窍不通。但是我们都知道这是最好的时代,也是最坏的时代。
热门文章