您的位置:消费 >

对评论数据的url发起请求Python爬虫爱好者一枚

2021-10-07 22:17:06 来源:TechWeb阅读量:11567   

前言

大家好!我是古月星辰,大三本科生,数学专业,Python爬虫爱好者一枚今天给大家带来JD数据的简单采集和可视化分析,希望大家可以喜欢

一,目标数据

伴随着移动支付的普及,电商网站不断涌现,由于电商网站产品太多,由用户产生的评论数据就更多了,这次我们以京东为例,针对某一单品的评论数据进行数据采集,并且做简单数据分析。

二,页面分析

这个是某一手机页面的详情页,对应着手机的各种参数以及用户评论信息,页面URL是:

然后通过分析找到评论数据对应的数据接口,如下图所示:

它的请求url:

注意看到这两个关键参数

1. productId: 每个商品有一个id

2. page: 对应的评论分页

三,解析数据

对评论数据的url发起请求:

分析可知,评论url中对应十条评论数据,对于每一条评论数据,我们需要获取3条数

据,contents,color,size。

五,简单数据 1.简单配置 #导入相关库importpandasaspdimportmatplotlib.pyplotasplt#这两行代码解决plt中文显示的问题plt.rcParams=plt.rcParams=False#由于采集的时候没有设置表头,此处设置表头data=pd.read_excel)#data.head()

2.手机颜色数量对比 x=('白色','黑色','绿色','

声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多企业信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。投资有风险,需谨慎。

相关推荐
崂山区科创委联合沙子口街道、大石社区启动农民水彩画展

崂山区科创委联合沙子口街道、大石社区启动农民水彩画展

9月6日上午,在崂山区政府西塔楼一楼大厅,崂山区科创委联合沙子口街道、大石社区启动了为期5天的大石村农民水彩画展。本次画

2021-09-08 12:23
“95后”女孩5米高空开“天车”

“95后”女孩5米高空开“天车”

在5米高空作业,将数吨重的火车车轮或者小到几十斤的ldquo;铁疙瘩rdquo;安全装卸到位,可能谁也不会把这一切和一个

2021-09-03 11:10
做孩子心中的光

做孩子心中的光

每个孩子都有其独特的成长规律。在孩子成长的过程中,每一步都充满着对这个世界的好奇,那作为家长的我们,该如何顺应孩子的成长

2021-08-30 18:50
独家冠名2021第五届中国家居品牌大会国美打扮家有何独特之处?

独家冠名2021第五届中国家居品牌大会国美打扮家有何独特之处?

2021年7月19日,备受关注的2021第五届中国家居品牌大会在广州启幕,现场发布2020-2021中国家居十大优选品牌

2021-07-26 01:28
精彩推荐
头条关注
热点新闻