中科医院专家微信 https://m.39.net/baidianfeng/qwzj/生活中我们经常会用python进行数据爬取,但是爬取简单分析难,很多人喜欢用echarts图表接口或者是python的第三方库进行数据可视化,甚至是用matlab,基本上都需要用代码实现,在数据展示上十分繁琐,效率不高。于是,我就想到用一种更简单的方式进行数据分析,那就是python爬取+BI分析,python强大的数据获取能力,配合轻量级BI简单快捷的可视化操作,分析效果奇佳。原理也很简单,数据层由Python来进行抓取到网页数据,解析后储存到mysql数据库;BI负责最后应用层的数据处理、加工和可视化。话不多说,进入我们今天的主题:如何用python爬取淘宝某内衣店评论,并用FineBI进行数据分析?注:演示工具为python+FineBI,本文仅供娱乐和数据分析学习,不要过于认真哦!一、分析目的数据分析之前要明确我们分析的目的是什么,当然了,本次实操的目的就是为了获取某京东内衣店的文胸评论情况,分析出什么款式的内衣最受妹子们的喜欢。(千万不要想歪了!)虽然我没买过文胸,但是基本上也能推理出京东内衣的分析维度:文胸款式、颜色、大小等。京东店家页面上可以作为数据指标的有:评论量、评分、评论、购买时间等。二、数据获取京东的python爬取比较简单,只需要知道想要爬取页面的url就ok了,所以第一步我们先爬一下数据。我们选择一家京东内衣店并进入其评论界面,然后按下F12进入开发者模式-network,其中productId就是是每个商品的id,通过这个id就能去获取商品的评价记录下面开始爬取,首先我们需要在搜索页面获取商品的id,为下面爬取用户评价提供productId。然后将前三页的商品id放入列表中,此时能看到返回的是一个Json数据,检查一下你会发现这串Json就是商品的评论数据了。附上该模块的源代码:(文末有获取方式)同理,我们继续爬取页面上的内衣大小,颜色等等,其中Color即是产品颜色,Size即是产品尺寸,itemId当然就是是商品id等等。附上该模块源代码:(文末有获取方式)最后将这些模块组合在一起,就完成了最终的爬取代码,最终爬取了多条数据,如下:源代码获取方式见文末!三、FineBI数据加工python爬取了数据之后,应该做一些在脏数据的处理和数据加工,但是因为代码写起来比较麻烦,不如直接用FineBI方便,所以我们将这些数据存入数据库,以便连接FineBI。(FineBI其实可以直接用上传excel数据,但是我个人习惯用数据库)首先,打开FineBI的管理界面,点击数据连接,选择数据库连接之后,将爬取好的数据表直接导入到系统之中,供我们下一步分析使用。FineBI中有一个很好用的功能是自助数据集,我可以直接将添加数据表中的对应指标,如下:然后我们就可以进行数据加工了,其中我们要先祛除一些脏数据,比如空值列,我们在finebi中选择筛选,设置条件为
转载请注明:http://www.aierlanlan.com/rzgz/7928.html