Python数据分析技能框架总览图
话不多说,先上一张总览图:
看不清?没关系,接下来,我将为你详细此图,全面地绘制了Python数据分析的整体技能框架,由7大主题组成:
一、数据分析的整体流程;二、问题的定义以及数据的获取方法;三、数据库的基础技能:数据的查询与提取;四、数据分析的Python基础技能;五、数据分析的统计学基础;六、数据分析与建模方法;七、分析报告的撰写与数据思维;
一、数据分析的整体流程
此部分,描述了完整的数据分析流程,如下8个步骤:
问题界定:明确业务需求和最终的任务目的;问题拆分:遵循业务逻辑,拆分不同的维度;指标确定:确立可探索的指标,界定关键指标;数据收集:收集相关的数据,包括内部和外部的;数据清洗:对数据统一化处理,消除数据噪音;数据分析:分析与可视化数据,得出分析结论;趋势预测:挖掘建模,预测未来;报告方案:输出分析报告及业务解决方案。
二、问题的定义以及数据的获取方法
此部分,描述了定义问题的方法、流程和模型,以及获取数据的来源渠道。
1)定义问题的流程及方法:
明确问题的边界:分析的目标是什么?需要输出什么成果?确定关键指标和逻辑:按业务逻辑细分目标,确定关键指标;初步进行定性、定量分析,并明确分析模式;2)常用的分析模型:
经典模型:5W2H、SWOT、4P、CATWOE、STAR、五力等;常用业务模型:用户画像、销售影响因素、市场变化因素、AARRR流量模型、金字塔等;
3)数据的来源:
企业内部数据:产品数据、用户数据、订单数据、行为数据;外部公开数据:开放网站、政务公开数据、数据科学竞赛、数据交易平台、行业报告、指数平台;网络数据爬取:财经数据、投资数据、房产数据、舆情数据、影音数据、新媒体数据;
三、数据库的基础技能:数据的查询与提取
此部分,描述了数据分析所需的数据库技能体系。
1)MySQL的技能体系:创建/连接、增删改查、函数运算、索引、排序分组;
2)MySQL数据表基本操作:创建表(Create)、删除表(Drop)、修改表(Alter)、插入行(Insert)、删除行(Delete)、更新行(Update);
3)MySQL数据查询语句:Selet......From......
4)MySQL排序与索引:Orderby与Index
四、数据分析的Python基础技能
此部分描绘除了,用Python做数据分析必备的技能框架:
编程规范:比如,标识符、保留字、多行语句代码、缩进数量等;数据类型:字符串、列表、字典、数字、元组、集合;函数:内置函数与自定义函数的用法;控制语句:条件语句与循环语句的用法;模块使用:内置模块与第三方库的使用;输入输出:文件的读写、代码的优化;
五、数据分析的统计学基础
此部分,描绘了做数据分析必备的统计学概念和算法:
基本的统计方法及常用的可视化方法;分散性与变异性的度量方法及算法;概率论基础及统计方法及算法;数据分布、正态分布、抽样统计方法及算法;置信区间及假设验证;
六、数据分析与建模方法
此部分,描述了数据分析和建模的方法、流程、工具的使用技能。
1)数据分析的方法:描述统计、假设验证、信度分析、列联表分析、相关分析、方差分析、回归分析、聚类分析、判断分析、主成分分析、因子分析、ROC分析、时间序列分析、生存分析、对应分析、决策树分析;
2)工具:NumPy、Pandas、Matplotlib、Seaborn;
3)数据挖掘方法:回归、分类、聚类;
七、分析报告的撰写与数据思维
此部分,描述了数据分析报告的撰写思路、方法、步骤和要点。
报告撰写的思路
先总后分、逻辑清晰、层层递进:了解用户偏好,针对性输出,结构化思维,先有提纲,再有主题分解,层层递进;形象化表达、可视化呈现:有数据、有指标、有对比,可视化呈现,图图有论点;闭环思维:从问题定义,到数据分析,结论呈现,到解决方案;撰写流程
明确目标:确定最终的业务目的、对问题拆分、确定必要的输出成果;确定逻辑:结构化问题、确定讲述逻辑框架、细化及补充内容;表达与呈现:合适的数据、合适的图表、优化设计;