什么是数据分析
只要基于量化的信息提升生产力,就是数据分析
·取数是数据分析、做表是数据分析、搭看板、写报告是、做挖掘、建模型也是
·就算是基于⼀个简单的数字做出再⼩不过的⼀个业务判断,也是
·它们都是⼀名合格的现代商业⼈才所必须掌握的⽣产技能
·更是我们所有⼈客观认知世界、改造世界所必须掌握的武器
数据分析的优势
1.能够反复读取和使用
·极大提高了信息利用率。
·可以摆脱时空限制记录各种事实
2.客观
·不像各种模糊的口头描述,基于数字的数据绝对客观
·一就是一,二就是二,数据本身有绝对的说服力
·可以使企业的各种协作都能基于量化的数字定目标,并基于量化的反馈,分享问题调整策略
·极大提升了企业的协同效率
3.量化
·数字化的数据能进行各种计算
·可以通过数学手段,基于已知的数据推导出未知的信息
·使得在投入资源前就能验证现有的业务模式是否能盈利,如果不盈利也能知道如何基于数据进行改善
·极大地降低了因为盲目尝试而产生的成本
4.机器可处理
·对数据进行的各种读取、存储、处理和计算,都能借助计算机完成
·只要基于数据进行的生产可以通过机器实习自动化,可以极大提高了基于数据的生产效率,解放了人类的生产力
成熟的数据分析流程
业务
数据专员:
·取数做数提供数据支持
·下载汇总处理数据为业务提供支持
数据运营:
·基于业务需求找数据验证
·严格客观地根据数据做业务调整
商业/数据分析师:
·为业务和数据运营提供系统的数据监控
·针对重要的业务问题提供系统的分析报告
·基于数据为业务出谋划策
开发
数据产品经理:
·根据业务需求设计数据产品
·给算法工程师提需求并设计流程
数据工程师:
·负责数据仓库的开发和底层库表的维护
算法
算法科学家:
·研发各类模型和优化算法
算法优化师:
·调用现有模型调参优化
算法工程师:
·将模型部署应用到业务中
数据分析在业务中的运用
1.是什么?
·本质都是用数据区量化企业当前的经营现状或者业务事实
·就是把业务细节都转换成具体的数据,然后通过图表来呈现业务到底发生了什么
·是通过数据解决后面几类问题的基础
·大家平时用的数据库,做的图表,搭的看板,基本都是为这个问题服务
2.为什么?
·日常业务中,我们会发现各种数据上的差距和异常
·为了达成既定的业务目标,我们就需要探究这些差距和异常背后的成因
·通过各种分析方法拆解问题,找出可能影响结果的原因
3.怎么做?
·往往要老板亲自设计商业模式,然后产品和运营一起努力才能给出完善的解决方案
·而分析师在这个过程中,主要负责的是外部信息的整合梳理以及方案的评估
·投入产出比、预计的未来成本、现金流能支撑这个模式到什么时候、可能产生的问题都要全面考虑
·不仅如此,深入业务的分析师,还要负责设计数据实验去验证策略的可行性
4.做多少?
·具体的有业务目标、绩效方案、业务模型等一系列的测算
·目的是计算出使当前策略投入产出比最高的过程参数
·也就是决定具体执行时,每个环节用多少人、花多少钱、最终投入多少资源
·需要注意的是,这类问题技术难度不高,但是涉及利益分配
是什么?为什么?
思考问题
1.确认问题、描述问题:
·**”因为”+背景**: 因为5月1日的营业额突然下滑了10%,而历史从未出现过类似的跌幅
·**”我想”+目的**: 我想知道本次下滑的原因以此避免再出现这样的异常情况
·**”现在”+思路**: 现在能想到的原因是节假日和产品环节转化异常
·**”最后”+感谢**: 想请你帮我取数分析一下,万分感谢!
2.拆解问题
·正确的答案往往就隐藏在某一特定的角度里
·成熟的分析师会搭建起自己的分析矩阵,对问题进行全方位地拆解,以此更加高效地找到答案
3.量化问题
·将拆解的元素转化为数据,进行量化分析
·将想到的数据,一个个转化为具体的表格格式
·结合分析的目的和实际的业务场景确定每一个指标的统计口径
分析数据
收集数据
内部数据:
内部的数据库里直接写SQL取数,没有的字段直接提出需求让数仓补充
从现成的数据平台直接下载数据
外部数据:
(1)行业数据平台
Wind
艾瑞⽹
易观
艾媒⽹
TalkingData
199IT
友盟
腾讯研究院
第⼀财经商业数据中⼼
德勤
普华永道
Kaggle
和鲸
(2)热度分析统计中心
百度指数
艾瑞指数
腾讯浏览器指数
微信指数
知微传播分析
微热点
(3)查数据
CNZZ数据统计
Google统计办
诸葛IO
growingio(看数据)
ptengine(⽤⼾⾏为)
GIO神策
友盟
TalingData
GA
(5)公众号数据
易观智库
清博指数
199IT
西⽠数据
新榜
微⼩宝
爱微帮
(6)公众号竞品
淘宝
新榜回采
壹数据回采
西⽠数据
考拉新媒体助⼿
清博指数
微⼩宝
(8)国内公开数据
国家统计局国家数据
中国统计⽹
国家数据
⼤数据导航
⼤数据123
中国⺠政⽹
巨潮资讯
中国互联⽹信息中⼼-CNNIC
百度指数
微博数据中⼼
(9)国外公开数据
⽪尤数据库
BIS statistics
Tradingeconomics
Federal Reserve Economic Data
WTOdatabase
Economy Watch
NationMaster
世界银⾏
哈佛世界地图计划
IndexMundi
(10)爬虫(基本上都是面向监狱的编程,多数违法。)
未获得网站运营方允许,禁止此行为!请求API,才是王道。
处理数据
收集到的数据多数情况下无法直接使用
需要将各种脏数据转换为数据库⾥⽅⽅正正的标准数据
只有处理后的标准数据才能在Tableau、PowerBI、Python等各种智能⼯具中进⾏批量处理
制作图表
制表:透视表和各种报表
做图:⼈是天⽣的视觉动物,你看条形图判断⼤⼩会⽐单纯看数据要快得多
上传发布
将我们的图表发布为⼀个个可以访问的⽹⻚
这些功能在成熟的BI⼯具中早就⼀键封装了,配置好后轻轻⼀点就可以实现
怎么做?做多少?
思考问题
发现问题、定义问题、选择问题、确认问题、拆解问题、量化问题
分析数据
收集数据、处理数据、制作图表、上传发布
输出策略
一句话+一幅图、收集策略、对比策略(测算、赛马、分析报告)、讨论方案
验证策略
设计实验(AB测试)、收集数据、多轮迭代、确定方案
沟通跟进
沟通汇报、落地策略