前言

如果把之前做anti spam的工作也算是数据分析的话(确实跟数据分析沾边,当时招聘的时候就说懂机器学习是个加分项。其实我们当时所做的工作,可以用"专家系统"来概括:通过我们的知识和经验,去写规则和脚本去anti spam),再加上在华米科技的这3年多做大数据分析的经历,也算是一个在数据分析领域浸淫了快7年之久的人了。如果再加上大学四年的"信息与计算科学"这个专业的学习经历(其实是3年,因为大一上半年是在农学类专业,大一下学期转到信息与计算科学),那就是跟数据打交道了快10年的人了。往多了说10年,往少了说3年多,也是该写点总结了。

BTW,最近在看《谁说菜鸟不会数据分析》这本书,发现自己的很多思考跟书中提炼的内容竟然不谋而合,看来这本书还是不错的,哈哈哈。

数据分析的分类

从技巧和方式来看

  1. 描述性数据分析(Descriptive Data Analysis)

    • 对数据进行概括性描述
    • 计算基本统计量:均值、中位数、方差等
    • 可视化展示数据分布

  2. 探索性数据分析(Exploratory Data Analysis)

    • 发现数据中的模式和规律
    • 提出假设
    • 为进一步分析奠定基础

  3. 验证性数据分析(Confirmatory Data Analysis)

    • 验证假设
    • 确认发现的显著性
    • 得出结论

从作用来看

  1. 现状分析

    • 了解当前业务状况
    • 监控关键指标
    • 发现异常情况

  2. 原因分析

    • 分析问题产生的原因
    • 找到关键影响因素
    • 为决策提供依据

  3. 预测分析

    • 预测未来趋势
    • 建模预测
    • 支持战略决策

数据分析的六步曲

在《谁说菜鸟不会数据分析》这本书中,作者总结了数据分析的6步曲:

  1. 明确分析目的和思路

    • 理解业务需求
    • 定义分析目标
    • 制定分析框架

  2. 数据收集

    • 确定数据源
    • 提取数据
    • 数据质量评估

  3. 数据处理

    • 数据清洗
    • 数据转换
    • 特征工程

  4. 数据分析

    • 选择分析方法
    • 建立模型
    • 验证结果

  5. 数据展现

    • 选择合适的可视化方式
    • 制作图表
    • 突出关键发现

  6. 报告撰写

    • 总结分析结果
    • 提出建议
    • 沟通汇报

实际上,只要是在企业里做过数据分析的人,这几步应该都是做过的。或许在报告撰写这块,不是每次都需要,尤其是做临时业务分析,并非每次都要写结论报告。

数据分析的难点

针对上面的6步曲,以我丰富的"描述性数据分析"经验来看,1-5都不难,只要:

  • 受过专业的数学或统计方面的训练
  • 加上一定的数据分析专业工具和知识的培训
  • 就可以上手了

但是第6点就比较复杂了,可能跟我这边"报告"撰写的少有关系,毕竟我们很多都是临时业务分析,不需要出报告。而且报告的撰写需要:

  • 要有文字功底
  • 要有优秀的思维能力
  • 要有不错的排版技术
  • 要对业务足够的了解
  • 要对商业有一定的了解

常见误区

书中提到的误区

  1. 分析目的不明确,为分析而分析

    • 没有明确的业务目标
    • 为了做分析而做分析
    • 分析结果无法落地

  2. 缺乏业务知识,分析结果偏离实际

    • 不理解业务逻辑
    • 分析结论脱离实际
    • 无法产生实际价值

  3. 一味追求使用高级方法,热衷研究模型

    • 过度追求复杂模型
    • 忽视简单有效的方法
    • 为了炫技而炫技

我的补充

从我的经历中,我还要加上下面几点:

  1. 收集数据时盲目相信数据提供者

    • 比如有同事在找云端问数据在哪里时,云端说啥他就认了
    • 也不仔细思考:为啥用这个表,不用另外一个表?
    • 两个表有啥区别?

  2. 分析出数据就完事了

    • 不去跟历史相似的数据交叉比对
    • 也不想这个分析出来的结果有啥用
    • 是否解决了数据需求者的问题?

数据分析师的职业要求

作者总结了以下五点:

1. 懂业务

  • 理解业务逻辑
  • 了解行业知识
  • 知道数据背后的含义

2. 懂管理

  • 理解管理需求
  • 能够向上管理
  • 项目管理能力

3. 懂分析

  • 掌握统计方法
  • 熟悉分析算法
  • 能够选择合适的分析方法

4. 懂工具

  • 熟练使用分析工具
  • 编程能力
  • 数据库操作能力

5. 懂设计

  • 数据可视化设计
  • 报告排版
  • 用户体验意识

职业发展的思考

要做好一个数据分析师,难不难?很难。

很多人在"懂分析"和"懂工具"这块就做得不好了,而其实"懂分析"和"懂工具"应该是作为一个数据分析师的硬性和基本的要求。

做过几年数据分析的人,应该都能理解"懂业务"、“懂管理"和"懂设计"对于一个数据分析师来说也是非常重要的。

  • **“懂分析"和"懂工具”**决定了你能不能成为一个分析师
  • **“懂业务”、“懂管理"和"懂设计”**决定了你是不是一个好的分析师

遗憾的是,我自己在后三点上,虽然有意培养自己在这块的能力和意识,但是并非优秀。

数据分析师的基本素质

作者也总结了数据分析师的基本素质:

  1. 态度严谨负责

    • 对数据负责
    • 对结果负责
    • 对结论负责

  2. 好奇心强烈

    • 对数据敏感
    • 善于发现问题
    • 探索未知

  3. 逻辑思维清晰

    • 思路清晰
    • 推理严密
    • 结论合理

  4. 擅长模仿学习

    • 善于学习
    • 快速上手
    • 持续进步

  5. 勇于创新

    • 尝试新方法
    • 改进现有流程
    • 创造价值

我的补充

除了这5点,我想加上我自己的理解。毕竟数据分析师是要在公司或者各种机构里工作的,是要跟人合作的,应该具备如下的素质:

  1. 要有很好的workflow优化意识,很好的自我管理

    • 时间管理
    • 任务管理
    • 流程优化

  2. 要有不错的编码能力和规范,代码管理工具使用能力

    • 版本控制(Git)
    • 代码规范
    • 文档编写

  3. 扎实的数理知识

    • 概率论
    • 数理统计
    • 线性代数

看起来很像招聘贴子中的条款是吧?是的,但是这个就是现实。数据分析师要到真实的环境中去,要成为一个合格的team player,上面说的三点,最好是都具备。要不然,就落入下乘了。

总结

数据分析是一门需要扎实理论基础与丰富实践经验相结合的学科。它不仅要求分析师掌握统计学、机器学习等技术知识,还需要深刻理解业务逻辑,具备良好的沟通能力和商业思维。

对于想要从事或正在从事数据分析工作的人,我的建议是:

  1. 打好基础:扎实的数理统计知识是必不可少的
  2. 深入业务:不要脱离业务做分析,要成为业务专家
  3. 持续学习:数据分析领域发展迅速,需要不断学习新方法新工具
  4. 注重实践:多做项目,多解决实际问题
  5. 培养软实力:沟通能力、表达能力、商业思维都很重要

Play with data and have fun!