一篇数据分析报告写作指南,你学会了吗

10月底了,马上要开始写各种各样的报告了。按理说,写数据分析报告是数据分析师最基本的技能,人人都该会。可怕就怕,自己辛辛苦苦写完的东西没!人!看!没人看还是好的,更怕的是。

估计每个做数据or想做数据的同学,都看过类似的说法:

数据分析报告分为六步:

  • 明确目的和思路
  • 数据准备
  • 数据处理
  • 数据分析
  • 数据可视化
  • 结论与建议

问题就是从这里开始的。

这个毒瘤误导了无数新人。

一、数据分析报告的错误姿势

之所以说这个玩意是毒瘤,是因为丫用并排6点的样式,严重干扰了人们的视野,形成一种错觉:这6个东西是按1-6的顺序,且工作量是一样的。实际上,真实企业工作中,他们的关系应该是:

为啥是毒瘤还这么流行?一个有趣的真相是:一般教育培训机构是把hadoop,BI,python 的课拆开卖的。而这两年主打卖的又是python,所以基本不怎么提数据治理这茬事。

二来,新人最喜欢的,才不是这些搬砖的基础工作呢,是模型!最好是人工智能模型!!所以两者一拍即合,教育机构准备一个数据集,新人按照样例把模型的代码敲进去,运行,体验掌握了人工智能模型的快感。大家都得到了极大满足,只剩下看报告的人郁闷:这尼玛也是分析?

想破局,当然是得回到真实工作中。本文篇幅有限,就先不讲基础建设,先聚焦讨论:如何从数据中发现真正企业关心的问题,做有价值的报告。

继续阅读一篇数据分析报告写作指南,你学会了吗

发布于

一次生产环境P0级事故,整个项目组被扣了绩效……

事件背景

当事人所在的公司核心业务是做政府信息化软件的,就是为政府部门开发信息化系统。其中有一款信息化软件是客户每天需要使用的,并且他们面向的客户就是老百姓。

某年某月,某地区信息化系统,周末升级系统以后,后面连续一周,持续出现系统不稳定、宕机、服务假死、数据库锁表等事件。甚至星期五下午,出现三个多小时无法恢复系统,造成恶劣影响。

系统整体运行架构

系统整体架构

相对传统的一个负载均衡运行架构。系统建设时间比较早(2016年),没有分布式框架,就是传统的SpringMVC+Mybatis架构,并且服务器都是基于Windows Server 2008的。

这套架构是出问题之前的架构,存在比较大的问题,在后续负载均衡章节会详细说明。

事件过程

事件持续了一周左右,出现了好几类的严重问题。

事故时间轴

事件造成的影响

公司口碑受到重大影响,此次事件公司常务副总、研发中心经理、主管全部出动,去安抚客户和解决问题(系统所在地区是沿海省会级城市,面向百姓,影响比较大)。

出严重问题当天,刚好有督查组来访问,碰到这个事件,机构年度考核扣了好多分。

后续行机构收到了大量投诉,影响了很多人考评。

继续阅读一次生产环境P0级事故,整个项目组被扣了绩效……

发布于

高级的数据分析,长啥样?

​“你有没有做过高级的数据分析?”

这个问题一出,又问劈了很多同学。

妈耶,平时都在跑取数单,啥是高级的数据分析见都没见过,咋整?今天系统分享一下。

一、通俗解释,什么算高级

问一个简单的问题:汽车上如果没导航,能不能开车?答:绝对可以。实际上导航普及也没几年时间。但没有导航,开车会异常麻烦:找不到路;错过路口兜一大圈;傻乎乎堵在路上不会绕……总之开车效率低了很多。

这时候,只有各种路况牢记于心的老司机才能又快又准的抵达终点——这是人们通常心目中的“高级司机”。如果你去采访他,他一定有很多“高级开车方法”可以分享。

但是有了导航以后,开车学习成本极大降低,以前菜鸟连路都找不到,现在按着导航走,也能大差不差地到达终点。虽然高级的司机肯定还是会略快一点,但是高级程度已经大大下降了——因为结果上的差距拉近了很多。

虽然老司机们口头上还是会有很多复杂的,难以学习的技巧,但是结果的差距相近,让人们不再那么迷信他们。反而开始吐槽他们的各种恶习:加塞、压实线、变道不打灯……

所以我们看到,所谓的高级有两种理解:

1、业务上的高级:被少数高人掌握,结果上又快又准,口头炫酷复杂。

2、技术上的高级:能帮助大量菜鸟,结果上提升效率,操作简单轻松。

那么问题来了:数据分析,算是技术呢?还是业务呢?

继续阅读高级的数据分析,长啥样?

发布于

一位老程序员38年经验总结:不要有年龄危机,直接去做

有人选择贩卖焦虑,有人选择继续前行。

能把一件事坚持 40 年的人并不多,我们今天要介绍的这位就是其中一员。他叫 Noah Gibbs,从事编程工作快满 40 年了,最近他用博客的形式分享了自己总结的一些经验。

再过两年,也就是 2024 年,我将成为一名拥有 40 年编程经验的工程师。在此期间,我也获得了丰厚的回报。我该从哪里介绍我的经验呢?就从软件开发说起吧。

软件开发还是「年轻」的

就拿编程语言来说,Fortran 可以追溯到 1957 年,同时期出现的还有 LISP 、Algol 等。设想一下,假如从 1957 年开始就有人从事编程工作,到今天也已经有 65 年的经验了。

至于我,自 1998 年以来,我一直是一名全职程序员,时间跨度达 24 年。不过严格说来,我从 1984 年就开始干程序员这一行了,这样算下来已有 38 年从业经验。

至于其他行业,例如文艺界大提琴演奏者马友友(Yo Yo Ma)从 4 岁半就开始拉大提琴,演艺生涯超过 63 年,但他还不是世界上演奏时间最长的音乐大师。根据吉尼斯世界纪录,有位音乐人在过去 80 年里连续发行了多个音乐作品,这还不包括现场表演或其他活动。

因此相比其他领域来说,我们(编程)的领域还很年轻。

继续阅读一位老程序员38年经验总结:不要有年龄危机,直接去做

发布于

Nature两连发:揭秘美国博导学术霸凌亚洲博士后黑幕

最近,Nature连发两篇文章,揭露美国的博后被导师PUA的内幕。来自国外的博后,就更惨了。降薪、威胁不给签证都是小意思,有的还被辱骂、欺凌。

你,一个外国人,想在美国的大学里做研究?

可以,但你需要接受比美国同事们更少的工资,更多的工作,外加「花样百出」的人身攻击。

8月10日,Nature连发两篇文章,揭露来自外国的研究人员在导师手下可能受到的辱骂、威胁,以及工作时长和经济上的剥削。

在美国的博士后中,有65%会遭职场霸凌和PUA。

文章地址:https://www.nature.com/articles/d41586-022-02142-8

文章地址:https://www.nature.com/articles/d41586-022-02155-3

美国学术圈的霸凌

Nature的研究发现:在美国学术圈,外来国家的研究人员正在成为被霸凌的对象。

初级科学家的生活可能很艰难,这已经不是什么新闻了。我们早就知道,糟糕的工作保障、低工资和对终身教职的激烈竞争,让这条路困难重重。但初级科学家面对的,还有更大的问题——遭遇霸凌。

Nature曾于2019年对全球的博士研究生展开调查,结果显示,有五分之一表示他们曾经历过欺凌,并且在国外工作的学生比在自己国家工作的学生更容易受到欺凌。

继续阅读Nature两连发:揭秘美国博导学术霸凌亚洲博士后黑幕

发布于