逆行武汉的「数据侠」
数据 逆行武汉的「数据侠」 数据 | 2020-03-16 10:48 逆行武汉的「数据侠」 Tech星球

大数据抗疫进行时。

 大数据抗疫进行时。



Tech星球(微信ID:tech618)

文 | 马微冰 

一场突如其来的疫情令人始料未及,每天跌宕变化的疫情数据,牵动所有人的心。

 

感染者、密切接触者数量、活动轨迹、时间节点等大数据,成为疫情防控的关键信息。而在备受瞩目的数据背后,有这样一群人,他们虽然不是医生护士等一线抗疫人员,却在疫情爆发后,逆行奔向疫情最严重的区域。

 

“真没想到,我回到武汉,就再也没离开过,而且一工作就是40多天。”说这句话的海致科技数据工程师许珂,就是许多逆行奔赴疫区的数据技术人员之一。

 

1月20日晚上8点,刚放年假的许珂抵达湖北鄂州的家中,正吃着晚饭时接到了公司的通知。

 

“武汉这边疫情爆发,需要做一些疫情分析支撑工作,我们武汉这边人手有限,需要8小时内到岗,你有没有问题?”放下手机后,许珂告诉家人,接到紧急任务第二天要返回武汉。

 

翌日一早,许珂简单收拾衣物,开车回武汉紧急待命。

 

彼时,各个城市还没有拉响警报,甚至武汉街头,戴口罩的人也不是很多,多数人和许珂一样还不能意识到后来发生的一切。

 

紧接着,武汉封城,全国各地防疫管控,以数字为标准展开筛查隔离。在疫情笼罩的3个月里,每一组数据、每一串代码都发挥了重要的价值。

 

一场大数据抗疫战,拉开了大幕,这是对大数据价值和“数据侠”成色的一次实战检阅。


临危受命的逆行者


“前所未有”,当提到这次疫情的感受时,这是许珂用到的词语。

 

“战疫”打响后,阿里、腾讯、百度等很多互联网公司开始向武汉,紧急运送支援物资。接到紧急召回的电话时,许珂并没有想太多,以为和平时加班赶项目一样,去几天就回来。但没想到,一直奋战至今。

 

1月20日,海致湖北负责人高勇波接到需求,需要紧急抽派人手组建一支技术团队参加武汉防疫指挥部的数据分析工作。

 

疫情中成立的防疫指挥部,是由政府部门、医院、卫生防疫机构、卫健委等联合组成的。防疫指挥部会下发一些数据核查、数据分析的需求,数据工程师们配合相关部门完成后,再把分析结果提供给指挥部,以供决策。

 

“因为年前也比较忙,最开始的时候我们今年准备提前放假,让大家去休息一下的,没想到遇上突发的疫情。”海致总裁杨娟对Tech星球说,“陆续接到来自于各地这样的电话后,我们立刻开始内部讨论。我们也很纠结,毕竟还是有风险,也很担心员工会有情绪,但大家基本上没有二话。”

 

接到紧急任务的高勇波,便在工作群里问大家,谁能够尽快来武汉,“有的是已经到家里返回的,有的是在半路掉头回来的,还有武汉当地不打算回家的,”没过多久,就有6名同事表示,可以第一时间返回,许珂是他通知的第二个人。

 

“接到通知后,我们6个人在1天之内全部到岗”,高勇波对Tech星球(微信ID:tech618)说道。

 

1月21日上午11点,许珂与6名同事到武汉集结待命。“我不知道这次具体是要做什么,只知道是疫情相关的事情。”刚到武汉的许珂,午饭还没来得及吃,便立刻参加工作会。

 

仅仅一个小时的工作对接,让擅长数据分析的许珂一下就意识到疫情的严重性,他知道即将开始的工作将会是前所未有的挑战。。

 

各级政府部门有上百种数据,存储总量极为庞大,分散在不同部门,同时各级医疗防疫机构,还拥有大量一手疫情数据的手工表格。这些冗杂纷繁的数据,要迅速的形成一套高效的数据接入、清洗、处理的机制,转化为精准的防疫信息,传递到防疫指挥部,对于高勇波来说,最大压力就是时间和每一条数据后面所代表的生命。后来有人问起高勇波当时的感受,“我从来没有过这样的体验,脑子里每一分钟都是人命关天四个字。”高勇波说到。

 

海致网聚实施总监邓华亮认为:前期工作是最难,也是最紧张的,“第一次会相对复杂一些,等我们把这些数据接入,以及处理的规则都建立好了之后,后续再进来新的数据随时更新,这个过程就是自动的。”

 

“短时间内,我们要接入各个部门的数据,做数据处理、清洗、关联,形成数据模型。数据流转机制刚刚建立,模型也都是摸索着做,改动很频繁,要的也很急。那是疫情爆发的第一阶段,需要做很多东西去摸索。”许珂说道。

 

许珂与同事们没日没夜的工作,从1月21日开展第一次密接人员信息发布开始,基本上每天都是凌晨三四点,甚至四五点才休息,早上八九点钟又要开始工作。一线“战疫”刻不容缓,许珂与同事们每天想着如何压缩时间,更快的形成数据模型应用。


第一道「数据防线」

 

确诊病例、疑似病例、发热门诊,这一些患者数据,如果能第一时间获取,用于后续研判分析,比如去发现这些密切接触者,及时通知他们,使数据及时下发到一线社区工作人员手中,都至关重要。

 

从1月21日开始,海致协助各地相关部门,通过海致的大数据挖掘系统,每天处理数据几十亿条,发出几万条关于“B类人群”(密切接触者)的信息,为社区工作人员的精准排查提供支撑,当时基本上是半个小时就要更新一次。

 

疫情防控的数据模型非常重要,前线的同事们也感受到前所未有的压力。高勇波说,“平常的工作会给一个时间,比如说一天或者两天。可现在同等量的工作,会压缩在一个小时之内就得完成。”

 

刚开始,他们下班后被安排在附近酒店休息,但随着疫情爆发城市管制,外地人不允许住酒店,所有酒店都被腾出给援助的医疗队。许珂与同事们直接在办公室旁边搭一张行军床,累了直接休息。

 

数据工程师在办公桌旁搭的行军床

 

“我们只能分清白天黑夜,没有其他的。”高勇波说。

 

防疫指挥部的第一步工作是要快速地把这些数据汇聚起来。邓华亮向Tech星球(微信ID:tech618)说道:“汇聚起来以后,发现数据标准不统一,数据质量也参差不齐。然后接下来的工作就是,抓紧把这些数据都整理好、清洗好”,这无疑是一个工作量巨大且高强度的事情。

 

随着确诊人数不断激增,23日上午十点钟武汉封城。全国最关心问题是,武汉到底外流出去多少人?去了哪,乘坐什么交通工具?每日的数据每日结清,每日的数据中各类关注对象信息都要当日上报。这些原始的一手资料,只能由武汉团队第一时间进行归纳,相比较其他城市的防疫,武汉的工作量都是乘以百计、千计、甚至万计 

 

邓华亮说,“掌握了外流人员信息后,我们利用大数据建模手段,构建了上百个分析模型,有数据真实性的交叉验证模型,有落地确诊病例模型,有外流人员去向查找模型,有密切接触人员身份落地模型等等。然后把这些模型的分析数据推送给一线防疫人员,抓紧去落地核查。可以说一个模型就是一个战场,每个战场都关乎生死。”

 

临时团队人员少,在巨量的数据处理信息面前,难免会出现各式各样的问题。“因为是多部门、多系统向一个地方汇集,又从一个地方向外发送,相较于技术支撑的难度,在整个分析运行的协同机制上可能会存在更多的问题,每天除了解决技术问题,更多的时候我们还要跟不同的部门进行沟通,提醒数据上报,询问接受反馈,确保工作顺畅进行。机制运行之外,就是不断地完善算法和功能,尽可能的压缩技术处理的时间,每压缩一点,就有更多的时间去处理更多的问题。”许珂向Tech星球解释。

 

由于武汉交通管制,海致北京总部的技术人员无法到达武汉现场,但为了能够保证及时协助武汉的团队,技术同事们24小时在线,远程帮忙排查解决问题。

 

1月30日,公司紧紧协调增援3名技术骨干进驻武汉,进行轮岗。同日,海致为全国2.2万名一线疫情防控人员,紧急开通了内网大数据分析平台账号,免费支持服务一线疫情防控数据分析。随后,从南昌、南京以及湖北很多正在被封闭的村镇,十几位海致工程师在短短几天内向武汉、孝感、黄冈、鄂州等疫情前线集中。

 

一道大数据防疫城墙建立起来。


火线增援总攻

大约一个月的时间,9位工程师连轴转,最终武汉的疫情防控数据模型逐渐稳定,“接下来要支撑湖北其他的地市,本地工程师人手已经不够,只能从总部抽调人过来。”高勇波向Tech星球说道。

 

研发总监翟士丹介绍,“我天天都在和勇波电话,既害怕又期待,害怕的是系统临时出现了什么问题,耽误了分析,期待的是按照前方要求新上线的功能,能带来救人的好消息。就这样,有时一晚上都睡不好,就想着能从哪儿下手,做的更好一点。” 

 

2月19日,武汉全面启用12家方舱医院,医疗资源得到缓解后,武汉疫情防控战役发起总攻,数据量倍增。应武汉疫情防控总指挥部要求,再次紧急增派数据分析师,火线支援。连明、张顺民宋彦朝三位“数据侠”主动请缨。

 

连明是北方区负责人,常年在北京办公。2月18日晚上8点,下班后的连明接到公司副总裁的电话。“武汉这边的兄弟已经连续作战30天了,为了保证大家的身体健康,我们得向医护人员一样强制替换,需要你现在支持武汉的疫情防控工作,明天清晨出发,OK么?”突然接到通知的连明,直接回复“没问题,马上清行李。“

 

随后,连明立即通知部门同事,“紧急去武汉支援,有没有问题?明早出发。”大家都没有任何迟疑。2月19日早上7点左右,连明与同事相约来到北京西站,往日人头攒动的西站只有零星的乘客,各自相隔很远。

 

7点26分,三人坐上了由北京开往深圳的G71高铁。武汉封城后,G71便不在武汉经停,但当听闻是派往武汉的支援人员时,武汉有关部门提前沟通,协调武汉站特批G71可以临停武汉。

 

连明与同事在高铁站

 

连明与同事们在同一截车厢,车厢内有七成的乘客。2月19日湖北以外的地区,疫情防控已经进入到中后阶段,北京有些公司已经复工,但武汉仍在严密防控中。下午13点,高铁抵达武汉,连明与同事拿着盖满印章的通行证,在武汉站下车,发现整个高铁站都空空荡荡。

 

连明说,“原以为当时武汉疫情也会好转些,但和想象中不一样,差别太大了。”坐在车上的连明看到此时的武汉很是震撼,“从人流和车流这两个角度,跟平时真的是天壤之别。”

 

在当地人员接应下,连明与同事直接到达防疫指挥部办公室。看到已奋战一个月的同事,并没有明显的疲态。“大家都在想把这个事做得更好,做得更精确、更精准一点,让疫情早日结束。”

 

五天以后,海致CEO杨再飞带着一批口罩、药品和食品,乘坐与连明同一趟高铁、也赶到了武汉。

 

高勇波说,“省市两级的最高领导,这几十天内都多次过来督战疫情防控,察看工作进程,审阅数据。”


打一场持久战

“这是一场持久战”,在连明看来。

 

随着疫情发展趋势的变化,不同阶段关注点是不一样的,分析的侧重点同样也会产生变化。

 

邓华亮说,“初步控制阶段,没有再集中爆发的情况下,我们会做一些基于流行病学的分析和研判,将以前全覆盖的防控,变成分级分区域的一些精准防控,提供一些分析模型的支撑。可以判定,同一个地市不同的曲线,不同的社区、小区哪些是高风险,哪些是低风险,作为精准防控的决策依据。”

 

无论何时,这些逆行的数据侠们也绝不是孤军奋战。“看到同事在前方奋战,开始自己没办法出力,心里还是比较难受的”,徐培对Tech星球(微信ID:tech618)讲道。

 

身为武汉团队的一份子,徐培由于身体原因在家休养。1月21日,高勇波询问是否有人能到达武汉时,徐培也积极响应,但年前刚做完心脏瓣膜手术,领导建议徐培暂时先不参与“前线”工作。

 

但随着武汉的疫情每况愈下,徐培说,“既然不能在一线,我就做后勤保障工作,为大家改善一下伙食或者是营养,换一种方式并肩作战。”

 

没有家人陪伴、没有年夜饭,一线的工程师们开足马力工作,除夕、春节、元宵节等等,对于大家而言都没有概念。“年夜饭就是在现场,坐在一起,每人一个自嗨锅,当时觉得已经十分幸福了”,高勇波说道。

 

2月份,武汉甚至整个湖北的物资都比较匮乏,了解到前线同事们经常在吃泡面,徐培和家人们发动所有的力量,每天通过各种渠道购买食材。

 

因为徐培在家静养,采购和送东西的事情都是由妻子代劳,有些需要加工的,母亲会一起帮忙。从2月初开始,徐培每隔一两天就会到指挥部运送物资。一般早上出门,赶在同事吃中午饭时送到,这样能吃到比较新鲜的食物。

 

“有一次,同事们说想喝可乐,后来我在一个店里看到,把他们一整个柜台20多瓶可乐全买走了,第二天送去,他们见到可乐时特别开心。”

 

随着物资逐渐丰富,疫情趋于平缓。各地都在有序复工复产,数据模型搭建的重心也在改变。

 

2月22日,许珂与同行的两位同事,被安排去构建湖北全省的防疫大数据平台。“我们会做一些风险预警的模型,及时发现一些可能的发热患者,或者疑似病例,防止再次扩散。”邓华亮对Tech星球说。


“抗疫”背后无形的手

“大数据这张看不见的抗疫网,可以说是决定生死,至关重要”,2月24日,海致网聚CEO杨再飞在朋友圈写道。

 

一线工程师许珂家里有两位同样在一线坚守的亲属,父亲与大伯都是医生。“从疫情开始,大伯就在鄂州一线救援。但1月26日开始发热,确诊感染,2月13日很不幸没能挺过去,离开了我们,同样被感染的大伯母还在隔离治疗中。”

 

许珂说,“经历过这个事之后,才真正的觉得我们每天看到的,手里头的那些数据,真的就是一个个活生生的生命。很多时候看到一个生命,从最初的密接人员数据表格一步一步挪到病亡人员表格,那种感觉是难以忍受的。我们从来没有做过这样的数据分析,这也是我们能超出个人极限,咬牙坚持下来的最终原因。如果说,有一点数据没弄好或者弄错了话,会导致非常严重的后果,就是一个生命没办法得到及时的救助。”

 

疫情是灾难,同样也是一种警醒。作为“抗疫”背后无形的手,大数据的重要作用,在这次疫情防控中愈发凸显。之前,政府和企业往往觉得数据是一个辅助性的工具,仅仅是一个参考,但在这场“战疫”中,许多人开始真正意识到大数据的重要性。


   海致公司制作的智慧大屏效果图

 

正如谢尔曼・斯坦因所阐释的,数学化远不止是“一堆数字的计算过程”。“当在一个突发的、超级复杂,不断动态变化的过程当中,如果没有大数据,就没有办法支撑决策,这时候大数据成了决策的本身”,杨娟对Tech星球(微信ID:tech618)说道。

 

疫情爆发后,互联网科技公司都纷纷利用自己的大数据技术能力,快速地投入抗疫之中。

 

1月21日,丁香园推出了“疫情实时动态”信息页面;22日,微信上线疫情实时搜索功能;23日,腾讯健康和百度地图同时上线“发热门诊地图”,推出了百度迁徙数据,腾讯看点上线“战肺炎”频道和“关注肺炎”专题,以及疫情地图和预防手册;阿里达摩院研发AI算法,将原来数小时的疑似病例基因分析缩短至半小时,大幅缩短确诊时间。

 

“战疫”接近尾声,但尚未结束。一线战斗岗位仍需坚守,在这场“人命关天”的争夺战中,大数据工程师们担负了重大而特殊的使命,保卫了许多人的健康。

-END-

本文由Tech星球投稿一鸣网,本文仅代表作者个人观点,文章非经授权请勿转载,

向一鸣网投稿,请点击投稿按钮,详情请参阅《一鸣网投稿须知》。

互联网人都在关注的微信号

难道你还没有关注?