数
据
驱
动
变
革
目录
CONTENTS
有品位才有市场 有改善才有进步！
There is a taste for the market,
and improvement is the only way to make progress.
2022年大数据十大关键词及点评解读
风向
06
英国女王去世，8张图表回顾她的一生
数说
08
热点
10
支付杂谈
一线
04
原创
成都程序员分析，核酸系统一崩再崩，到底谁的锅？
04
05
驱动力
一线
支付杂谈
■ 作者：唐之刚
大家也知道我从5月开始一直扑在由银战牵头，多方合作的备付金项目里。其实这个项目比较正式的叫法应该是“人行去企业支付账户试点项目”。这个项目一方面给公司带来了真金白银，另一方面，我开始密集接触支付清算相关的知识也是始于这个项目。正好最近想站在自己的视角下的归纳总结一下近期阅读的资料及对支付行业粗浅理解，所以就以这个项目为引子展开。
一、为什么要去企业支付账户
从开始做这个项目直到项目的大后期，围绕整个项目的大背景一直有个问题萦绕我心头，让我百思不解，那就是：“央妈”为什么要推进第三方支付公司的去企业支付账户化？
这个问题其实是困扰我很久的，直到项目快结束的时候，我才找到了一个说服自己的理由。困扰我的点在于，自从2018年的“断直连”和2019年备付金集中存管后，人行对第三方支付机构的备付金账户的安全性和第三方支付机构与商业银行间的资金流动的掌控力是空前了的，为什么还是不放心呢？直到我注意到了央行296号文里面的一句话：“各银行、支付机构开展支付业务涉及 跨行 清算业务时，必须通过人行的跨行清结算系统或者合法的清算机构处理”。
跨行清算才需要使用合规的清结算系统，嗯。。。这个点就值得玩味了。想象一下这个场景，某机票代理某天往其在易宝的资金账户充值一千万，向某航司购买了总计500万的机票，得益于易宝强大且完善的账户体系，航司也在我们这开立了资金账户，那么这个机票代理今天的所有交易，都能够通过转账完成，相当于说交易在易宝的账户生态内完成了闭环而且不跨行清算，接着航司拿着这500万如果能够通过继续通过易宝的账户生态完成其他交易，那么在央行看来，能够察觉到的资金流动只有机票代理充值的一千万，其余的交易由于没过清结算系统，央行是不知道的。对于央行而言，我能想到的一个直接的弊端就是，通过账户生态完成的这部分交易是没法计税的。这显然违背了人行对资金流动的强监管的意志。所以才有了这个试点项目。
上文提到了两个对于支付界关键的事件：“断直连”和备付金集中存管，显然这两件大事是去企业支付账户的前奏曲，那么为什么央行要采取这两种手段作为监管措施呢？
二、断直连的始末
支付体系中，有三个重要的概念：交易、清算和结算。交易是支付前端的服务，包括支付指令的产生、确认、发送，特别是对交易各方身份的确认、对支付工具的确认和对支付能力的确认。现代支付的本质是支付信息的传输和账户余额变化，支付信息传输的过程是清算，对账户余额变动的过程是结算。也就是说清算是支付信息的归类、撮合。结算是账户变动的最终确认。
诸如易宝的第三方服务提供商，聚焦的则是前端的支付业务。从2010年以来，整个行业的发展形式出现巨大变化。新的市场参与者不断加入，金融机构成员类型和数量不断壮大；新的业务类型和业务模式不断出现，网络支付市场创新业务不断涌现，业务范围不断拓宽，扫码支付、人脸支付等现象级的形式与人民的日常生活日益密切。在体量与模式创新的双重加持下，行业整体的交易规模走向高潮。例如，作为老牌第三方支付机构，易宝顺应时代潮流，积极进取，从图1可以看到，交易规模在12年间增长了60倍！
06
07
驱动力
一线
支付机构如此迅猛的扩张态势，很大程度得益于支付机构与银行“直连”模式的诞生。所谓“直连”，即支付机构在商业银行多头开户、多头链接，通过在各银行开立的备付金账户办理跨行资金清算，变相行使央行或清算组织的跨行清算职能。
该模式给支付机构带来的好处是不言而喻的。最重要的一点就是可以利用其备付金存款作为筹码，从银行争取到更加优厚的条件，比如更优惠的通道费用以及对个性化需求的及时响应。
但是，直连模式存在风控上的问题。一方面，支付机构向银行屏蔽相关交易信息，银行对与交易风险的把控弱化。另一方面，由于缺少第三方的制衡和监督，容易在风险控制上出现问题，支付机构和银行容易形成“合谋”。
此背景下，新贵网联平台诞生了。它的主要职能是处理由非银行支付机构发起的，与银行交互的支付业务，并定于2017年3月底上线运行。并且，监管层针对直连和跨行清算问题多次发文，要求自2018年6月30日起，支付机构受理的涉及银行账户的网络支付业务全部通过网联平台处理。此后，人民银行就能够像通过银联监管银行卡业务一样，监管第三方网络支付业务。
三、备付金集中存管
中国人民银行对于备付金的定义是“费银行支付机构预收其客户的代付货币资金”。客户备付金产生于使用支付服务的过程中，由于交易与收付款的不同步，导致一部分客户及商户资金暂存在支付机构账户中。
从公开数据看，截至2013年第一季度末，支付机构客户备付金规模超过855亿元，同比增长近76%。截至2016年第三季度末，我国267家支付机构中有265家吸收客户备付金，日均余额超过4600亿元，2018年则突破万亿大关。
备付金的来源主要是三类业务，一是预付卡业务，二是银行卡收单业务，三是网络支付业务。其中网络支付备付金的存在形式又风味三种，其一，担保交易中，在买房发出支付指令后到确认付款前，资金停留在支付机构的账户中，保证双方按约屡行；其二，支付机构根据与商户协议，实行T+N的延时结算，在此期间内，待结算资金停留在支付机构的账户账户；其三，买家向支付账户充值后，或资金结算至商户支付账户后，客户不主动提现，资金存放于支付账户中。对于易宝而言，备付金的大头则主要是延时待结算资金和商户充值未付的资金。
随着支付机构业务的高速发展，支付机构的备付金规模不断增长。对于支付机构来说是“蜜糖”，但是对于监管部门来说却是“毒药”。在集中存管的前几年，挪用备付金的恶性事件常有发生。国务院发文明确强调非银行支付机构不得挪用、占用备付金，客户备付金账户应开立在人民银行或符合要求的商业银行。人民银行或商业银行不向非银行支付机构账户计付利息，防止支付机构以“吃利差”为主要盈利模式。要求在2019年1月14日实现100%集中交存，在商业银行开立的备付金账户必须全部销户。
对于支付机构而言，最直接的影响就是，利息收入没了；另外备付金存款的消失，对支付机构向银行的议价能力也是致命一击。但是往好处想，支付机构从此将更加聚焦提供优质的小额、快捷、便民小微支付服务。
四、总结
本文从本人对经历的去企业支付账户项目的一些思考为切入点，分享了与之高度相关的两大行业事件的始末与影响。由于知识有限，文中观点难免错误，欢迎批评指正。
08
为进一步加速推动我国数据智能转型进程，推动“十四五”期间数据智能产业交流与合作，由中国信息通信研究院、中国通信标准化协会指导，中国通信标准化协会大数据技术标准推进委员会（CCSA TC601）主办的2022大数据产业峰会在京召开。
在峰会主论坛上，中国信通院云大所所长何宝宏发布了《2022大数据十大关键词》。
09
驱动力
风向
2022年大数据十大关键词及点评解读
■ 来源：《数据工程师》公众号
■ 原文链接：https://mp.weixin.qq.com/s/7QjWOgZbWHezSMocAV_tTw
以下为演讲实录：
大家好，我是中国信息通信研究院云计算与大数据研究所何宝宏，今天很荣幸，由我来为大家发布2022大数据十大关键词。
大数据十大关键词是基于我们长期对于产业的研究观察，以及与一线专家的研讨交流完成。如图所示，本年度十大关键词涉及数据从计算机语言到成为生产要素的全生命周期，包括：
【数据资源化】，即数据从计算机语言到成为可被人类识别的信息
【数据治理】，即将散乱的、庞杂的数据进行归类、整理、管理
【数据资产化】，即将数据与货币进行对应挂钩，
【数据开发应用】，即加工数据使其为业务赋能，
【数据流通】，即完成数据在部门与部门间、机构与机构间进行点对点的合规交换共享，
【数据要素市场】，即促进全社会按照统一规范的制度、体系完成数据的合规流通利用，
【数据安全】，即保障数据流转的全生命周期符合相关法律法规。
10
11
驱动力
风向
关键词二：图计算平台助力大规模图数据资源化
图数据与传统行列式数据不同，它通过点、边模型，高效描述实体、属性、关系的数据模型，近年来被广泛用于企业智能营销风控等必要数据应用中。随着行业数据智能转型的深入，图数据在数据总量中的比例也正在快速上升。
Gartner预计，到2025年图技术在数据和分析创新中的占比将从2021年的10%上升到80%。随着图数据规模的变大，开启了图数据的“大数据”时代，起源于80年代的传统关系型数据库，以及起源于2000年左右的专用图数据库已经无法支撑大规模图数据的高效存储与计算。
图计算平台通过抽象计算层和集成层，在图数据库基础上增强了兼容性和大规模数据计算能力，实现了多种存储介质中图数据的高效汇聚以及多跳情况下的复杂计算能力。
目前该领域政策扶持力度不断加大，开源体系发展迅猛，商用产品层出不穷，从而快速支撑了图数据这一重要要素类型的价值释放。
关键词一：创新型数据库优化数据资源化过程
数据库作为支撑数据存储、计算的核心技术产品，为了适应数据要素相关需求，正快速进行技术革新。
一方面AI数据库、Serverless云原生数据库推动对于数据的价值挖掘从“阳春白雪”变为“下里巴人”。利用数据不再是金融、电信等数据密集型行业的特色，而是变成全社会、全行业的普适性行为。这导致数据的加工利用过程需要更加平民化、高效化。AI数据库具备自动运维、智能开发等能力，Serverless云原生数据库具备按量计费、弹性扩容等能力，均可实现数据加工利用过程的降本增效，正成为甲骨文、亚马逊、阿里、华为等巨头供应商的研发热点。
另一方面防篡改数据库、全密态数据库支撑数据完成高效确权定价、便捷合规流通。防篡改数据库在高效存储计算基础上，提供数据防篡改和操作防篡改功能，从而支撑数据确权定价，而全密态数据库能够实现数据在加密状态下的高效存储和计算，从而支撑数据合规流通。两者均成为MIT等学术机构的研究热点，以及华为、阿里等供应商的研发热点。
关键词三：数据中台成为企业挖掘数据要素价值的核心引擎
随着企业数字化转型的加深，数据相关系统、组织逐渐复杂、冗余，壁垒逐渐增多。为在组织或企业内部构建一套可复用的数据和分析能力，减少数据本身及相关技术架构的冗余，打通不同系统数据间的壁垒，数据中台应运而生。
其理论体系从发展初期的“百家争鸣”，逐渐聚焦和明确，并在业内达成共识，即数据中台构建了数据资源与业务价值间的骨干网，是“企业数智化转型的核心引擎”。
近年来，由于数字化转型政策的持续推动，数据中台发展迅猛，Gartner在成熟度曲线中将其标记为期望值最高。国内该领域供给侧迅速发展、供应商不断丰富，除概念提出者阿里巴巴外，华为、腾讯、网易、星环等大数据企业纷纷入场。
应用侧相关落地案例迅速增多，中国移动、中国联通、工商银行、农业银行等大型央企、金融机构以及各地方政府纷纷立项招标，并形成自身实践案例。
12
13
驱动力
风向
关键词五：数据估值成为数据资产化切入点
数据估值探索历程伴随着企业数字化转型的发展而发展。
Gartner于2015年提出信息价值评价框架，从信息内在价值、信息商业价值、信息绩效价值、信息成本价值、信息市场价值、信息经济价值六大维度进行衡量。但是，这一框架多停留在理念层面，仅明确了主要影响因子，未提出具体的测算指标和方法。
中国企业的全面数字化转型大致始于2015年，并在2017年后进入爆发期。企业在意识到数据价值的同时，投入了巨大的人力、物力和财力，因此，亟需一套估值指标清晰量化数据价值，评价数字化转型的成效。
自2021年初起，光大银行、南方电网、浦发银行等企业陆续进行数据估值的研究与实践。但是我们也应认识到数据估值仍处于发展初期，估值目的、估值框架有待在具体场景中探索验证。
我们在分析业界数据估值的成果后，认为可以将数据产品作为估值对象，而估值实际上是在衡量数据对于业务发展贡献的间接经济价值，以及将数据视为商品进行交易获得的直接经济收益，因此，数据估值是一项涵盖了数据管理、数据应用、数据交易、AI建模的综合性工作。
关键词四：DCMM贯标引领行业数据治理
DCMM是我国数据管理领域的首个国家标准，为企业数据管理工作提供客观的评价依据，指导企业体系化构建数据管理框架、持续优化数据管理能力。经过近3年时间的发展，DCMM已得到广泛认可，贯标评估的工作成效正加速显现。
在数据要素统一大市场的培育过程中，DCMM贯标评估可以提升各类市场主体的数据能力和数据活力，弥合地区间差异、拉齐行业间水平，扩大数据资源优质供给，从而提高数据要素流通效率，引导数据资源的高效积累和有序聚集。
为持续推动企业数据管理能力提高，工信部印发“企业数据管理国家标准贯标工作方案”，全国各地配套产业补贴政策，推动重点地区、重点行业的贯标评估工作，预计到2025年，贯标评估企业超1万家，宣贯培训人员超15万人。
14
15
驱动力
风向
二是一体机的技术实现方式不唯一，各家产品百花齐放。可基于可信硬件或加密卡，同时利用计算加速卡或网络加速卡，也可预装应用服务场景组件，组合方案多样化。多硬件多角度组合提升成为软硬结合发展趋势，并在金融政务医疗等场景崭露头角。
三是产品形态多样，标准化需求迫切，国内外已有多个标准带头规范技术研发和应用。但也值得注意，并非仅有隐私计算一体机可以突破应用瓶颈，扩大应用规模，面对数据安全流通巨大的需求，我们仍要继续探索更多好用易用的落地方案。
关键词六：DataOps定义数据开发应用新模式
DataOps的概念最早在2014年由国外学者提出，随后业界逐步对其内涵进行补充。其在2018年正式被纳入Gartner的数据管理技术成熟度曲线当中，由此进入了国际的视野当中。
2022年中国信通院正式牵头启动了DataOps的标准建设工作，以此为基础推动我国大数据产业的多元化发展。DataOps作为协助企业完成数智化转型的良药，供给侧和需求侧都在争相尝鲜。
厂商中，诸如腾讯、阿里、亚信、海南数造等公司纷纷采纳DataOps的理念构建新一代数据研发工具平台。企业中的一些头部机构，例如工商银行、农业银行、中国移动等也在对DataOps进行实践，并取得了不小的成果。
在标准化方面，今年信通院牵头联合各行业30余家单位开展标准制定工作。标准包括了7个模块25个环节，旨在推动我国数据文化扎实发展。
关键词七：隐私计算一体机助力数据要素流通破局
今年是隐私计算落地应用元年，多个场景应用加速落地，隐私计算一体机为应用开辟新路径。
一是作为软硬结合一体的专用设备，利用硬件特性增强软件实现方案，其安全加固、性能加速和易用性增强的三大优势，使得隐私计算一体机从众多工程优化方案中脱颖而出，降低用户使用技术门槛和综合成本。
关键词八：数据要素政策从宏观到落地
今年年初，十四五数字经济规划、要素市场化配置改革方案两份文件对数据要素的专门布局，让数据要素领域的探索再掀热潮，政策推进、产业实践都在不断深入、不断创新。
一是顶层设计逐步细化，国家站在全国统一大市场的高度对数据要素发展做出安排，又针对深圳示范区的数据要素市场准入做出具体部署，数据基础制度体系建设也在加快推进。
二是地方法规陆续出台，目前已有十九省市公布了相关数据条例，以促进数据利用和产业发展为基本定位，多以公共数据为抓手，结合地方实际和特色进一步激发市场主体活力。
三是交易模式不断创新。各地数据交易所优化经营结构，贵阳制定交易规则、上海建设数商体系、深圳打造开源社区等探索让数据交易有了更实在的依托。但是我们离数据要素价值的充分释放还很远，数据权属、定价的共识还未建立，数据泄露、越权滥用等问题加剧人们的不信任感，如何建立有效的规则体系和监管机制，如何利用前沿技术破解难题，仍需政产学研用各界共同发力。
16
17
驱动力
风向
关键词十：数据分类分级在数据安全治理中率先落地
数据分类分级作为数据安全工作的基础内容，是数据安全精细化管理的必要前提，需要在数据安全治理工程中率先落地。凭借在方法论共识、行业细化、工具开发等方面呈现的发展态势，数据分类分级同样上榜十大关键词。
首先，分类分级作为《数据安全法》明确提到的概念之一，引起地方、行业、企业的研究探讨，并逐渐形成从建立组织保障到落实对应级别数据安全管控策略的“七步走”方法论共识。
其次，为指导企业分类分级工作的推进落实，各行业通过制定标准规范，明确分类分级工作的原则、方法、定义，进一步细化相关要求。
最后，自动化分类分级工具或咨询服务在数据安全供方市场蓬勃发展。据中国信通院“可信数安”评估体系统计，2022年分类分级工具或服务的参评企业从2021年的4项增加至14项。
关键词九：数据安全合规整体迈入新阶段
随着2021年两法的颁布实施，各行各业的数据安全监管力度不断加强，合规工作也迈入新的阶段。
首先，为了正确理解监管内容，有效落实监管要求，各行各业广泛掀起了政策法规的学习浪潮。
其次，数据分类分级作为数据安全领域的重要工作，也是实现精细化安全管理的必要能力，同样成为这一轮学习热潮的重点关注对象。
再次，为推动本行业企业数据安全的贯彻落实，部分行业主管单位启动监管报送工作。
最后，在供应侧市场，部分企业开始着手开发合规管理工具，以协助需求方实现监管应对的自动化实现。
以上就是2022大数据领域十个关键词。最后，我们对其进行归纳总结，发现他们涵盖政策、理念、安全、技术等支撑数据要素价值释放的方方面面，这些关键词所涉内容的快速发展，进一步印证了我国数据要素市场在快速发展过程中，已逐步构建起政策引领、理念先行、技术支撑、安全护航的健康发展格局。
（本文来源大数据技术标准推进委员会）
18
当地时间 2022 年 9 月 8 日，英国女王伊丽莎白二世在苏格兰去世，享年 96 岁。白金汉宫在发布的公告中说：“女王下午在巴尔莫勒尔平静地去世。”
于 1952 年登基的伊丽莎白二世，到离世前已整整在位 70 年。作为英国最长寿的君主，她的一生不仅亲历了英国的种种变迁，也见证了整个世界的巨大变化。
为此，澎湃新闻整理了 8 张图表，帮你了解这位女王的一生和她所代表的一个时代。
19
彩虹奶奶，
一路走好
驱动力
英国女王去世，8张图表回顾她的一生
■ 来源：澎湃美数课
■ 原文链接：https://mp.weixin.qq.com/s/exeKQhuIvfmJRzFql8aMTg
英国女王，一条百年人生线
自伊丽莎白二世登基以来，英国先后经历了帝国解体、入欧、马岛战争、脱欧等一系列大事件。可以说，女王的一生，就是一部英国当代史。
从伊丽莎白二世出生到她去世这 96 年，发生了包括二战等一系列重大事件。
下图来源：EXPRESS，《女王的人生线》
数说
20
而女王本人也一直恪守着君主立宪制下的元首职责——仅代表国家形象，不去干涉政府决策。不同于政治家，一直能保持与国家、政府之间微妙平衡的伊丽莎白二世，对英国人而言，就是国家的象征。
但女王最引人注目的成就，还是源于她的“超长待机”。
2015 年 9 月 9 日，伊丽莎白二世超过了她的高祖母维多利亚女王 63 年 7 个月零 2 天的时长纪录，成为了英国历史上在位时间最长的君主。与此同时，查尔斯也创下了英国历史上最长储君的纪录。
21
驱动力
在位 70 年，英国和世界都变了
除了刚任命的特拉斯，伊丽莎白二世总共任命了 15 位英国首相。来源：半岛电视台，《信息图：伊丽莎白二世女王的周年庆和她的 70 年统治》
除了打交道的首相换了一个又一个，伊丽莎白二世面对的变化还有很多。
数说
而长达 70 年的在位时间，也让女王打交道的对象间年代感差异非常大。
从刚登基时的温斯顿·丘吉尔，到去世前才任命的莉兹·特拉斯，伊丽莎白二世前后任命了多达 15 位英国首相。另外，除了从未访问过英国的林登·约翰逊，女王还会面过自二战结束后的所有美国总统。
所以有人会感慨说：“铁打的女王，流水的首相”。
例如在婚姻观念上的变化。
伊丽莎白二世作为国家的象征，在道德标准上需要站在非常保守的立场上。
登基之初，她就在演讲中声称：离婚和分居是当今社会一些最黑暗罪恶的罪魁祸首。
只是接下来的几十年，英国社会对婚姻的看法变得愈来愈不那么保守。离婚率从 1952 年的 3%，上升到了 2015 年的 11%。
22
伊丽莎白二世在位期间，英国的人口、预期寿命、女性劳动参与率、平均薪酬、假期等都有不同程度的上升，但每年的结婚率在下降、离婚比例在升高。来源：《经济学人》，《在位时间最长的人》
这也是为什么 1997 年戴安娜王妃意外去世后，公众对英国王室的沉默感到愤怒。最终，在时任首相布莱尔和顾问的劝说下，女王下令白金汉宫下半旗致哀，并为戴安娜发表了电视讲话。
在那之后，英国民众对王室的态度逐渐转暖。而且，随着年龄升高，女王也开始打破自己保守的皇室代言人的形象，开始以一种更加慈祥的老奶奶面貌出现在公众面前。
23
驱动力
“彩虹奶奶”最爱的，是蓝色
数说
这其中最有特色的一个外号，当属“彩虹奶奶”。
这个名字缘于英国女王在不少场合，会身着各式各样的彩色服装，有时是红色，有时是黄色，像极了彩虹。
不过，有时尚杂志总结了这位“英国最大牌时尚偶像”的彩色系造型，发现女王对蓝色系的衣服情有独钟。
在很多次的新年演讲中，伊丽莎白二世都会身着蓝色的衣服，而且种类非常繁多，有深蓝、浅蓝、湖蓝、钴蓝等等。
这里统计了英国女王一段时期内参加活动时的衣着，其中接近三成都是蓝色。来源：《时尚》杂志，《彩虹女王》
不过，即使不用穿得花花绿绿，很多人也一直记着她曾经年轻一点的样貌，通过一种常人难以享受到的方式——纸钞上的肖像。
伊丽莎白二世的第一张钞票肖像，拍摄于她 8 岁的时候，于 1951 年在加拿大发行，那个时候她还没有登基。
在随后的 70 多年里，每一个年龄段的女王样貌，都借着钞票留下来痕迹。根据统计，伊丽莎白二世是世界上出现在纸币上次数最多的女性。
24
这里统计了在各国钞票里出现的各个年龄段的英国女王，从 8 岁到 80 多岁。来源：《华盛顿邮报》，《纸币上的伊丽莎白二世演变》
而女王去世后，英国央行表示，印有女王头像的纸币仍然是法定货币，只是接下来的新钞，要印上的将是下一任英国君主查尔斯。
25
驱动力
女王走后，英国皇室路往何方？
数说
查尔斯出生于 1948 年 11 月 14 日，现年 73 岁。自 1952 年伊丽莎白二世登基后，查尔斯一直位于英国王位继承序列的首位，是世界上等待继承王位时间最久的王储。
在伊丽莎白二世去世之前，查尔斯是第一顺位继承人，威廉王子是第二顺位继承人，不到十岁的乔治王子是第三顺位继承人。来源：半岛电视台，《信息图：伊丽莎白二世女王的周年庆和她的 70 年统治》
和总能给英国民众带来“定心丸”作用的伊丽莎白二世不同，未经考验的查尔斯国王会如何扮演英国君主立宪制守护者的角色，目前不得而知。
但在今年女王登基 70 周年之际，英国专业调查机构 YouGov 做的民调显示，超过六成英国民众支持保留现有君主立宪制，支持共和的民众只有两成，而且各党派、各年龄层的分类统计中，民众对君主立宪制的支持都超过了共和制。
YouGov 在 2022 年 5 月的一项调查显示，1669 名受访者中，有 62% 认为应继续延续君主制，该占比在 2012 年 7 月为 75%。来源：YouGov
只是有媒体指出，随着女王的去世，围绕君主立宪制的讨论有可能会被再度被摆上桌面。
伊丽莎白二世的离世，的确是一个时代的落幕。
26
27
驱动力
热点
作为9月2日成都核酸检测的亲历者，也跟所有的成都市民一样，经历了核酸系统崩溃之后的排队崩溃和心理崩溃。
昨天，在至少排了一个小时的队之后，前面还没有动静。我跑到志愿者扫码登记的地方观察了很久，也看了网上各种各样的分析，声音很多。
作为一个程序猿，也来说说我的看法。
在发出这个内容之前，我看到东软已经发出了声明，概括起来主要是这样：第一次崩溃是成都政府的系统不行，第二次则是因为网络不行。总而言之，都不是东软自己软件的问题。
对于这个声明，你问我怎么看？我最后再告诉你。
我先从技术角度对这个问题做一个整体分析。首先是网上的几个传说，但传说也仅仅只是传说，这个锅应该都不归它们。
首先：是说网络信号有问题，这个说法很明显在打脸。运营商的资源非常丰富。从事实上看，当时排队的人那么多，大家也都在刷视频、聊天，都非常流畅，完全无卡顿。呼吁大家让出信号通道，设置为飞行模式，完全是想多了，运营商表示不答应。
其次：有人认为是天府健康通的问题。
这个问题也有人澄清，成都的核酸检测可以通过刷身份证，或者扫天府健康通的健康码进行。
如果说真的是健康码有了故障，那市民们完全可以刷身份证来做核酸。但从市民们的反馈来看，这两种方法都无法成功。
那很明显，问题自然出现在了核酸系统这一端。我们也可以看到，这两套系统也是两个不同厂家提供的支持，另外根据热心人士提供信息，天府健康通规划的容量是完全足够的。
成都程序员分析，核酸系统一崩再崩，
到底谁的锅？
■ 来源：数据工程师公众号
■ 原文链接：https://mp.weixin.qq.com/s/ZBApD1_qGBBFSOZhQ2Fxvg
28
29
驱动力
热点
第三：有人认为是数据库的问题。
这个确实有可能，但不是数据库本身的问题，而是数据设计的问题。即便用了MySQL，也不能就说是数据库本身的问题，比如说，有一个灶台和一口小锅，一次不能炒很多，但可以多几口锅，分开炒，所以也不能把这个锅甩给MySQL数据库，同时这个数据库的设计一定是核酸系统厂家（迷之厂商）设计的才对。
分析完了几个传言，那么核酸系统是哪里出现了问题？
成都市民不外出小区，检测点全部进入小区，所以一下子要多出好几倍的业务量，的确对核酸系统提出了非常高的要求。针对这类高并发的业务系统，如何提高系统稳定性，可靠性，确实是一个技术活，这也不是简单某一点上的问题，而是一个系统工程，在多个环节上都需要进行控制，否则很难达到目标。
我接着从程序员的角度，来列举几个可能存在问题的环节。
第一：接入网关。
这个能力非常重要，也是互联网架构中不可缺少的环节，主要的能力是鉴权和限流。鉴权的目的是防止被非法访问，不合规不合法的访问请求被阻止掉；其次是限流，我们的系统设计一定有一个上限，超过上限怎么办？与其让系统崩溃还不如把请求控制在设计的流量范围内，系统还可以运行。
例如：我们设计的交通是四车道，当车流量达到四车道的负荷时，就进行限制，控制车辆进入，这样可以保障四车道的车流继续进行运转，如果不限流，其结果就是将四车道变成停车场，全部都堵死，谁也跑不了。这就是有些系统设计时考虑了这个环节时的情况是可能较慢，但不至于崩盘，不至于都不能用。
成都核酸系统，就很可能存在这种问题，在2号之前在区县使用的时候没有问题，2号进行大面积使用时，系统经常卡死，一直转圈，操作人员被迫终止程序重新登录。
30
31
驱动力
热点
高速公路变成停车场
第二：应用服务器扩展能力。
扩展分为垂直扩展和水平扩展。所谓的垂直扩展，大家容易理解，就是将处理能力低的服务器升级到高配置，例如：增加CPU，增加内存等，但是这种往往比较受限，服务器垂直扩展能力是有限的，不能无限制的扩展。
其次是水平扩展，就是说增加数量，就是一台服务不够，再增加一台，10台不够，就增加到20台，这个就和架构设计有关系了，能做到水平扩展才行，不然想通过资源来扩展都没有办法使上力。
成都核酸系统根据2号的情况来看，无论是扫描身份证读取身份基本信息，还是读取天府健康通健康码获取用户信息都比较慢，比较怀疑这里处理的服务器能力也不足，如果架构上非常灵活支持水平扩展，通过申请政务云资源，应该很快可以提升。
第三：业务缓存。
大家都知道数据存放在数据库中，每次的读写都需要产生大量的磁盘IO，这是性能的瓶颈，可以将高频使用的数据存放在内存中，大大提升读写的效率，同时也不用每次都访问数据库，既减轻了数据库的压力，也大大提升效率。
但是内存的数据不是长久存放，最终还必须要写到磁盘中，所以在架构设计的时候要充分考虑数据一致性和安全问题，防止数据丢失以及不一致。
根据2号的表现来看，成都的核酸系统在获取完待检测人员信息之后，加入到检测人员列表时，也需要较长时间，并且还容易在这个环节卡死，所以大概率是在写入数据时出现异常，有可能是直接采用写入数据库的方式，产生了数据库拥塞，所以是否使用了缓存技术无法判断。
32
33
驱动力
热点
第四：数据库的性能优化。
这是最后一个环节，包括：分库、分表、读写分离，也是最容易出现问题的地方。
一是采用分库，就是给数据库瘦身，不要把所有的数据都放在一个库中，类似不能把高新区的人都安排在一个小区一样，安排在一个小区，所有人都要通过小区大门进出，容易导致阻塞，就是说的请求拥堵。
二是采用分表，就是让单个的表中的数据不能太多，也是避免读写时产生拥堵，类似一个小区中的不同楼栋一样，如果所有的人都住在一栋楼，这些人员的进出就会很拥堵，进门要堵，电梯要堵，所以可以分成不同的楼栋，大家分开进行，减低拥堵可能性。分表的方式很多，可以按照日期来分表，每天一套表，也可以按照区域来分表，不同区域的数据存在不同的表中，结果就是单表的数据量会变小，读写拥堵可能性大大减低，这也是提升数据库性能的很好的手段。
三是采用读写分离，就是分成不同的库，有些库主要负责写入数据，有些数据库是负责查询数据，一个主库负责写，然后复制几个库来支持查询，这样可以将数据库的负荷进行分担，也可以大大提升性能。
成都的核酸系统也有可能是在写入数据时出现异常，很大可能是没有采用分库、分表的技术，导致在数据写入时产生大量的并发，写入不了。
很大可能性是：
没有考虑限流机制（应该根据压测的容量进行设置阈值）；
没有考虑缓存机制，导致都需要直接读写数据库，给数据库造成极大压力；
没有考虑数据库的分库分表，导致数据库异常繁忙，并发量大时，没有办法正常写入。
所以我认为与网络没有太大关系，和天府健康通也没有关系，和政务云资源也没有关系（按照需求进行分配，政务云的资源是动态分配，满足业务需求不会太大挑战）。
真心建议核酸系统开发公司认真分析，找出问题根源，进行认真优化，不要让我们再经历这样的情况！
其实，核酸系统的业务并不复杂。
主要流程就是：登录人员登录到对应的检测点之后，然后就是选择单检、混检1（10混）、混检2（20混）。假如选择混检1，然后扫描试管上条码，生成一组，再扫描检测人员，满10人后，选择封管，就能完成一组操作。
但就算业务逻辑不复杂，还能出现如此差的表现，那我分析主要问题还是出现在架构设计上，没有考虑高并发场景。
--数据部--
投稿：kai.zhao@yeepay.com
增值电信业务经营许可证：陕B2-20210327 | 
陕公网安备 61102302611033号