云计算与大数据进阶 | 26、解锁云架构核心:深度解析可扩展数据库的5大策略与挑战(上)

article/2025/8/16 1:19:56

在云应用/服务的 5 层架构里,数据库服务层稳坐第 4 把交椅,堪称其中的 “硬核担当”。它的复杂程度常常让人望而生畏,不少人都将它视为整个架构中的 “终极挑战”。

不过,也有人觉得可扩展存储系统才是最难啃的 “硬骨头”,其实这场关于谁更复杂的争论没有标准答案,很大程度上取决于具体的业务应用模式(就可扩展存储系统,老夫打算在后续的文章中具体再聊)。

对于那些涉及复杂交易处理的应用来说,数据库服务层实现面临的挑战难度显然更高,每一次数据的读写、每一个事务的处理,都像是在走钢丝,稍有不慎就可能引发数据混乱、系统崩溃等严重问题,实现过程中的挑战难度堪称地狱级别。

但如果是单纯处理海量数据的简单事件应用,数据库服务层反而显得有些 “多余”,这时候,云存储层摇身一变,就成为了整个系统的 “难点 C 位”,承担起了更为复杂的任务。

数据库扩展大体有纵向扩展主仆读代理模式主–主模式分区模式分布式共识模式5类解决方案。这些方案共同构成了可扩展数据库的 “魔法宝典”,助力企业在数据的海洋中乘风破浪。

(1)纵向扩展

在数据库扩展的工具箱里,纵向扩展就像是给系统注入一剂强化针。它最直观的方式,是对硬件配置大刀阔斧地升级 —— 换上更强劲的 CPU、扩充海量内存、搭载读写速度更快的存储设备,如同给数据库系统装上超级引擎,让数据处理的吞吐量直线飙升。

同时,纵向扩展也在软件层面持续发力。以表结构优化为例,它会巧妙运用索引,让系统能快速定位数据;极力避免多表间复杂的关联查询,减少系统的运算负担。这种软硬件协同优化的方式,曾是第二平台应用扩展的黄金法则,在当时的技术环境下屡试不爽。

然而在第三平台云应用时代,纵向扩展就显得有些力不从心了。云应用庞大的用户规模与爆发式增长的数据需求,仅靠纵向扩展的单打独斗,根本无法满足日益严苛的可扩展性要求,逐渐在新的技术舞台上退居幕后 。

(2)主仆读代理模式

数据库服务层的横向扩展方法有多种,其中最基础(简洁)的是主-仆模式,如图1所示。

图1: 数据库横向扩展之主-仆模式

主-仆模式通常由一个Master(主)节点“挑大梁”,包揽所有数据的读写操作,同时配备一个或多个 Slave(仆)节点组成 “辅助小队”,专门负责数据的只读任务。

这样的设计和分工相当巧妙,相当于给数据读取能力装上了“加速器”,数倍提升读取效率,而主节点卸下部分读负载后,写操作的处理也更加游刃有余。我们知道大多数数据库系统读操作的数量远远超过写操作(如更改、删除、添加)的数量,因此读操作的加快能有效解决这类系统的效能瓶颈,让系统运行更加丝滑流畅。

主 - 仆模式能高效运转的关键在于 “单点写入” 的设计智慧。样的设计只让主节点执行写操作,就像给数据管理立下了一个唯一指挥权的规矩,这就从根源上规避了多点同时写入引发的数据同步混乱。

不过,主节点在完成写操作后,还得肩负起数据搬运工的重任,及时将更新的数据同步到各个只读节点。这就好比一场数据接力赛,要求主仆节点之间必须搭建起高带宽、低时延,否则一旦数据复制延迟,就会出现数据读取与写入 “对不上号” 的尴尬局面。

通常来说,为了让这个架构发挥最大威力,工程师们往往会在主 - 仆数据库架构中安插负载均衡组件。它就相当于一名智能调度员,可以精准分配数据读取任务,确保每个 Slave 节点都能物尽其用。

值得注意的是,这一层的负载均衡操作主要集中在 TCP/UDP 层,并且常常基于定制的数据库通信协议展开,和应用服务层常见的标准 HTTP (S) 负载均衡大不相同,堪称数据库横向扩展里的专属秘籍。

(3)主-主模式

前面咱们通过主-仆模式解决了系统读操作可扩展难题,那么,可写操作的 “扩容困境” 该怎么破呢?答案是确切的——有,只不过要攻克的复杂度会高很多。

回顾之前的章节中我们讨论过的CAP理论,在强一致性的数据库系统(ACID 系统)里,数据一致性就是一条金线,不可动摇。

因此,这类系统最大的挑战是如何保证各节点间所采用的架构能实现数据一致性。

但让多个节点同时支持并发读写,就像在数据王国里打开了 “潘多拉魔盒”,稍有不慎就会引发节点间的数据不一致危机。这类系统的终极挑战,就像在刀尖上跳平衡舞 —— 既要让写操作能横向扩展,又得像精密齿轮般确保所有节点的数据严丝合缝、毫无偏差。

强一致性的数据库系统(ACID系统)强调CAP中的数据一致性,而多节点同时支持并发读写操作极易造成节点间出现数据非一致性,因此,这类系统最大的挑战是如何保证各节点间所采用的架构能实现数据一致性——这类系统的终极挑战,就像在刀尖上跳平衡舞 —— 既要让写操作能横向扩展,又得像精密齿轮般确保所有节点的数据严丝合缝、毫无偏差。

要知道,多节点并发写跟奏交响乐没啥差别,每个节点的写入动作都可能影响全局。如何设计出既能承载高并发写操作,又能通过巧妙的架构(比如分布式共识算法、复杂的数据复制协议等)把一致性牢牢 “钉住”,简直是对工程师创造力和耐心的双重极限考验。这时候的系统设计,不再是主 - 仆模式那样的 “线性思维”,而是要构建一套如同精密钟表般的复杂协作机制,让每个写操作都能在多节点间找到自己的时间刻度,最终拼成完整一致的数据表盘。

以下图2为例,MySQL数据库的多Master节点模式采取了环状复制数据同步机制,就像搭建了一个紧密的接力环。在3个数据库服务器集群中,数据同步形成了一条闭合的环形链路:

图2:环状复制的数据同步方式

  • 第一集群的 Master 节点先将更新数据同步给第二集群的对应 Slave 节点,此时第二集群的节点 “接棒” 后切换身份,以 Master 节点的角色将数据传递给第三集群的 Slave 节点
  • 第三集群的节点 “接力” 后同样转换为 Master,再将数据回传给第一集群的同一节点,最终形成 “第一集群→第二集群→第三集群→第一集群” 的环形同步闭环。

这种设计的核心逻辑是用环型时序规避冲突。当多个节点需要同时更新数据时,环形链路为每个数据集分配了唯一的 “传递时区”—— 每个节点在环中只能按固定顺序接收和发送数据,就像列车沿着固定轨道行驶,避免了多节点并发写入同一目标时因 “路径交叉” 导致的数据交集冲突。例如,若两个节点同时向同一目标节点发送更新,环形机制会强制数据按顺序通过链路流转,确保后到达的数据能基于前序更新进行合并,而非直接覆盖,从而从架构层面降低了数据不一致的风险。

不过,这种 “环形接力” 也需要付出代价:

  • 链路依赖强:任意一环的延迟或故障都会像 “多米诺骨牌” 一样影响整个集群的同步效率;
  • 一致性延迟:数据需绕环一周才能完成全集群同步,在高并发场景下可能出现短期的节点间数据差异;
  • 复杂度跃升:相比主仆模式的单向同步,环形架构的拓扑管理、故障恢复机制需要更精细的设计,堪称 “用架构复杂度换一致性保障” 的典型案例。

避免在多Master节点数据库系统中发生数据一致性冲突的解决方法有以下4种:

①彻底避免多节点写操作(这样又回到了主-仆模式)​。

②在应用服务层逻辑上严格区分不同Master节点的写入区域,确保它们之间无交集(如不出现同时间内更改同一行数据的操作)​。

③保证不同Master节点在不重叠的时间段内对同一区域进行操作。

④同步复制,所有节点会同时进行写操作,且当所有节点完成后,整个操作才会返回。这种模式显然对网络带宽的要求极高,并且为了满足数据的一致性而牺牲了可用性。

以下图所示的分布式数据库为例,我们可以按表1设计数据库CS中的表,以确保位于旧金山、纽约和达拉斯的Master节点可以同时完成写操作,并且不会出现冲突。

提3:分布式数据库
表1:3个Master节点避免写入区域重叠的设计方法

 

今天先到此结束,下篇内容我们再叙分区模式和分布式共识两种模式。88~

 (文/Ricky - HPC高性能计算与存储专家、大数据专家、数据库专家及学者)
 


http://www.hkcw.cn/article/jdboNVmuIY.shtml

相关文章

云原生--基础篇-3--云原生概述(云、原生、云计算、核心组成、核心特点)

1、什么是云和原生 (1)、什么是云? “云”指的是云计算环境,代表应用运行的基础设施和资源。依赖并充分利用云计算的弹性、分布式和资源池化能力。 核心含义: 1、云计算基础设施 云原生应用的设计和运行完全基于云…

云计算概念技术与架构:全面掌握云计算核心功能与场景

云计算概念技术与架构:全面掌握云计算核心功能与场景 【下载地址】云计算概念技术与架构 《云计算:概念、技术与架构》是一本全面深入的云计算指南,由Thomas Erl、Zaigham Mahmood和Ricardo Puttini共同撰写。本书详细解析了云计算的基础概念…

肝了半年,我整理出了这篇云计算学习路线(新手必备,从入门到精通)

大家好!我是凯哥,今天给大家分享一下云计算学习路线图。这是我按照自己最开始学习云计算的时候的学习路线,并且结合自己从业多年所涉及的知识精心总结的云计算的思维导图。这是凯哥精心总结的,花费了不少精力哦,希望对…

探索虚拟化:云计算时代的资源优化之道

前言 如果您想知道云提供商如何在全球范围内运行无数应用程序,而每个应用程序都没有机架服务器,那么答案就在于虚拟化。 它是为云提供支持的核心技术之一,在幕后悄悄工作,使现代计算高效、可扩展且具有成本效益。 在本文中&#x…

Linux云计算运维笔记:掌握云计算与Linux运维核心技能

Linux云计算运维笔记:掌握云计算与Linux运维核心技能 【下载地址】Linux云计算运维笔记 《Linux云计算运维笔记》是一份全面且实用的资源文件,专为Linux运维与云计算领域的从业者打造。它涵盖了从自动化运维、容器部署到服务器管理、数据库优化等关键技能…

【机密计算顶会解读】07:eOPF——用于机密云计算的可扩展编排和保护框架

导读:本文介绍eOPF框架,通过监控enclave与OS交互,从而提供细粒度控制、共同认证和侧信道防御。 原文链接:An Extensible Orchestration and Protection Framework for Confidential Cloud Computing | USENIX An Extensible Orc…

SaaS基于云计算、大数据的Java云HIS平台信息化系统源码

利用云计算、大数据等现代信息技术研发的医疗信息管理系统(HIS)实现了医院信息化从局域网向互联网转型,重新定义医疗卫生信息化建设的理念、构架、功能和运维体系。平台构建了以患者为中心的云架构、云服务、云运维的信息体系,实现…

人工智能:所有144本SCI期刊都在这里(20本Top,4本On Hold)

本周投稿推荐 SCI&EI • 4区“水刊”,纯正刊(来稿即录) • CCF-B类,IEEE一区-Top(3天初审) EI • 各领域沾边均可(2天录用) 知网(CNKI)、谷歌学术 …

全网最最最详细的haproxy详解!!!

1 什么是负载均衡 负载均衡(Load Balancing)是一种将网络请求或工作负载分散到多个服务器或计算机资源上的技术,以实现优化资源使用、提高系统吞吐量、增强数据冗余和故障容错能力、以及减少响应时间的目的。在分布式系统、云计算环境、Web服…

卤鹅哥揭秘去美国给甲亢哥带的礼物 为中外文化交流的鲜活注脚

2025年5月,一则消息引爆全网:重庆荣昌卤鹅哥林江即将启程赴美,与顶流网红“甲亢哥”(IShowSpeed)再续跨国情谊。这位因“追星”走红的非遗推广大使,不仅带上了家乡的招牌卤鹅,更精心筹备了一份融合非遗文化与美食的“中国礼包”,更透露最想与甲亢哥即兴来一段说唱。这场…

龙舟赛辽宁队把对手“干翻”了 网友:今年有进步了,只干翻了一条

2025南充嘉陵江龙舟赛,辽宁队再“撞”佳绩。网友:辽宁队今年已经有进步了,去年干翻三条船,今年只干翻了一条。责任编辑:zx0002

日本遗孀外交?普京:我知道安倍的梦想,但时过境迁 和平条约梦难续

当地时间5月29日,俄罗斯总统新闻秘书佩斯科夫表示,俄总统普京在克里姆林宫会见了已故日本前首相安倍晋三的夫人安倍昭惠。普京对安倍昭惠说:“您的丈夫为发展俄日关系作出了巨大贡献。我们保持着非常良好的私人关系。”普京在会谈中向安倍晋三致敬,并提到他知道这位已故的日…

唯一一个资本控制不了的运动,因为这里的房东就是资本

唯一一个资本控制不了的运动,因为这里的房东就是资本!唯一一个资本控制不了的运动,因为这里的房东就是资本唯一一个资本控制不了的运动,因为这里的房东就是资本唯一一个资本控制不了的运动,因为这里的房东就是资本唯一一个资本控制不了的运动,因为这里的房东就是资本唯一…

特朗普关税政策暂停又恢复意味什么 法院裁决影响贸易谈判

美国国际贸易法院叫停特朗普关税政策一天后,上诉法院又决定恢复实施这些关税。美国联邦巡回上诉法院批准了特朗普政府的请求,暂时搁置了美国国际贸易法院禁止执行特朗普政府依据《国际紧急经济权力法》对多国加征关税措施的裁决。联邦巡回上诉法院在裁决书中指出,在审议相关…

高校校长硕士论文“90%抄袭” 已免职 抄袭事件引发广泛关注

近日,“烟台科技学院校长硕士论文涉嫌严重抄袭”一事引发社会广泛关注。有网友指出,烟台科技学院现任校长马红坤2007年在南昌大学法学院获得硕士学位的论文存在严重抄袭行为,复制比高达90%。5月29日,烟台科技学院对此事发布声明,确认校长抄袭属实,并决定免去马红坤的烟台…

Spring Cloud 及Spring Cloud Alibaba 简介

目录 Spring Cloud简介 Spring Cloud Alibaba 简介 项目集成Spring Cloud Alibaba Spring Cloud简介 Spring Cloud 为开发者提供了快速构建微服务的一整套工具集,包含的子项目众多,比如: 1、分布式配置管理:Zookeeper、Consul、Na…

PyIceberg

本文翻译整理自:https://py.iceberg.apache.org/ 文章目录 PyIceberg 入门指南相关链接资源 安装连接到目录写入PyArrow数据框探索Iceberg数据与元数据文件 更多详情 配置配置值设置表配置写入选项表行为选项 FileIOS3HDFSAzure Data LakeGoogle Cloud Storage阿里云…

女子新装修房子被陌生人拆光 一场离奇的误会

最近,家住浦东新区“芳草苑”小区的张女士遇到了一件烦心事。她家刚刚完成了老房新装,原本计划第二天从出租屋搬回去。但前一天回家查看收尾进度时,发现厨房和卫生间的设施设备被三个陌生人拆了。这些设施和装修材料都是全新的、一线品牌的定制款,这让张女士非常心疼。经过…

男性心梗概率是女性的近两倍 呼吁大家要保持优良生活习惯

在最新一期《医起问》节目中,葛均波院士强调,男性心血管疾病概率是女性的近2倍,心梗风险尤为突出。女性在绝经前因雌激素作用而风险较低,但绝经后概率也趋于一致。不管男女,现代人的诸多不良习惯其实都导致心梗年轻化,院士呼吁大家要保持优良生活习惯,关注心血管的健康!…

涉高考违法有害信息被查处 三部门联合整治

2025年高考临近,为营造良好的全国高考网络环境,教育部联合中央网信办、公安部开展查处涉高考违法有害信息等工作。相关部门提醒公众,互联网并非法外之地,个人和机构需对自己的言论负责。对于编造、传播谣言,故意扰乱公共秩序的行为,将依法受到严厉打击。网络平台应加强内…