云计算——云计算关键技术

article/2025/6/20 15:28:54

  • 作者简介:一名云计算网络运维人员、每天分享网络与运维的技术与干货。 

  •  座右铭:低头赶路,敬事如仪

  • 个人主页:网络豆的主页​​​​​

目录

 前言

一.云计算关键技术

1.虚拟化技术

2.分布式数据存储技术

(1)云计算的分布式存储与传统的存储是不同的。

(2)分布式存储的优势

3.数据中心联网技术

(1)云计算数据中心的优势

4.并行编程技术

典型技术:

 5.体系结构

 6.自动化部署

(1) 自动化部署的优势


 前言

本章将会讲解云计算中所需要的关键技术。

一.云计算关键技术

1.虚拟化技术

  • 虚拟化是一种能够更有效地利用物理计算机硬件的过程,是云计算的基础。

虚拟化,将各种IT实体资源抽象,转换成另一种形式的技术都是虚拟化。虚拟化是资源的逻辑表示,其不受物理限制的约束。(一个物理主机只能运行一个操作系统,虚拟化则是可以运行多个操作系统)。

 从之前一个硬件设备部署一套操作系统===》一个硬件设备部署多个操作系统


2.分布式数据存储技术

  • 将数据存储在不同的物理设备中。这种模式不仅摆脱了硬件设备的限制,同时扩展性更好,能够快速响应用户需求的变化(整合存储资源提供动态可伸缩资源池的分布式存储技术)

 将数据分布在不同的服务器上存储设备上,在之前就如图中左边的那个一样集中在一个设备上可能这个设备坏了,里面的数据文件就恢复不出来了,分布式存储是动态可伸缩的分布在不同的设备上,如其中的一个设备坏了我们可以通过其他的办法将数据文件恢复。

正符合云计算快速高效的处理海量数据的优势。在数据爆炸的今天这个技术至关重要,为保证数据资料的高可靠性。云计算常用分布式数据存储的技术,将数据存储于不同物理设备中,不仅摆脱物理设备的限制,扩展性更好,满足快速响应用户需求的变化。


(1)云计算的分布式存储与传统的存储是不同的。

  • 传统存储采用集中式,放在一个数据库当中。(容易产生瓶颈——不能满足大规模的存储应用需求)
  • 分布式存储采用并行可扩展,利用多台服务器,分担存储负担。

(2)分布式存储的优势

  1. 高性能:一个具有高性能的分布式存储通常能够高效地管理读缓存和写缓存,并且支持自动的分级存储。分布式存储通过将热点区域内数据映射到高速存储中,来提高系统响应速度。一旦这些区域不再是热点,那么存储系统会将它们移出高速存储。

  2. 支持分级存储:由于通过网络进行松耦合链接,分布式存储允许高速存储和低速存储分开部署,或者任意比例混布。在不可预测的业务环境或者敏捷应用情况下,分层存储的优势可以发挥到最佳。

  3. 多副本的一致性:与传统的存储架构使用RAID模式来保证数据的可靠性不同,分布式存储采用了多副本备份机制。在存储数据之前,分布式存储对数据进行了分片,分片后的数据按照一定的规则保存在集群节点上。

  4. 存储系统标准化:随着分布式存储的发展,存储行业的标准化进程也不断推进,分布式存储优先采用行业标准接口进行存储接入。


3.数据中心联网技术

  • 东西向流量增长并行计算业务(如:搜索)需要服务器集群协调运算,产生大量横向交互流量虚拟机的自由部署和动态迁移,虚机间需要实时同步大量的数据。

 注:DC(数据中心)R(服务器)

  • 传统数据中心:每台服务器是独立的,我们需要对外提供服务,大部分的流量都是通过数据中心的外边进来又从里面出去,产生信息交互都是通过这一台服务器,产生了大量的南北流向。(如图)
  • 云计算数据中心:以东西流量为主,南北流量变少,服务器除了对外提供服务,有分布式存储的存在,虚拟机不一定在那一台物理主机上,虚拟机之间不停迁移,产生动态迁移,同步大量数据时而产生了东西流量大于南北的情况。

(1)云计算数据中心的优势

云计算数据中心相比传统数据中心的优势在于,云计算数据中心更加强调与IT系统协同优化,在满足需求的前提下,实现整个数据中心的最高效率和最低成本。而传统数据中心通常片面强调机房的可靠、安全。


4.并行编程技术

  • 在并行编程模式下,并发处理,容错,数据分布,负载均衡等细节都被抽象到一个函数库中,通过统一接口,用户大尺度的计算任务被自动并发和分布执行,即将一个任务自动分成多个任务,并进行处理海量数据。

 一个任务——》多个任务进行处理——》提高运行效率

典型技术:

MapReduce

MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)",是它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(归约)函数,用来保证所有映射的键值对中的每一个共享相同的键组。

​ 


 5.体系结构

云计算平台体系结构由用户界面、服务目录、管理系统、部署工具、监控和服务器集群组成:

(1)用户界面:主要用于云用户传递信息,是双方互动的界面。
(2)服务目录:顾名思义是提供用户选择的列表。
(3)管理系统:指的是主要对应用价值较高的资源进行管理。
(4)部署工具:能够根据用户请求对资源进行有效地部署与匹配。
(5)监控:主要对云系统上的资源进行管理与控制并制定措施。
(6)服务器集群:服务器集群包括虚拟服务器与物理服务器,隶属管理系统。


 6.自动化部署

  • 对云资源进行自动化部署指的是基于脚本调节的基础上实现不同厂商对于设备工具的自动配置,用以减少人机交互比例、提高应变效率,避免超负荷人工操作等现象的发生,最终推进智能部署进程。

(1) 自动化部署的优势

  • 自动化部署可以减少人为错误的发生,因为自动化错误概率很低。
  • 自动化部署可以提高部署的可重复性和可靠性,因为手动部署过程不可重复也不可靠,需要很多的时间进行调试和排错。
  • 自动化部署可以提高效率,因为它可以让您更快速、频繁地发布新功能和应用,同时在应用部署时无需人工干预。

 创作不易,求关注,点赞,收藏,谢谢~   


http://www.hkcw.cn/article/GcMWOdbihn.shtml

相关文章

2024广东省职业技能大赛云计算——私有云(OpenStack)平台搭建

OpenStack搭建 前言 搭建采用双节点安装,即controller控制节点和compute计算节点。 CentOS7 系统选择 2009 版本:CentOS-7-x86_64-DVD-2009.iso 可从阿里镜像站下载:https://mirrors.aliyun.com/centos/7/isos/x86_64/ OpenStack使用竞赛培…

云计算时代的运维: 职业发展方向与岗位选择

✨✨ 欢迎大家来访Srlua的博文(づ ̄3 ̄)づ╭❤~✨✨ 🌟🌟 欢迎各位亲爱的读者,感谢你们抽出宝贵的时间来阅读我的文章。 我是Srlua,在这里我会分享我的知识和经验。&#x…

如何找到一条适合自己企业的发展之路?

一个创业型的企业,开始就需要面向市场,通过自己的服务或产品,帮助用户解决问题,为客户创造价值,通过为客户创造的价值,出创造一定的的现金流,让企业存活下来! 企业的运营过程中&…

Github 热点 Github 热点 Syncthing:多台设备,持续同步文件,安全同步,隐私无忧!

今日推荐:syncthing Syncthing是一个开源、安全且易于使用的持续文件同步工具,可在多台计算机之间自动同步文件。 1prompt-eng-interactive-tutorial 今日星标 1211 总星标数 4273 主要语言 Jupyter Notebook https://github.com/anthropics/prompt-e…

K 值选对,准确率翻倍:KNN 算法调参的黄金法则

目录 一、背景介绍 二、KNN 算法原理 2.1 核心思想 2.2 距离度量方法 2.3 算法流程 2.4算法结构: 三、KNN 算法代码实现 3.1 基于 Scikit-learn 的简单实现 3.2 手动实现 KNN(自定义代码) 四、K 值选择与可视化分析 4.1 K 值对分类…

线程(上)【Linux操作系统】

文章目录 线程概念及其相关知识线程的概念及一些重要认识重要认识Linux中线程的实现Linux中的被调度的执行流是被task_struct描述的 线程是如何瓜分进程的代码和数据的?对于数据:对于代码: 线程的优点线程的缺点线程调度细节调度:…

定制开发开源AI智能名片S2B2C商城小程序:数字营销时代的话语权重构

摘要:在数据驱动的数字营销时代,企业营销话语权正从传统媒体向掌握用户数据与技术的平台转移。本文基于“数据即权力”的核心逻辑,分析定制开发开源AI智能名片S2B2C商城小程序如何通过技术赋能、场景重构与生态协同,帮助企业重构营…

【笔记】Windows 成功部署 Suna 开源的通用人工智能代理项目部署日志

#工作记录 本地部署运行截图 kortix-ai/suna: Suna - 开源通用 AI 代理 项目概述 Suna 是一个完全开源的 AI 助手,通过自然对话帮助用户轻松完成研究、数据分析等日常任务。它结合了强大的功能和直观的界面,能够理解用户需求并提供结果。其强…

哪些工作最容易被AI取代?

在 AI 技术狂飙突进的今天,一场 “职场大地震” 正在悄然酝酿。当 ChatGPT 能妙笔生花,当智能机器人开始站岗执勤,在这个 AI 飞速发展的时代,“饭碗危机” 已悄然降临。你是否想过,自己的工作是否也处在被 AI 取代的高…

二叉搜索树——AVL

AVL AVL定义AVL树出现的原因AVL的插入平衡因子的更新旋转左单旋右单旋左右双旋右左双旋 杂谈完整代码 AVL定义 AVL树是最先发明的⾃平衡⼆叉查找树,AVL是⼀颗空树,或者具备下列性质的⼆叉搜索树:它的左右⼦树都是AVL树,且左右⼦树…

Deepin 20.9社区版安装Docker

个人博客地址:Deepin 20.9社区版安装Docker | 一张假钞的真实世界 注意事项 Deepin 20.9 社区版安装 Docker 需要注意两点: 因为某些原因,Docker 官方源基本不可用,所以需要使用镜像源进行安装。当然也可以用安装包直接安装&am…

(7)-Fiddler抓包-Fiddler状态面板-QuickExec命令行

1.简介 Fiddler成了网页调试必备的工具,抓包看数据。Fiddler自带命令行控制,并提供以下用法。Fiddler的快捷命令框让你快速的输入脚本命令。 除了输入默认命令,也可以自定义命令,你可以通过编辑 FiddlerScript 来增加新命令&…

Linux --UDP套接字实现简单的网络聊天室

一、Server端的实现 1.1、服务端的初始化 ①、创建套接字&#xff1a; 创建套接字接口&#xff1a; #include <sys/types.h> /* See NOTES */ #include <sys/socket.h> int socket(int domain, int type, int protocol); //1. 这是一个创建套接字的接…

OpenHarmony标准系统-HDF框架之音频驱动开发

文章目录 引言OpenHarmony音频概述OpenHarmony音频框图HDF音频驱动框架概述HDF音频驱动框图HDF音频驱动框架分析之音频设备驱动HDF音频驱动框架分析之supportlibs实现HDF音频驱动框架分析之hdi-passthrough实现HDF音频驱动框架分析之hdi-bindev实现HDF音频驱动加载过程HDF音频驱…

C#WinForm程序时方法很多时Form.cs文件会很长,如何分别写入多个文件,partial class的作用体现出来了。

右键->添加->类 类文件名称为 FormButtonClick.cs 双击button3&#xff0c;将Form1里button3的Click事件处理方法拷贝到FormButtonClick.cs里面。

关于win10系统中环境变量path变成一行显示的问题

怎么把环境变量从一行显示恢复成列表显示(原文链接在最下面&#xff0c;感谢) 一行显示&#xff08;调整了环境变量把C:\Windows\System64开头的挪到了后面或者删了就会这样&#xff09;&#xff1a; 只需在开头加上 C:\Windows\System64; 重新打开 就恢复成列表显示了 关于wi…

NW969NW978美光闪存颗粒NW980NW984

NW969NW978美光闪存颗粒NW980NW984 技术解析&#xff1a;NW969、NW978、NW980与NW984的架构创新 美光&#xff08;Micron&#xff09;的闪存颗粒系列&#xff0c;尤其是NW969、NW978、NW980和NW984&#xff0c;代表了存储技术的前沿突破。这些产品均采用第九代3D TLC&#xf…

python打卡训练营打卡记录day41

知识回顾 数据增强卷积神经网络定义的写法batch归一化&#xff1a;调整一个批次的分布&#xff0c;常用与图像数据特征图&#xff1a;只有卷积操作输出的才叫特征图调度器&#xff1a;直接修改基础学习率 卷积操作常见流程如下&#xff1a; 1. 输入 → 卷积层 → Batch归一化层…

某航参数逆向及设备指纹分析

文章目录 1. 写在前面2. 接口分析3. 加密分析4. 算法还原5. 设备指纹风控分析与绕过 【&#x1f3e0;作者主页】&#xff1a;吴秋霖 【&#x1f4bc;作者介绍】&#xff1a;擅长爬虫与JS加密逆向分析&#xff01;Python领域优质创作者、CSDN博客专家、阿里云博客专家、华为云享…

电子电器架构 --- OTA测试用例分析(上)

我是穿拖鞋的汉子,魔都中坚持长期主义的汽车电子工程师。 老规矩,分享一段喜欢的文字,避免自己成为高知识低文化的工程师: 钝感力的“钝”,不是木讷、迟钝,而是直面困境的韧劲和耐力,是面对外界噪音的通透淡然。 生活中有两种人,一种人格外在意别人的眼光;另一种人无论…