在“云+AI”作为基础设施的时代,研发、运维、信息化等部门,通常会面临的棘手问题都有哪些:
- 算力资源难以统一调度和管理;
- AI算法研发环境搭建复杂;
- 不同模型部署方式繁杂,统一监控难;
- AI应用开发效率低;
- 不知该如何将大模型融入现有业务场景;
- ……
为聚焦解决以上难题,行云创新重磅推出“Cloud Apps + AI Apps”端到端智能应用开发平台。深度融合前沿云原生技术与先进大模型,致力于打造 “云原生 + AI” 时代下,高度适配企业个性化需求、助力企业实现创新突破的专属平台。
行云创新智能应用开发平台的落地定义为四步:
- 算力管理
- 算法研发
- 模型管理
- AI能力落地业务场景
【图1】端到端智能应用开发平台
一、算力管理:从深度学习到生成式AI,GPU “大变小、小变大”
对于GPU的管理一般有两个思路:一个思路是“大变小”,切割;一个思路“小变大”,聚合。基于CloudOS云原生平台可以轻松实现对GPU的切割、分配和调度等。
1、资源视角-集群内小调度:CloudOS支持绑定GPU资源配额
GPU节点纳管:在K8S中安装GPU设备插件,使K8S识别GPU,在CloudOS的“运维中心”纳管带GPU的节点,并呈现监控数据。
【图2】集群纳管GPU节点
组件GPU资源声明:组件在配置时声明GPU资源需求。
GPU调度:组件部署时,CloudOS调度器将组件自动调度到符合GPU资源需求的节点上;
【图3】组件声明GPU资源配额
应用监控:查看组件运行中,GPU的监控数据。
【图4】组件部署后查看GPU监控数据
2、资源视角-跨集群大调度:多云、多集群GPU/NPU池调度
【图5】手动指定算力
【图6】算力池中自动选择
【图7】智算编排和调度
二、算法研发:从数天到五分钟,科学家们开箱即用的算法研发服务
算法研发、写代码又是另外一个关键环节。行云创新TitanIDE提供了一个基于云IDE模式的算法工作站。支持一键开启AI实训环境,为AI算法研发提供了便利性,开箱即用。
比如,当进行AI模型或算法开发时,用户只需在平台申请账号登录云端IDE,算法开发环境便已就绪,所需的计算卡,无论是8张910B,还是16张4090……都能精准分配到位。甚至连相关文档都一应俱全。用户可直接在云端IDE工作站开展模型开发与调试工作,灵活调用整个AI算力。
无需安装客户端,随时、随地安全接入实验环境!
【图8】云端IDE,开箱即用
【图9】可编排的算法开发环境
如【图10】所示,AI算力开发模板化、开箱即用,从数天到数分钟搞定一个AI开发环境。
【图10】AI开发环境演示
三、模型即服务:让“算力+科研”转换为智慧源动力
这一层需要解决的是模型应用管理与运维的问题。
面向底层GPU基础设施,基于CloudOS构建异构推理算力池。
【图11】异构推理算力池
【图12】国内外多品牌型号GPU卡统一纳管
如【图13】所示:
1. 自动化模型资源需求计算及调度部署;
2. 支持模型多副本及自动负载均衡;
3. 支持灵活的调度策略:
- 紧凑调度
- 分散调度
- 基于Worker标签调度
- 指定GPU调度
【图13】模型高可用及最大化GPU利用率
如【图14】所示:
Dashboard仪表板提供全面的LLM及用户指标观测。
总体资源统计:
- 系统负载现状及趋势
- API请求数量
- Token使用数量
- Top用户及其Token用量
- 模型状态及其Token用量
- ……
【图14】Dashboard仪表板
如【图15】所示:最后来看一下效果,CloudOS平台上提供了一个模型应用商店,比如选择DeepSeek模型,你只需要在模型商店里搜索一下,即可对接。
【图15】一键拉起DeepSeek
四、智能体平台:开启“人人都是创新者”的AI变革
基于行云创新NebulaAI构建人人都可用的AI应用开发平台。
NebulaAI,企业级智能体开发平台,以“可视化+零代码或低代码”的方式,快速搭建出基于大模型的各类AI应用,满足个性化需求、实现商业价值。
【图16】NebulaAI 智能体开发平台
【图17】无需代码,即可创建AI App
五、结语
从痛点破局到价值释放,“Cloud Apps + AI Apps” 端到端智能应用开发平台,以革新姿态为企业拥抱AI开辟全新路径。
戳右侧,NebulaAI免费用>>> NebulaAI