首发支持！ 基于昇腾MindIE玩转InternVL3多模态理解最新模型

article/2025/9/9 5:06:56

2025年4月16日，上海人工智能实验室（上海AI实验室）升级并开源了通用多模态大模型书生·万象3.0（InternVL3）。通过采用创新的多模态预训练和后训练方法，InternVL3 多模态基础能力全面提升，在专家级基准测试、多模态性能全面测试中，10 亿~780 亿参数的全量级版本在开源模型中性能均位列第一，同时大幅提升了图形用户界面（GUI）智能体、建筑场景图纸理解、空间感知推理以及通识学科推理等方面的能力。

InternVL3系列一经发布开源，即在昇腾 MindIE 和 MindSpeed 中开箱即用。魔乐社区已上架该模型, 欢迎开发者下载体验！模型链接：

MindIE:

  • 魔乐社区https://modelers.cn/models/Models_Ecosystem/InternVL3-78B
  • 魔乐社区https://modelers.cn/models/Models_Ecosystem/InternVL3-38B
  • 魔乐社区https://modelers.cn/models/Models_Ecosystem/InternVL3-14B
  • 魔乐社区https://modelers.cn/models/Models_Ecosystem/InternVL3-8B
  • 魔乐社区https://modelers.cn/models/Models_Ecosystem/InternVL3-2B
  • 魔乐社区https://modelers.cn/models/Models_Ecosystem/InternVL3-1B

MindSpeed:

  • 魔乐社区https://modelers.cn/models/MindSpeed/InternVL3-8B

01 模型介绍 ​

基于司南OpenCompass 开源评测框架，研究团队对InternVL3 进行了全面系统的评估，包括多学科推理、文档理解、多图像 / 视频理解、现实世界理解、多模态幻觉检测、视觉定位、多语言能力以及以语言为中心的基准测试。评测结果显示，InternVL3 在开源多模态大模型中性能表现最优，创造了开源多模态大模型的性能新标杆，性能接近闭源模型 Gemini-2.5-Pro。

让我们快速体验一下。

图片理解体验： ​

 Prompt：简单描述一下这张图片

效果：这张图片展示了一只大熊猫。它正坐在绿色的植物和竹子之间，看起来正在吃竹子。大熊猫有黑白相间的毛皮，背景中有木头和植物，营造出自然的栖息环境。

Prompt：描述一下这张梗图并解释其中的笑点。
 

 效果：这张梗图的上半部分是一段文字，写着“最新消息 科学家发现”，下面是一张食物的图片，上面写着“吃饭能缓解饥饿”。这张图的笑点在于其讽刺和夸张的幽默。它用一种非常正式和严肃的新闻报道形式，宣布了一个极其显而易见和常识性的“发现”——吃饭能缓解饥饿。这种反差让人感到荒谬，从而产生幽默效果。它调侃了科学研究中有时会发布一些显而易见的结论。

视频理解体验： ​

给模型看一个视频并提问：

请描述这个视频

效果：

视频中展示了两只小熊猫（红熊猫）。一只小熊猫在树枝上，似乎在观察或与另一只小熊猫互动。另一只小熊猫站在地上，抬头看着树上的同伴。它们周围有竹梯和绿色的植物，环境看起来像是动物园或自然保护区。整个场景显得很自然和生动，两只小熊猫看起来非常可爱和有趣。

以下手把手带大家基于昇腾 MindIE 部署 InternVL3 模型。

02 准备环境 ​

1. 加载镜像 ​

需要使用mindie:2.0.T3及其后版本。

前往昇腾社区/开发资源或者魔乐社区/更多下载适配，下载镜像前需要申请权限，耐心等待权限申请通过后，根据指南下载对应镜像文件。

  • 魔乐社区下载链接：魔乐社区https://modelers.cn/images/MindIE/tags
  • 昇腾社区下载链接：
    https://www.hiascend.com/developer/ascendhub/detail/af85b724a7e5469ebd7ea13c3439d48f昇腾社区是基于昇腾系列处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务，包括昇腾系列处理器、系列硬件、CANN异构计算架构、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链。https://www.hiascend.com/developer/ascendhub/detail/af85b724a7e5469ebd7ea13c3439d48f完成之后，请使用docker images命令确认查找具体镜像名称与标签。

docker images

2. 新建容器 ​

如果您使用的是 root 用户镜像（例如从 Ascend Hub 上取得），并且可以使用特权容器，请使用以下命令启动容器：

docker run -it -d --net=host --shm-size=1g \--privileged \--name <container-name> \--device=/dev/davinci_manager \--device=/dev/hisi_hdc \--device=/dev/devmm_svm \-v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \-v /usr/local/sbin:/usr/local/sbin:ro \-v /path-to-weights:/path-to-weights:ro \<IMAGE ID> bash

如果您希望使用自行构建的普通用户镜像，并且规避容器相关权限风险，可以使用以下命令指定用户与设备：

docker run -it -d --net=host --shm-size=1g \--name <container-name> \--device=/dev/davinci_manager \--device=/dev/hisi_hdc \--device=/dev/devmm_svm \--device=/dev/davinci0 \--device=/dev/davinci1 \--device=/dev/davinci2 \--device=/dev/davinci3 \--device=/dev/davinci4 \--device=/dev/davinci5 \--device=/dev/davinci6 \--device=/dev/davinci7 \-v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \-v /usr/local/sbin:/usr/local/sbin:ro \-v /path-to-weights:/path-to-weights:ro \<IMAGE ID> bash

3. 进入容器： ​

docker exec -it ${容器名称} bash

4. 安装python依赖 ​

cd /usr/local/Ascend/atb-models
pip install -r requirements/models/requirements_internvl.txt

03 执行推理 ​

纯模型推理 ​

运行脚本,可参考 run_pa.sh 同级目录下的 README.md。

bash /usr/local/Ascend/atb-models/examples/models/internvl/run_pa.sh --run --trust_remote_code ${权重路径} ${图片或视频所在文件夹路径}

服务化推理 ​

1. 打开配置文件 ​

vim /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json
2. 更改配置文件 ​

{
...
"ServerConfig" :
{
...
"port" : 1040, #自定义
"managementPort" : 1041, #自定义
"metricsPort" : 1042, #自定义
...
"httpsEnabled" : false,
...
},"BackendConfig": {
...
"npuDeviceIds" : [[0,1,2,3,4,5,6,7]],
...
"ModelDeployConfig":
{
"maxSeqLen" : 50000,
"maxInputTokenLen" : 50000,
"truncation" : false,
"ModelConfig" : [
{
"modelInstanceType": "Standard",
"modelName" : "internvl",
"modelWeightPath" : "/model/InternVL3-1B",
"worldSize" : 8,
...
"npuMemSize" : 8, #kvcache分配，可自行调整，单位是GB，切勿设置为-1，需要给vit预留显存空间
...
"trustRemoteCode" : false #默认为false，若设为true，则信任本地代码，用户需自行承担风险
}
]
},
"ScheduleConfig" :
{
...
"maxPrefillTokens" : 50000,
"maxIterTimes": 4096,
...
}
}
}
3. 拉起服务化 ​
cd /usr/local/Ascend/mindie/latest/mindie-service/bin ./mindieservice_daemon
4. 新建窗口测试(VLLM 接口) ​

curl 127.0.0.1:1040/generate -d '{
"prompt": [
{
"type": "image_url",
"image_url": ${图片路径}
},
{"type": "text", "text": "Explain the details in the image."}
],
"max_tokens": 512,
"stream": false,
"do_sample":true,
"repetition_penalty": 1.00,
"temperature": 0.01,
"top_p": 0.001,
"top_k": 1,
"model": "internvl"
}'

服务化推理的更多信息请参考MindIE Service用户指南：

产品简介-MindIE Service开发指南-MindIE1.0.0开发文档-昇腾社区

欢迎体验 ​

欢迎大家下载体验InternVL3，也欢迎广大开发者在模型评论区留言交流！


http://www.hkcw.cn/article/VXSVkXaohQ.shtml

相关文章

深入解析Java8核心新特性（Optional、新的日期时间API、接口增强）

深入解析Java8核心新特性（Optional、新的日期时间API、接口增强）

文章目录 前言一、Optional&#xff1a;优雅处理null1.1 Optional设计哲学1.2 Optional基础操作1.3 Optional链式操作1.4 高级应用1.5 Optional实战案例 二、新的日期时间API&#xff1a;解决历史痛点2.1 java.time 设计哲学与核心架构2.2 核心类详解与使用基本日期时间类时区相…
阅读更多...
深入理解C#中的委托与事件：从基础到高级应用

深入理解C#中的委托与事件：从基础到高级应用

在C#编程语言中&#xff0c;委托和事件是两个强大且独特的特性&#xff0c;它们为方法封装、回调机制和事件驱动编程提供了语言级别的支持。作为.NET框架的核心组件&#xff0c;委托和事件广泛应用于Windows Forms、WPF、ASP.NET等各类应用程序中。本文将全面探讨委托与事件的概…
阅读更多...
设备制造行业项目管理难点解析，如何有效解决？

设备制造行业项目管理难点解析，如何有效解决？

在设备制造行业&#xff0c;项目管理是企业运营的核心环节&#xff0c;直接影响项目交付效率、成本控制和盈利能力。然而&#xff0c;由于行业特性复杂、项目周期长、涉及部门多&#xff0c;企业在实际操作中常常面临诸多管理痛点。金众诚工程项目管理系统&#xff0c;依托金蝶…
阅读更多...
如何应对客户对项目进度的过度干预

如何应对客户对项目进度的过度干预

当客户对项目进度进行过度干预时&#xff0c;企业应采取明确项目边界、建立透明沟通机制、提升客户信任感、提供详实进度报告等措施。其中&#xff0c;明确项目边界尤为关键&#xff0c;它能有效帮助企业和客户共同确认项目的权责范围&#xff0c;防止客户的过度干预影响项目整…
阅读更多...
11：QT界面设计—模态UI对话框

11：QT界面设计—模态UI对话框

1.模态UI对话框 1.创建dialog的界面模板 2.进行模板界面设计 3.在主程序调用此界面 需要包含此类和实例化此类&#xff0c;然后调用下面的程序m_pShapeMatch->setModal(false); //如果改为true&#xff0c;则弹出对话框之后无法进行其它操作m_pShapeMatch->show(); 2.…
阅读更多...
重温经典算法——选择排序

重温经典算法——选择排序

版权声明 本文原创作者&#xff1a;谷哥的小弟作者博客地址&#xff1a;http://blog.csdn.net/lfdfhl 基本原理 选择排序属于简单的原地排序算法&#xff0c;通过将待排序序列分为已排序和未排序两部分&#xff0c;每次从未排序部分选择最小元素&#xff0c;与未排序部分的起…
阅读更多...
RFID测温芯片助力新能源产业安全与能效提升

RFID测温芯片助力新能源产业安全与能效提升

在“双碳”目标驱动下&#xff0c;新能源产业正经历爆发式增长。无论是电动汽车、储能电站还是风光发电场&#xff0c;设备安全与能效提升始终是行业核心命题。而温度&#xff0c;这个看似普通的物理参数&#xff0c;却成为破解这一命题的关键密码。RFID测温芯片&#xff08;集…
阅读更多...
数据的类型——认识你的数据

数据的类型——认识你的数据

第02篇&#xff1a;数据的类型——认识你的数据 写在前面&#xff1a;嗨&#xff0c;大家好&#xff01;我是蓝皮怪。在上一篇文章中&#xff0c;我们聊了统计学的基本概念&#xff0c;今天我们来深入了解一个非常重要的话题——数据的类型。你可能会想&#xff1a;"数据就…
阅读更多...
【JVM】初识JVM 从字节码文件到类的生命周期

【JVM】初识JVM 从字节码文件到类的生命周期

初识JVM JVM&#xff08;Java Virtual Machine&#xff09;即 Java 虚拟机&#xff0c;是 Java 技术的核心组件之一。JVM的本质就是运行在计算机上的一个程序&#xff0c;通过软件模拟实现了一台抽象的计算机的功能。JVM是Java程序的运行环境&#xff0c;负责加载字节码文件&a…
阅读更多...
WebVm：无需安装，一款可以在浏览器运行的 Linux 来了

WebVm：无需安装，一款可以在浏览器运行的 Linux 来了

WebVM 是一款可以在浏览器中运行的Linux虚拟机。不是那种HTMLJavaScript模拟的UI&#xff0c;完全通过HTML5/WebAssembly技术实现客户端运行。通过集成CheerpX虚拟化引擎&#xff0c;可直接在浏览器中运行未经修改的Debian系统。 Stars 数13054Forks 数2398 主要特点 完整 Lin…
阅读更多...
动态规划-931.下降路径最小和-力扣(LeetCode)

动态规划-931.下降路径最小和-力扣(LeetCode)

一、题目解析 从最顶上出发&#xff0c;有三个位置选择&#xff0c;左中下(边界除外)&#xff0c;使其走到最下面时下降路径最小。 二、算法原理 1、状态表示 我们需要的是到达[i,j]的最小路径和&#xff0c;所以此时dp[i][j]表示&#xff1a;到达[i,j]位置时&#xff0c;最…
阅读更多...
ssm学习笔记（尚硅谷） day1

ssm学习笔记（尚硅谷） day1

创建新项目 maven的聚合 1. 标记父类项目 标签<packaging>pom</packaging>表示将该项目标记为父类项目&#xff0c;必须添加。 以下是标签<packing>的常见取值 groupId在pom.xml中&#xff0c;可以从pom.xml直接修改。 2. 通过<modules>添加子项目…
阅读更多...
数据库 | 时序数据库选型

数据库 | 时序数据库选型

选型目标 高性能与低延迟&#xff1a;满足高频率数据写入与即时查询的需求。资源效率&#xff1a;优化存储空间使用&#xff0c;减少计算资源消耗。可扩展架构&#xff1a;支持数据量增长带来的扩展需求&#xff0c;易于维护。社区活跃度&#xff1a;有活跃的开发者社区&#…
阅读更多...
Linux | Shell脚本的基础知识

Linux | Shell脚本的基础知识

一. 定义 1.1 什么是shell脚本 shell脚本是一种可运行的文本shell脚本的内容是由逻辑和数据组成shell脚本是解释型语言 命令不可单独执行&#xff0c;由解释器将代码转换为系统指令&#xff0c;系统接受指令后执行速度比编译型语言慢&#xff0c;优点是简单&#xff0c;开发效…
阅读更多...
Window Server 2019--09 路由和桥接的设置

Window Server 2019--09 路由和桥接的设置

本章要点 >>了解路由器工作原理。 >>掌握路由与远程访问服务的设置。 >>掌握桥接的设置。 路由器(Router)是网络中的核心设备&#xff0c;它工作在开放系统互连(Open SystemInter- connection&#xff0c;OSI)网络参考模型的网络层(第3层),用于连接多个在…
阅读更多...
国芯思辰| 霍尔电流传感器AH811为蓄电池负载检测系统安全护航

国芯思辰| 霍尔电流传感器AH811为蓄电池负载检测系统安全护航

在电动车、储能电站、不间断电源&#xff08;UPS&#xff09;等设备中&#xff0c;蓄电池作为关键的储能单元&#xff0c;其运行状态直接关系到设备的稳定性和使用寿命。而准确监测蓄电池的负载情况&#xff0c;是保障其安全、高效运行的关键。霍尔电流传感器 AH811凭借独特的技…
阅读更多...
如何构建高效的接口自动化测试框架（全）

如何构建高效的接口自动化测试框架（全）

&#x1f345; 点击文末小卡片&#xff0c;免费获取软件测试全套资料&#xff0c;资料在手&#xff0c;涨薪更快 在选择接口测试自动化框架时&#xff0c;需要根据团队的技术栈和项目需求来综合考虑。对于测试团队来说&#xff0c;使用Python相关的测试框架更为便捷。无论选择…
阅读更多...
Redis Stack常见拓展

Redis Stack常见拓展

Redis JSON RedisJSON 是 Redis Stack 提供的模块之一&#xff0c;允许你以 原生 JSON 格式 存储、检索和修改数据。相比传统 Redis Hash&#xff0c;它更适合结构化文档型数据&#xff0c;并支持嵌套结构、高效查询和部分更新。 #设置⼀个JSON数据,其中$表示JSON数据的根节点…
阅读更多...
Java AQS（Abstract Queued Synchronized）深度解析

Java AQS（Abstract Queued Synchronized）深度解析

一、AQS概述 AQS是Java并发包中的核心框架&#xff0c;为构建锁和同步器提供了基础实现。它是JUC&#xff08;java.util.concurrent&#xff09;包中大多数同步类的基石&#xff0c;如ReentrantLock、Semaphore、CountDownLatch等都基于AQS实现。 1.1 AQS核心思想 AQS的核心…
阅读更多...
建筑节能要求趋严，楼宇自控技术独特优势愈发清晰可辨

建筑节能要求趋严，楼宇自控技术独特优势愈发清晰可辨

在全球应对气候变化、积极推进 “双碳” 目标的大背景下&#xff0c;建筑行业作为能源消耗的 “大户”&#xff0c;面临着日益严苛的节能要求。从国家相继出台的建筑节能设计标准&#xff0c;到地方推行的能耗限额管理政策&#xff0c;都在倒逼建筑行业探索更高效的节能路径。传…
阅读更多...
推荐文章

Copyright @ 2022~2023