--model /models

• 含义：指定模型文件所在的路径。这里 /models 是容器内部的路径，结合之前 docker-compose.yml 中的 volumes 配置，它实际上对应宿主机上的 /data/models/Qwen3 - 8B 目录。模型服务启动时，会从这个路径加载 Qwen3 - 8B 模型的相关文件，如权重参数等。
• 用途：确保服务能够找到并正确加载所需的模型，使模型可以进行后续的推理任务。

--served - model - name Qwen3-8B

• 含义：设置对外提供服务时使用的模型名称。在通过 API 调用服务时，客户端可以根据这个名称来指定使用 Qwen3 - 8B 模型进行推理。
• 用途：方便在多模型服务的环境中区分不同的模型，客户端可以明确知道自己调用的是哪个具体的模型。

--tensor - parallel - size 8

• 含义：指定进行张量并行计算时使用的 GPU 数量为 8。张量并行是一种并行计算技术，它将模型的张量（如权重矩阵）分割到多个 GPU 上进行并行计算，从而加速模型的推理过程。
• 用途：充分利用多个 GPU 的计算资源，提高模型推理的速度和效率，尤其是对于大规模的模型，这种并行计算方式可以显著减少推理时间。

--enforce - eager

• 含义：强制执行 eager 模式。在深度学习框架中，有 eager 模式和图模式两种计算模式。eager 模式是一种即时执行模式，每执行一条指令就立即计算结果，便于调试和开发；而图模式则是先构建计算图，再统一执行，通常在性能上更有优势。使用 --enforce - eager 会强制使用 eager 模式。
• 用途：在调试阶段或者某些特定场景下，需要即时看到计算结果，eager 模式可以更方便地进行代码调试和验证。

--dtype = half

• 含义：指定模型使用半精度数据类型进行计算。半精度通常指的是 float16 数据类型，相比于常见的 float32 数据类型，它占用的内存空间减半，计算速度也可能更快。
• 用途：减少模型在推理过程中的内存占用，提高 GPU 内存的利用率，同时在一些支持半精度计算的硬件上可以加快计算速度。不过，半精度计算可能会牺牲一定的数值精度。

--port 8000

• 含义：指定模型服务监听的端口号为 8000。服务启动后，会在这个端口上等待客户端的请求。
• 用途：确定服务的网络访问入口，客户端可以通过向这个端口发送请求来调用模型的推理服务。结合 docker-compose.yml 中的 ports 配置，宿主机的 8080 端口被映射到容器的 8000 端口，因此客户端可以通过访问宿主机的 8080 端口来与容器内的服务进行通信。

坑：

问题1、ERROR 05-06 10:31:49 [engine.py:448] Bfloat16 is only supported on GPUs with compute capability of at least 8.0. Your Tesla T4 GPU has compute capability 7.5. You can use float16 instead by explicitly setting the `dtype` flag in CLI, for example: --dtype=half.

解决：这表明你正在使用的 Tesla T4 GPU 的计算能力为 7.5，而 Bfloat16 数据类型仅支持计算能力至少为 8.0 的 GPU。当前的配置中使用了 Bfloat16 数据类型，导致程序无法正常初始化并报错。解决这个问题的方法正如错误信息中所提示的，需要在命令行中显式地设置 dtype 标志为 float16（half）。在你的 docker-compose.yml 文件中，你可以修改 command 字段来实现这一点。

问题2、当你容器启动时碰到了 NCCL（NVIDIA Collective Communications Library）错误，错误信息为 NCCL error: unhandled system error，这一错误最终致使引擎进程启动失败。

解决：在环境变量中增加NCCL_DEBUG=INFO ，用于获取更详细的 NCCL 调试信息，当所有其他问题排除，可尝试增加shm_size 用来设置容器的共享内存大小。

shm_size: 10.24g