【LangServe部署流程】5 分钟部署你的 AI 服务-海口c网

【LangServe部署流程】5 分钟部署你的 AI 服务

article/2025/6/8 4:54:38

一、LangServe简介

二、环境准备

1. 安装必要依赖

2. 编写一个 LangChain 可运行链（Runnable）

3. 启动 LangServe 服务

4. 启动服务

5. 使用 API 进行调用

三、可选：访问交互式 Swagger 文档

四、基于 LangServe 的 RAG 应用部署流程

🌟 项目目标

第一步：安装依赖

第二步：准备知识文档

第三步：构建 RAG 链（rag_chain.py）

第四步：部署为 LangServe 服务（main.py）

第五步：启动服务

第六步：测试 API 调用

第七步：可选增强功能

项目结构参考

示例请求格式（JSON）

五、实践建议

六、扩展玩法

七、项目结构参考

总结

本教程将带你用 LangServe 构建一个可在线访问的 LLM 服务，支持通过 HTTP API 调用大语言模型（如 OpenAI 的 GPT 或阿里百炼 Qwen）。

一、LangServe简介

LangServe 是 LangChain 官方提供的部署工具，用于将 LangChain 的 Runnable 组件（如链、Agent、RAG Pipelines）以 RESTful API 形式发布为 Web 服务。

你可以理解它是：

“一个让你把 LangChain 项目一键变成 API 的开发框架。”

二、环境准备

1. 安装必要依赖

pip install langserve langchain openai uvicorn

若使用的是 Qwen 或阿里百炼平台，请安装相关 SDK，如：

pip install dashscope

2. 编写一个 LangChain 可运行链（Runnable）

创建一个文件：my_chain.py

# my_chain.py
from langchain_core.runnables import RunnableLambda
from langchain_core.prompts import PromptTemplate
from langchain.chat_models import ChatOpenAIprompt = PromptTemplate.from_template("你是一位诗人。请根据提示写一首诗：{topic}")llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0.7)# 定义一个 runnable 链
poetry_chain = prompt | llm# 或者包装成一个函数
poetry_func = RunnableLambda(lambda x: poetry_chain.invoke(x))

3. 启动 LangServe 服务

创建一个文件：main.py

# main.py
from langserve import add_routes
from fastapi import FastAPI
from my_chain import poetry_funcapp = FastAPI()# 启用 LangServe 路由：将 poetry_func 发布为 API
add_routes(app, poetry_func, path="/poetry")# 启动方式见下方 uvicorn 命令

4. 启动服务

uvicorn main:app --host 0.0.0.0 --port 8000 --reload

启动后你会看到输出：

INFO: Uvicorn running on http://127.0.0.1:8000

5. 使用 API 进行调用

你可以使用 curl、Postman、或 Python 发请求：

curl http://localhost:8000/poetry/invoke \-X POST \-H "Content-Type: application/json" \-d '{"input": {"topic": "月亮与孤独"}}'

返回结果类似：

{"output": "在孤独的夜晚月色浓，\n独影轻摇寂寞中……"
}

三、可选：访问交互式 Swagger 文档

打开浏览器访问：

http://localhost:8000/docs

你将看到自动生成的 API 文档，并可以在线测试。

四、基于 LangServe 的 RAG 应用部署流程

本教程将手把手教你如何构建一个检索增强生成（RAG）系统，并通过 LangServe 快速部署为可调用的 Web API。

🌟 项目目标

构建一个支持文档问答的 API 服务，具备以下功能：

📄 文档向量化并存入数据库（FAISS）

🔍 基于用户提问进行语义搜索

🧠 使用 LLM（如 OpenAI / Qwen）进行上下文感知回答

🌐 通过 LangServe 部署为 /qa API 接口

第一步：安装依赖

pip install langchain langserve openai faiss-cpu tiktoken

如果你使用阿里百炼：

pip install dashscope

第二步：准备知识文档

创建一个文本文件 data.txt（例如法律文书、公司手册、产品说明书等）：

LangServe 是 LangChain 官方推出的服务部署工具。它可以将 LangChain 的链或 agent 包装成 API 形式，并可通过 FastAPI 进行调用。

第三步：构建 RAG 链（`rag_chain.py`）

# rag_chain.py
from langchain.vectorstores import FAISS
from langchain.embeddings import OpenAIEmbeddings  # 或 DashScopeEmbeddings
from langchain.text_splitter import CharacterTextSplitter
from langchain.document_loaders import TextLoader
from langchain.chat_models import ChatOpenAI
from langchain.chains import RetrievalQA# 加载文档并切分
loader = TextLoader("data.txt")
docs = loader.load()splitter = CharacterTextSplitter(chunk_size=300, chunk_overlap=50)
chunks = splitter.split_documents(docs)# 创建向量数据库
vectorstore = FAISS.from_documents(chunks, OpenAIEmbeddings())# 创建问答链
retriever = vectorstore.as_retriever(search_kwargs={"k": 3})
llm = ChatOpenAI(model="gpt-3.5-turbo")
rag_chain = RetrievalQA.from_chain_type(llm=llm, retriever=retriever)

第四步：部署为 LangServe 服务（`main.py`）

# main.py
from fastapi import FastAPI
from langserve import add_routes
from rag_chain import rag_chainapp = FastAPI()
add_routes(app, rag_chain, path="/qa")

第五步：启动服务

uvicorn main:app --host 0.0.0.0 --port 8000 --reload

第六步：测试 API 调用

curl http://localhost:8000/qa/invoke \-X POST \-H "Content-Type: application/json" \-d '{"input": "LangServe 是什么？"}'

{"output": "LangServe 是 LangChain 官方的服务部署工具..."
}

你也可以通过浏览器访问：

http://localhost:8000/docs

在线测试 API。

第七步：可选增强功能

功能	方法
✅ 替换为 DashScope 模型	替换 `ChatOpenAI` 为 `DashScopeChatModel`
✅ 替换为 Qdrant 向量库	用 `Qdrant.from_documents()` 代替 FAISS
✅ 显示引用来源	使用 `RetrievalQAWithSourcesChain`
✅ 支持多轮对话记忆	用 `RunnableWithMessageHistory` 包装 QA 链
✅ 多文档支持	加载多个文档并统一入库
✅ LangGraph 多状态问答流程	可用 LangGraph 拓展复杂问答流程并暴露为服务

项目结构参考

.
├── data.txt # 你的知识库文档
├── rag_chain.py # 构建 RAG 模块
├── main.py # LangServe 部署接口
├── requirements.txt # 依赖清单
└── .env # API Key 环境变量

示例请求格式（JSON）

{"input": "LangServe 的用途是什么？"
}

{"output": "LangServe 是 LangChain 的部署工具..."
}

使用 LangServe 搭配 RAG 模型部署的方式，让你可以：

快速上线问答系统

对接自己的知识库

以 API 方式调用，便于嵌入 Web/微信/APP

进一步拓展项：

使用 DashScope 替换 OpenAI

添加源文片段高亮与显示

支持流式响应 / 多轮记忆

接入向量检索 API 进行文档动态更新

五、实践建议

✅ 将复杂链（如 RetrievalQA、Tool Agent）封装成 runnable，也能直接部署。
✅ 用 RunnableWithMessageHistory 维护对话历史，实现多轮记忆对话。
✅ 配置 .env 文件管理 API Key 等环境变量。
✅ 可部署到服务器上（例如用 Docker + Gunicorn）。

六、扩展玩法

应用场景	示例
多链路切换	注册多个 `add_routes(app, ..., path="/x")`
集成向量搜索	与 Qdrant、FAISS 等结合
流式响应	支持 streaming=True 开启流式输出
LangGraph 支持	用于多状态对话流程图部署
用户权限验证	与 FastAPI 中间件整合验证逻辑