数据库模式驱动的SQL生成方法

学习文章要努力，但是不要急！今天的这篇文章《数据库模式驱动的SQL生成方法》将会介绍到等等知识点，如果你想深入学习文章，可以关注我！我会持续更新相关文章的，希望对大家都能有所帮助！

本文探讨了如何在不建立实时数据库连接的情况下，利用数据库模式信息驱动大型语言模型（LLM）生成SQL语句。我们将介绍通过手动提供模式文本、构建自定义工具等方法，绕过传统数据库链的限制，实现高效、安全的SQL生成，并提供实践指导与注意事项。

引言：离线SQL模式的必要性

在利用大型语言模型（LLM）进行SQL生成时，一个常见且重要的需求是能够在没有实时数据库连接的情况下工作。这主要出于以下几个原因：

1. 安全性考量： 避免将生产数据库的连接凭据暴露给LLM或其运行环境。
2. 性能与资源： 避免频繁建立和关闭数据库连接，尤其是在大规模或高并发的SQL生成场景中。
3. 开发与测试： 在开发阶段，可能没有可用的数据库实例，或者希望在不影响真实数据的情况下进行SQL生成测试。
4. 生成DDL而非执行查询： 有些场景下，我们只需要LLM根据需求生成数据定义语言（DDL）或查询语句本身，而不是执行它们。

传统的SQLDatabaseChain等工具通常依赖于SQLDatabase类，该类通过SQLAlchemy连接到真实的数据库以内省（inspect）其模式。这显然与“无需实时连接”的目标相悖。因此，我们需要探索替代方案，即如何仅凭数据库的模式文件或描述来指导LLM生成SQL。

理解传统SQLDatabaseChain的工作原理

SQLDatabaseChain是LangChain中用于与SQL数据库交互的强大工具。它的核心是SQLDatabase对象，该对象通过SQLAlchemy引擎连接到指定的数据库URI。一旦连接建立，SQLDatabase能够：

• 内省模式： 查询数据库的INFORMATION_SCHEMA或其他系统表，获取所有表名、列名、数据类型、主键、外键等详细信息。
• 执行查询： 接收LLM生成的SQL语句并执行，然后返回结果。

SQLDatabaseChain通常会将内省到的数据库模式信息（以文本形式）作为上下文的一部分提供给LLM，从而使LLM能够理解数据库结构并生成正确的SQL。然而，这种机制的根本限制在于它要求一个可用的、具有读权限的实时数据库连接。

方法一：直接向LLM提供数据库模式文本

最直接、最简单的方法是将数据库的模式信息作为纯文本，直接嵌入到发送给LLM的提示词（Prompt）中。这种方法完全绕过了SQLDatabase的实时连接需求。

1. 提取数据库模式

首先，你需要获取目标数据库的模式信息。这可以通过以下方式实现：

• 从现有数据库导出： 使用数据库客户端工具（如mysqldump、pg_dump）导出DDL语句，或者查询INFORMATION_SCHEMA视图来获取表和列的定义。
• 使用现有的DDL文件： 如果你已经有创建数据库表的DDL脚本，可以直接使用它们。
• 手动编写： 对于简单的数据库结构，可以手动编写一个简洁的描述。

2. 格式化模式文本

将提取到的模式信息格式化为清晰、简洁的文本，以便LLM能够轻松理解。通常，DDL语句本身就是很好的格式，或者可以将其转换为易于阅读的列表或描述。

示例：

-- 表：users
-- 描述：存储用户信息
CREATE TABLE users (
    id INT PRIMARY KEY COMMENT '用户ID',
    username VARCHAR(50) UNIQUE NOT NULL COMMENT '用户名',
    email VARCHAR(100) UNIQUE COMMENT '邮箱地址',
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间'
);

-- 表：products
-- 描述：存储产品信息
CREATE TABLE products (
    product_id INT PRIMARY KEY COMMENT '产品ID',
    name VARCHAR(255) NOT NULL COMMENT '产品名称',
    price DECIMAL(10, 2) NOT NULL COMMENT '产品价格',
    stock INT DEFAULT 0 COMMENT '库存量'
);

-- 表：orders
-- 描述：存储订单信息，包含用户ID和产品ID的外键
CREATE TABLE orders (
    order_id INT PRIMARY KEY COMMENT '订单ID',
    user_id INT NOT NULL COMMENT '下单用户ID',
    product_id INT NOT NULL COMMENT '订单产品ID',
    quantity INT NOT NULL COMMENT '购买数量',
    order_date TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '订单日期',
    FOREIGN KEY (user_id) REFERENCES users(id),
    FOREIGN KEY (product_id) REFERENCES products(product_id)
);

3. 构建LLM提示词

将格式化后的模式文本与用户的问题结合，构建一个引导LLM生成SQL的提示词。

示例代码：

以下是一个使用LangChain和OpenAI模型的示例，展示如何将模式作为上下文传递。

from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI # 假设你使用OpenAI模型

# 假设这是你的数据库模式信息（可以是DDL语句或更简洁的描述）
db_schema = """
-- 表：users (存储用户信息)
CREATE TABLE users (
    id INT PRIMARY KEY COMMENT '用户ID',
    username VARCHAR(50) UNIQUE NOT NULL COMMENT '用户名',
    email VARCHAR(100) UNIQUE COMMENT '邮箱地址',
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间'
);

-- 表：products (存储产品信息)
CREATE TABLE products (
    product_id INT PRIMARY KEY COMMENT '产品ID',
    name VARCHAR(255) NOT NULL COMMENT '产品名称',
    price DECIMAL(10, 2) NOT NULL COMMENT '产品价格',
    stock INT DEFAULT 0 COMMENT '库存量'
);

-- 表：orders (存储订单信息，包含用户ID和产品ID的外键)
CREATE TABLE orders (
    order_id INT PRIMARY KEY COMMENT '订单ID',
    user_id INT NOT NULL COMMENT '下单用户ID',
    product_id INT NOT NULL COMMENT '订单产品ID',
    quantity INT NOT NULL COMMENT '购买数量',
    order_date TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '订单日期',
    FOREIGN KEY (user_id) REFERENCES users(id),
    FOREIGN KEY (product_id) REFERENCES products(product_id)
);
"""

# 构建提示模板
prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "你是一个SQL查询生成器。请根据提供的数据库模式和用户问题生成SQL语句。只返回SQL语句，不要包含任何解释或额外文字。请使用MySQL方言。"),
        ("user", "数据库模式：\n{schema}\n\n用户问题：{question}\n\n生成的SQL:"),
    ]
)

# 初始化LLM（请替换为你的LLM模型和API密钥）
llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0)

# 创建链
chain = prompt | llm

# 示例调用
question = "查询所有用户的订单数量，并按用户ID升序排列。"
response = chain.invoke({"schema": db_schema, "question": question})
print(response.content)

# 另一个示例
question_2 = "查找库存少于10个的所有产品名称及其价格。"
response_2 = chain.invoke({"schema": db_schema, "question": question_2})
print(response_2.content)

优点：

• 简单直接： 实现成本低，无需复杂的工具集成。
• 完全离线： 无需任何数据库连接。

缺点：

• 上下文窗口限制： 对于非常大的数据库模式，模式文本可能会超出LLM的上下文窗口限制。
• 模式维护： 数据库模式变更时，需要手动更新提示词中的模式文本。
• LLM理解能力： LLM对复杂或不规范的模式描述可能理解不佳，需要精心的提示工程。

方法二：构建自定义数据库描述工具或代理

为了克服直接提供模式文本的局限性，特别是对于复杂或动态变化的模式，我们可以构建一个自定义工具。这个工具不连接数据库，而是根据预加载或解析的模式文件提供数据库结构信息给LLM代理。LLM代理可以像查询真实数据库一样，通过调用这个工具来获取它所需的模式信息。

1. 预处理模式文件

首先，你需要将数据库模式信息加载到一个结构化的数据结构中（例如Python字典、JSON对象）。这可以从DDL文件解析、从JSON/YAML格式的模式描述文件加载。

示例结构化模式：

mock_db_schema_info = {
    "tables": {
        "users": {
            "columns": [
                {"name": "id", "type": "INT", "is_pk": True, "description": "用户ID"},
                {"name": "username", "type": "VARCHAR(50)", "is_pk": False, "description": "用户名"},
                {"name": "email", "type": "VARCHAR(100)", "is_pk": False, "description": "邮箱地址"},
                {"name": "created_at", "type": "TIMESTAMP", "is_pk": False, "description": "创建时间"},
            ],
            "primary_key": ["id"],
            "foreign_keys": [],
            "description": "存储用户信息",
        },
        "products": {
            "columns": [
                {"name": "product_id", "type": "INT", "is_pk": True, "description": "产品ID"},
                {"name": "name", "type": "VARCHAR(255)", "is_pk": False, "description": "产品名称"},
                {"name": "price", "type": "DECIMAL(10, 2)", "is_pk": False, "description": "产品价格"},
                {"name": "stock", "type": "INT", "is_pk": False, "description": "库存量"},
            ],
            "primary_key": ["product_id"],
            "foreign_keys": [],
            "description": "存储产品信息",
        },
        "orders": {
            "columns": [
                {"name": "order_id", "type": "INT", "is_pk": True, "description": "订单ID"},
                {"name": "user_id", "type": "INT", "is_pk": False, "description": "下单用户ID"},
                {"name": "product_id", "type": "INT", "is_pk": False, "description": "订单产品ID"},
                {"name": "quantity", "type": "INT", "is_pk": False, "description": "购买数量"},
                {"name": "order_date", "type": "TIMESTAMP", "is_pk": False,

本篇关于《数据库模式驱动的SQL生成方法》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！