TensorFlow强化学习教程：Python+Gym训练Agent指南

本文深入解析了在TensorFlow中构建稳定、高效的Actor-Critic强化学习智能体的关键实践要点，涵盖双头网络结构设计（Actor与Critic必须物理分离、避免梯度干扰）、Gym新API适配（统一处理obs/info、terminated/truncated双终止信号）、计算图构建规范（loss必须在tf.GradientTape内定义、advantage务必stop_gradient）、数值稳定性保障（梯度裁剪、学习率衰减、reward缩放与gamma调优），以及常见陷阱排查（如shape不匹配、dtype不一致、过早.numpy()断开图、Critic输出与reward量级失衡等），为Python开发者提供了一套可直接落地、避坑高效的端到端训练指南。

用 tf.keras.Model 定义 Actor-Critic 网络时，输出层维度容易错

Actor 和 Critic 必须分开建模，不能共用最后一层。常见错误是让网络同时输出动作概率和状态值，但 tf.keras.Model 的单输出结构会强制共享梯度，导致策略更新不稳定。

正确做法是定义双头输出：Actor 头输出 logits（维度 = 动作空间大小），Critic 头输出单个 value（维度 = 1）。注意使用 tf.keras.layers.Dense 时显式指定 activation=None，避免 softmax 或 tanh 干扰策略梯度计算。

• 离散动作空间（如 CartPole-v1）：Actor 输出用 tf.nn.softmax 归一化，但梯度回传必须基于原始 logits
• 连续动作空间（如 Pendulum-v1）：Actor 输出应为均值 + 对数标准差两组张量，用 tfp.bijectors.Tanh 或手动 clip 控制范围
• Critic 的 loss 必须用 tf.keras.losses.MSE，且 target 是 reward + gamma * next_value（不是 reward alone）

tf.GradientTape 记录梯度时，tape.watch() 不起作用的真正原因

很多人调用 tape.watch(model.trainable_variables) 后仍报 “No gradients provided” 错误——其实根本不用 watch，tf.GradientTape 默认追踪所有参与前向计算的可训练变量。问题往往出在 loss 张量没被 tape 正确捕获。

关键检查点：

• 确保 loss 计算（如 actor_loss、critic_loss）发生在 with tf.GradientTape() as tape: 代码块内
• 不要在 tape 外提前调用 .numpy() 或 .item()，这会断开计算图
• 如果用了 tf.function 装饰器，确认所有输入张量类型一致（比如 tf.float32），否则 autograph 可能跳过部分追踪
• Actor loss 中的 tf.stop_gradient(advantage) 是必须的：advantage 本身不参与 actor 梯度更新，但要作为权重乘进 log_prob 梯度里

与 Gym 环境交互时，env.reset() 和 env.step() 返回值类型易引发 shape 错误

Gym 0.26+ 版本统一返回 (obs, info) 元组，而旧版是单个 obs；同时 env.step() 在新版本中返回 (next_obs, reward, terminated, truncated, info) 五元组。TensorFlow 运算对 shape 敏感，混用会导致 InvalidArgumentError: Incompatible shapes。

稳妥写法：

• 初始化环境后立刻检查：obs, _ = env.reset(); print(obs.shape, obs.dtype)
• 统一用 np.array(obs, dtype=np.float32) 转换观测，再转成 tf.constant 或 tf.convert_to_tensor
• 判断 episode 结束必须同时检查 terminated 和 truncated（Gym 新规范），只看 done 已失效
• 批量推理时（如 PPO 的 rollout），别直接堆叠 list of arrays，用 np.stack(..., axis=0) 再转 tensor，否则 batch 维度丢失

训练卡住或 reward 不涨？先查 tf.clip_by_global_norm 和学习率衰减配置

强化学习对梯度爆炸极其敏感，尤其在 critic 更新时。没加梯度裁剪常导致 loss 突然变 nan，后续所有更新失效，但控制台未必报错。

实操建议：

• Actor 和 Critic 分别计算梯度后，各自调用 tf.clip_by_global_norm(gradients, 0.5)（阈值 0.5 是常用起点）
• 学习率别设固定值：用 tf.keras.optimizers.schedules.ExponentialDecay，初始 1e-3，衰减率 0.999，比恒定 1e-4 更稳定
• 每 10 个 episode 打印一次 critic loss 均值，若持续 > 100 或震荡剧烈，大概率是 reward scaling 不当（例如没把 reward /= 100.）或 gamma 设置过高（gamma=0.99 对 CartPole 合适，但对 Sparse Reward 环境应降到 0.9）

最常被忽略的是环境 reward 的量级和网络输出 scale 不匹配——Critic 输出值域和 reward 值域差两个数量级时，MSE loss 会主导更新方向，策略根本学不到东西。

到这里，我们也就讲完了《TensorFlow强化学习教程：Python+Gym训练Agent指南》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！