玩转深度学习在 GTA-5 实现自动通关

Posted on by 跨象乘云

这是一个使用深层神经网络并运用监督学习实现在 Grand Theft Auto V 中自动驾驶的开源项目。项目使用 PyTorch 编写，并使用了英伟达的 Apex 扩展库，支持混合精度训练与推断，最多大约有两倍的速度提升。训练后模型在驾驶时的策略是模仿人玩 GTA 时的操作，并不会去遵守游戏里的交通规则。例如：地板油在街道上穿行，并躲避其他车辆与行人。当在游戏中设置好目标点后，训练好的模型能够自主地驾驶到对应目标点。

Forward Neural Network outputs the key to press in the keyboard based on the vector representation for the sequence.
Forward Neural Network outputs the key to press in the keyboard based on the vector representation for the sequence.

项目使用人工标记的数据来训练深层神经网络，即首先记录下游戏中的画面已经人玩游戏时的键盘操作，之后使用该数据集来训练神经网络模型。这里需要指出的是，本项目只是用 GTA V 作为自动驾驶的例子，理论上其可用于任意一款驾驶的电子游戏中。下图为使用训练后模型进行自动驾驶的效果展示。

GitHub地址项目 GitHub 地址

Published by 跨象乘云