Google 日前发布一款 TensorFlow Lite 示例应用，该应用使用 PoseNet 模型在 Android 中实现人体姿势估测。PoseNet 是一种视觉模块，通过检测人体关键部位的位置，来估测图像或视频中的人体姿势。例如，该模型可以估测图像中人物手肘和膝盖的所在位置。姿势估测模型只会识别人体关键部位的位置，而不会去辨别图像中的人物。TensorFlow Lite 现与您分享这款 Android 示例应用，该应用可利用设备的相机实时检测和显示个人的关键身体部位。
PoseNet 应用前景
姿势估测存在多种用途。例如，开发者可根据人体图像增强现实、制作计算机图形人物动画以及为运动中的运动员分析步态。在 Google I/O 2019 大会上，TensorFlow Lite 展示了使用 PoseNet 模块帮助用户学习舞蹈的应用 Dance Like。借助这款示例应用，应用开发者和机器学习专家能够更轻松地探索轻量级移动模型的各种可能性。
PoseNet 示例应用
不同于用 Java 编写的现有 Andriod 应用，PoseNet 示例应用的开发采用 Kotlin 语言。开发此应用旨在让所有人都能以低成本轻松使用 PoseNet 模型。示例应用包含可消除模型复杂性的 PoseNet 库。下图展示应用、PoseNet 库 和 TensorFlow Lite 库之间的工作流。
PoseNet 库
PoseNet 库提供了一个接口，通过该接口接收经处理的相机图像，并返回人体关键部位所在位置的相关信息。此功能由 estimateSinglePose() 函数提供，该函数会在经处理的 RGB 位图上运行 TensorFlow Lite 解释器并返回 Person 对象。了解 PoseNet 输入和输出的含义。
PoseNet 示例应用
PoseNet 示例应用是一种设备端相机应用，该应用可通过相机捕获帧，并实时覆盖图像上的关键点。针对每张传入的相机图像，该应用均会执行以下步骤：
- 从相机预览中捕获图像数据，并将其格式从 YUV_420_888 转换为 ARGB_888。
- 创建 Bitmap 对象，以保存 RGB 格式帧数据的像素。将 Bitmap 裁剪并缩放至可输入模块的尺寸，从而将其传入模块。
- 调用 PoseNet 库的 estimateSinglePose () 函数，以获取 Person 对象。
- 将 Bitmap 重新缩放至屏幕尺寸。在 Canvas 对象上绘制新 Bitmap。
- 使用通过 Person 对象获取的关键点位置，在画布上绘制骨架。显示可信度高于特定阈值（默认为 0.2）的关键点。
为使姿势渲染与相机帧同步，我们对输出显示使用单个 SurfaceView，而非分别对姿势与相机使用 View 实例。SurfaceView 会在 View 画布上进行捕获、锁定和绘制，从而确保在屏幕上实时显示画面。
发展蓝图
我们希望未来能为此示例应用开发更多功能，其中包括：
- 多姿势估测
- 使用 GPU 代理实现 GPU 加速
- 使用 NNAPI 代理实现 NNAPI 加速
- 使用模型的训练后量化降低延迟
- 更多模型选项，例如 ResNet PoseNet 模型
项目 GitHub 地址