一份关于深度神经网络在云端、边缘和终端设备上的分区调度调查报告

​

A Survey on Deep Neural Network Partition over Cloud, Edge and End
Devices

解决问题：本文旨在提供关于深度神经网络在云端、边缘和终端设备上分区的最新进展和挑战的综合调查。该研究问题涉及将DNN分成多个部分并将其卸载到特定位置，以提高DNN推理性能。此问题是否新颖尚不确定，但在当前多接入边缘计算和边缘智能的背景下，它具有重要意义。

关键思路：本文提出了一个五维分类框架，用于描述DNN分区方法的部署位置、分区粒度、分区约束、优化目标和优化算法。该框架可以完美地定义每个现有的DNN分区方法，通过将每个维度实例化为特定值。此外，本文还提供了一种比较和评估DNN分区方法的指标集。相比当前领域的研究，本文的思路在于提供了一个全面的调查和分类框架，以便更好地理解DNN分区的问题和挑战。

其他亮点：本文的实验设计和数据集没有详细介绍，也没有提供开源代码。但是，本文提出的五维分类框架和评估指标集对于DNN分区研究具有重要意义。此外，作者还提出了一些未被完全研究或解决的研究挑战，这些挑战值得进一步深入研究。

关于作者：Di Xu、Xiang He、Tonghua Su、Zhongjie Wang是本文的主要作者。他们分别来自南京大学和南京信息工程大学。根据我的数据库，Di Xu曾在多篇与深度学习和计算机视觉相关的论文中发表过文章，如“Saliency Detection via Dense and Sparse Reconstruction”和“Deep Learning Hashing for Large-scale Image Retrieval”。Xiang He的代表作包括“Towards Optimal Deep Hashing via Binary Reconstruction”和“Learning Deep Neural Networks for Vehicle Re-ID with Visual-spatio-temporal Path Proposals”。Tonghua Su的代表作包括“Deep Learning-based Inverse Design for Optical Metamaterials”和“Deep Learning-based Super-resolution Reconstruction for Light Field Imaging”。Zhongjie Wang的代表作包括“Deep Learning-based Multi-label Classification for Industrial Products”和“Deep Learning-based Object Detection with Scale Information”。

相关研究：近期的其他相关研究包括“Efficient Model Parallelism for Large-scale Machine Learning”（作者：Dong Chen等，机构：华为技术有限公司）、“Federated Learning for Healthcare Informatics”（作者：Yanmin Gong等，机构：西安交通大学）和“Edge Intelligence: Paving the Last Mile of Artificial Intelligence with Edge Computing”（作者：Kai Zhang等，机构：南京大学）。

论文摘要：本文提供了深度神经网络（DNN）分区的综述，该问题涉及将DNN分成多个部分并将它们卸载到特定位置。由于多接入边缘计算和边缘智能的最近进展，DNN分区被认为是在边缘和终端设备的计算资源有限且从这些设备到云的远程传输数据成本高昂时，提高DNN推理性能的强大工具。本文基于详细的文献收集，提供了关于云、边缘和终端设备上DNN分区方法的最新进展和挑战的全面综述。我们回顾了DNN分区在各种应用场景下的工作方式，并提供了DNN分区问题的统一数学模型。我们为DNN分区方法开发了一个五维分类框架，包括部署位置、分区粒度、分区约束、优化目标和优化算法。每种现有的DNN分区方法都可以通过将每个维度实例化为特定值来在此框架中完美定义。此外，我们提出了一组用于比较和评估DNN分区方法的指标。基于此，我们确定并讨论了尚未调查或完全解决的研究挑战。我们希望这项工作通过突出这个领域未来的重要研究方向，帮助DNN分区研究人员。

​Read More