使用SO(3)等变隐式神经表示生成活细胞模型

​

Generative modeling of living cells with SO(3)-equivariant implicit
neural representations

解决问题：本篇论文的目标是使用生成模型合成具有复杂拓扑结构的3D+时间细胞形态，并且能够生成对应的显微镜图像。这一问题在细胞追踪和分割等生物医学成像领域中具有重要的应用价值。

关键思路：本文提出了一种新的细胞形态表示方式——有符号距离函数（SDFs）的等价隐式神经网络表示法。该方法能够精确地表示细胞的细节和拓扑变化，同时能够模拟细胞生长、分裂等过程，相比于目前常用的3D体素和多边形网格表示法，具有更高的分辨率和更好的可塑性。

其他亮点：本文使用了多个数据集，包括快速变形的Platynereis dumerilii细胞、生长和分裂的C. elegans细胞以及具有生长和分枝的filopodial突起的A549人类肺癌细胞。对于真实和合成的细胞形态，本文使用形态特征、Hausdorff距离和Dice相似系数进行了定量评估，结果表明该模型能够生成具有复杂拓扑结构的3D+时间细胞形态，并且与真实细胞形态的相似度很高。此外，本文还提出了一种图像到图像的模型，可以将合成的细胞形态转化为显微镜图像。

关于作者：本文的主要作者来自捷克共和国的Charles University和Czech Institute of Informatics, Robotics and Cybernetics，他们的代表作包括“Deep Learning for Cell Tracking”，“3D ShapeNets: A Deep Representation for Volumetric Shapes”。

相关研究：近期的相关研究包括“Deep Learning for Single-Molecule Tracking and Segmentation”，作者为Yuanfang Guan，机构为University of California, Los Angeles；“3D Cell Instance Segmentation with Context Attention and Center-aware Encoding”，作者为Yunzhi Shi等，机构为The Chinese University of Hong Kong。

论文摘要：生物医学成像中的数据驱动细胞跟踪和分割方法需要多样化和信息丰富的训练数据。在训练样本数量有限的情况下，可以使用合成的计算机生成数据集来提高这些方法的性能。这需要使用生成模型合成细胞形态以及相应的显微镜图像。为了合成逼真的活细胞形态，生成模型使用的形态表示应能够准确地表示细节和拓扑变化，这在细胞中很常见。这些要求不适用于3D像素掩模，因为其分辨率受限，也不适用于多边形网格，因为其不易模拟细胞生长和有丝分裂等过程。在本文中，我们提出将活细胞形态表示为由神经网络估计的有符号距离函数（SDF）的水平集。我们通过优化全连接神经网络来提供对3D+时间域中任意点的SDF值的隐式表示，条件是学习到的潜在代码与细胞形态的旋转分离。我们演示了这种方法在表现出快速变形的细胞（Dumerilii海蛞蝓）、生长和分裂的细胞（C. elegans）和具有生长和分枝的细胞突起（A549人类肺癌细胞）上的有效性。通过对真实和合成细胞形状的形状特征、Hausdorff距离和Dice相似系数进行定量评估，我们证明了我们的模型可以在3D+时间中生成拓扑合理的复杂细胞形状，并且与真实活细胞形状非常相似。最后，我们展示了如何使用图像到图像模型合成与我们生成的细胞形态相对应的活细胞显微镜图像。

​Read More