外国人徒手绘建筑图（用卫星图像绘制非洲建筑图）

用卫星图像绘制非洲建筑图

建筑足迹的准确记录对于从人口估计和城市规划到人道主义响应和环境科学的一系列应用都很重要。在发生洪水或地震等灾难之后，当局需要估计有多少家庭受到影响。理想情况下，会有最新的人口普查信息，但在实践中，此类记录可能已过时或不可用。相反，关于建筑物位置和密度的数据可以成为有价值的替代信息来源。

收集此类数据的一个好方法是通过卫星图像，它可以绘制世界各地建筑物的分布图，尤其是在偏远或难以进入的地区。然而，在某些环境中使用计算机视觉方法检测建筑物可能是一项具有挑战性的任务。由于卫星成像涉及从地面上方数百公里处拍摄地球，即使在高分辨率（每像素 30-50 厘米）下，小型建筑物或帐篷棚也仅占用几个像素。对于非正式住区或农村地区，使用天然材料建造的建筑物可以在视觉上与周围环境融为一体，这项任务更加困难。还有许多类型的自然和人工特征很容易与高空图像中的建筑物混淆。

在“来自高分辨率卫星图像的大陆尺度建筑物检测”中，我们解决了这些挑战，使用新方法来检测在不同地形（如热带草原、沙漠和森林）以及非正式的农村和城市环境中工作的建筑物定居点和难民设施。我们使用此建筑检测模型创建开放建筑数据集，这是一种新的开放访问数据资源，其中包含覆盖非洲大陆大部分地区的 5.16 亿座建筑的位置和占地面积。该数据集将支持多种实际、科学和人道主义应用，从灾害响应或人口测绘到规划服务，如新医疗设施或研究人类对自然环境的影响。

我们通过手动标记 10 万张图像中的 175 万座建筑物，为建筑物检测模型构建了训练数据集。下图显示了我们如何在训练数据中标记图像的一些示例，同时考虑了非洲大陆不同地区的混杂特征。例如，在农村地区，需要识别不同类型的居住场所并将其与自然特征区分开来，而在城市地区，我们需要为密集和连续的结构制定标签政策。

我们训练模型以自下而上的方式检测建筑物，首先将每个像素分类为建筑物或非建筑物，然后将这些像素组合到单个实例中。检测管道基于U-Net模型，该模型常用于卫星图像分析。U-Net 的一个优点是它是一种相对紧凑的架构，因此可以应用于大量的成像数据，而没有很重的计算负担。这很关键，因为将其应用于大陆尺度卫星图像的最终任务意味着在数十亿个图像块上运行模型。

基本模型的初始实验精度和召回率较低，例如由于具有建筑物外观的自然和人工特征的多样性。我们发现了许多提高性能的方法。一是使用mixup作为一种正则化方法，通过加权平均将随机训练图像混合在一起。虽然 mixup 最初被提议用于图像分类，但我们对其进行了修改以用于语义分割。对于这个建筑分割任务，正则化通常很重要，因为即使有 10 万张训练图像，训练数据也不能捕捉到模型在测试时呈现的地形、大气和光照条件的全部变化，因此，有一个过拟合的倾向。这可以通过混合以及训练图像的随机增强来缓解。

我们发现另一种有效的方法是使用无监督的自我训练。我们准备了一组来自非洲各地的 1 亿张卫星图像，并将这些图像过滤为 870 万张图像的子集，其中大部分图像包含建筑物。该数据集用于使用Noisy Student方法进行自我训练，其中前一阶段的最佳建筑检测模型的输出用作“教师”，然后训练一个“学生”模型，该模型从增强图像中做出类似的预测. 在实践中，我们发现这减少了误报并提高了检测输出。学生模型对建筑物的置信度较高，而对背景的置信度较低。

我们最初面临的一个问题是，我们的模型倾向于创建“斑点”检测，没有明确划定的边缘，并且倾向于将相邻建筑物合并在一起。为了解决这个问题，我们应用了原始U-Net 论文中的另一个想法，即使用距离权重来调整损失函数以强调在边界附近做出正确预测的重要性。在训练期间，距离权重通过增加损失的权重来更加强调边缘——特别是在有几乎接触的实例的情况下。对于建筑物检测，这鼓励模型正确识别建筑物之间的间隙，这很重要，因此许多紧密的结构不会合并在一起。我们发现原始的 U-Net 距离加权公式很有帮助，但计算速度很慢。因此，我们开发了一种基于边缘高斯卷积的替代方案，它既快速又有效。

我们评估了该模型在非洲大陆多个不同区域的性能，分为不同类别：城市、农村和中等密度。此外，为了准备潜在的人道主义应用，我们在有流离失所者和难民定居点的地区测试了该模型。准确率和召回率确实因地区而异，因此在整个非洲大陆实现一致的性能是一个持续的挑战。

在目视检查低分区域的检测时，我们注意到了各种原因。在农村地区，标签错误是个问题。例如，贴标人员很难发现大部分空旷区域内的单个建筑物。在城市地区，该模型倾向于将大型建筑物拆分为单独的实例。该模型在沙漠地形中也表现不佳，在那里建筑物很难与背景区分开来。

我们进行了一项消融研究，以了解哪些方法对最终性能的贡献最大，以平均精度(mAP) 衡量。距离权重、混合和ImageNet预训练的使用是影响监督学习基线性能的最大因素。未使用这些方法的烧蚀模型的 mAP 差异分别为 -0.33、-0.12 和 -0.07。无监督的自我训练进一步显着提升了 0.06 mAP。

，以创建最终的数据集，我们应用了我们最好的建筑检测模型，以卫星图像整个非洲大陆（8.6十亿的图像片覆盖19400000公里2，非洲大陆的64％），这就造成了检测516M的不同的结构。

每个建筑物的轮廓都被简化为多边形并与Plus Code相关联，Plus Code是由数字和字母组成的地理标识符，类似于街道地址，对于在没有正式寻址系统的地区识别建筑物很有用。我们还包括置信度分数和有关建议阈值的指导，以实现特定的精度水平。

结构的尺寸如下所示，趋向于较小的占地面积。例如，包含小型结构对于支持对非正规住区或难民设施的分析很重要。

数据是免费提供的，我们期待听到它是如何使用的。将来，我们可能会根据使用情况和反馈添加新功能和区域。