Blast pile fragments recognition algorithm for open pit mines based on deep learning and nap-of-the-object photogrammetry
-
摘要:
爆堆块度分布的快速计算方法一直是学术界和工业界关注的热点，对于优化爆破效果、节约采矿成本具有重要意义。通过贴近摄影测量技术获取露天矿爆堆块体图片，构建超高清正射数据集，并提出基于深度学习的爆堆块度识别算法对爆破效果及优化采矿成本进行评估；引入可切换空洞卷积和递归特征金字塔改进模块提取不同岩体块度特征，利用傅里叶描述子建立爆堆块体统计并采用累计通过体积曲线替代累计通过率。结果表明，这种基于深度学习和贴近摄影测量的露天矿爆堆块度识别算法具备有效性，目标爆堆的表面粉矿率均值为8.90 %，表面大块率均值为4.69 %。粉矿率偏高，大块率较低，需进一步优化爆破参数，降低成本。
Abstract:The rapid calculation of blast pile fragment size distribution has been a focal point in both academia and industry due to its significant application on optimizing blasting effects and reducing mining costs. In this study, the high-resolution orthophoto datasets of open-pit mine blast piles were acquired using nap-of-the-object photogrammetry techniques, and a deep learning algorithm for fragment size distribution recognition was proposed to assess blasting effectiveness and optimize mining costs. To enhance the feature extraction of different rock fragmentation sizes, we introduced a switchable atrous convolution module and a recursive feature pyramid refinement module. Fourier descriptors were utilized to establish statistical distributions of the blast piles, while the cumulative passing volume curve was employed in place of the cumulative passing rate. The results demonstrated the effectiveness of the proposed algorithm: the mean fine fragmentation rate on the surface of the target blast pile was 8.90 %, and the mean large block rate on the surface was 4.69 %. The high fine fragmentation rate and low large block rate indicate that the blasting parameters can be further optimized, and the cost can be reduced.
-
爆破是露天矿生产过程中的关键环节。好的爆破应该产生形状规整、岩石尺度分布适中的爆堆，同时不应显著影响边坡的稳定性。作为爆破效果好坏的直观体现，爆堆中岩块的尺度分布为爆破参数优化提供重要依据。关于爆堆块度尺度分布和爆破参数之间的关系，已经有许多定量模型[1]，包括KUZNETSOV[2]、扩展Kuz-Ram[3]和xp-碎片模型[4]等。爆堆块度分布的快速计算成为研究热点。传统人工方法如筛分法或目视观察法，存在时间、经济成本耗费大或难以量化的问题。近年来利用视觉信息的直观性，基于数字图像的方案如摄影测量[5]、三维建模[6]、激光扫描[7]等，已成为主流的研究方向。尤其是随着深度学习的发展，进一步提升从非结构化视觉数据中提取信息的能力，扩充数字图像方案的应用场景。
数字图像方案具有成本低廉、速度快的优势，目前工业界已经开发出许多基于人机交互的半自动化商业软件，如WipFrag[8]、SplitDesktop[9]等，通过人工干预的方式解决频繁出现的过分割和欠分割问题。为进一步提升自动化程度，一些学者尝试改进传统图像分割方法。GUO等[10]提出一种改进的分水岭算法，基于岩块形状通过调整灰度阈值自适应选择种子点，改善分水岭算法容易出现过分割的状况。然而，受限于传统数字图像方法需要人工设计特征的缺陷，该方法的稳健性仍存在较大问题。基于激光雷达和三维建模的方法，输入三维空间中的位置和深度信息，排除光照和纹理等对分割结果的影响，弥补数字图像处理算法中稳健性方面的不足。LIU等[11]利用VCCS算法分割点云，通过LCCP聚类算法合并同属一个岩石样本体素，并分析岩石块度；然而由于激光点云的数据量过于庞大，该方法只在小规模的模拟爆堆上验证。过大的数据量及昂贵的设备成本，在很大程度上限制激光雷达和点云方案在爆堆识别方面的应用。
无人机(UAV)作为一种轻量级近地测绘工具，可以快速无损地采集具备全局信息的数据，克服地形地势对数据采集的干扰，已经在露天矿爆破勘探[12-14]方面取得广泛应用。然而，现有将无人机和数字图像方案结合的尝试，在计算爆堆分布曲线方面没有得到理想的应用效果[15]。现有方法中，利用UAV采集的视觉数据精度，即地面空间分辨率(GSD)，低于地面采集精度[16]。这种分辨率上的差异直接导致UAV数据集中包含更高比例的小目标(遵循COCO目标检测挑战赛的定义[17]，认为32像素以下的目标为小目标)。根据文献[18]，假设爆堆中的尺度分布服从Rosin-Rammler公式，爆堆中岩块的平均直径为50 cm，Rosin-Rammler指数为1.2，当GSD从4 mm升高至10 mm，整个数据集小目标的数量增加22 %，中小目标数量增加38 %。基于Paper with Code平台的调研结果，大多数基于深度神经网络(DNN)的方法在小目标上的目标检测和实例分割精度，都显著小于在平均或大尺度目标上的对应精度[19]。尤其是在小目标占比如此巨大的情况下，大多数现有的UAV数字图像方案仍然采取如Mask RCNN[20]、ResNet[21]等算法，而这类算法没有针对小目标场景做任何优化。这导致UAV数字图像方案的计算精度显著下降，严重限制基于机器视觉进行爆堆识别的应用。
建立一种快速、全局的爆堆岩石碎片尺度分布识别方法，需要解决2个问题：一是采用贴近摄影测量技术降低UAV重建出的正射图像的GSD；二是针对小目标数据集，使用DetectoRS[22]算法，引入递归特征金字塔和可切换空洞卷积改进模块，以提升算法性能。同时，将提出的算法应用于弓长岭露天铁矿进行爆堆识别，验证算法有效性。
1. 爆堆岩石实例分割算法
与通用实例分割任务相比，爆堆岩石实例分割的问题在于目标尺度变化更加明显，且小尺度目标的数量更多，因此需要对爆堆识别场景引入适用于小目标分割的算法设计，以提升模型性能。引入可切换空洞卷积和递归特征金字塔模块的深度学习模型，可以提高爆堆中小目标的识别精度。针对露天矿爆堆块度识别，采用的技术路线如图 1所示。
1.1 可切换空洞卷积
在以往的深度学习实践中，空洞卷积可以在不增加模型参数的前提下，按照一定规则跳过输入数据中的某些采样点，达到扩大模型感受野尺度的效果，实现速度与精度的平衡。然而，对于爆堆岩石实例分割问题，因其尺度变化更大，且大部分的岩石在图像中对应实例的尺度较小，这种做法导致大小岩石样本采样比例不平衡的状况加剧，最终显著影响算法对中小尺度岩石的检出率。因此，引入可切换空洞卷积(Switchable Astrous Convolution, SAC) 模块改善算法性能。SAC模块可以根据输入数据的实际情况，从膨胀率设置中选择更合适的一种。通过多层SAC模块的堆叠，针对不同尺度岩石目标，实现膨胀率的自适应选择。SAC组件的原理如图 2所示。
1.2 递归特征金字塔
随着深度学习骨干网络层数的加深，神经网络的感受野通过池化和堆叠卷积逐渐扩大，这赋予模型预测更大尺度岩石碎片的能力。然而，在感受野扩大的同时，特征图的分辨率也在逐渐下降，导致爆堆中小尺度岩石碎片的细节逐步丢失，预测精度下降。为提高实例分割算法对不同尺度目标的检测精度，通常做法是使用特征金字塔结构。特征金字塔(Feature Pyramid Network, FPN)采用一种自下而上融合的结构，如图 3 (a)所示，可以对骨干网络在不同阶段输出的适用于不同尺度的特征图进行有效融合，保证模型在多种尺度岩石碎片预测上的性能。
![]()
递归特征金字塔(Recursive Veature Pyramid, RFP)在FPN中引入一个额外的自上而下的反馈链接，如图 3 (b)所示。在计算某一尺度岩石颗粒特征时，FPN直接用该尺度上一层级的特征生成本级的尺度特征，而RFP不但利用上一尺度的岩石颗粒特征，还利用上一次迭代计算出的本级尺度岩石颗粒的特征。通过在FPN中引入递归结构，实现岩石尺度特征的渐次改进，网络收敛速度加快，预测精度提高。
2. 爆堆贴近摄影测量
无人机采集到的图像数据分辨率低于地面采集方式。这是由于无人机没有根据地形变化动态调整飞行轨迹。传统无人机航线规划一般使用水平静态航线规划，受到无人机最小安全飞行距离限制，无人机距离爆堆底部的实际距离会加大，导致重建精度降低，如图 4(a)所示。文献[23]表明，大多数深度学习算法在目标尺度下降时，出现识别精度显著下降。为解决这个问题，使用贴近摄影测量技术。贴近摄影测量通过2次飞行模式转换和动态航线规划，达成根据地势自适应调整飞行航线的目的，如图 4(b)所示，适用于被摄目标起伏变化较大、建模精度要求高的场景以及高度和形状多变的爆堆测绘场景。
![]()
图 4 常规无人机摄影测量和近景摄影测量示意图Figure 4. Schematic diagram of conventional UAV photogrammetry and nap-of-the-object photogrammetry贴近摄影测量的原理可以通过GSD的计算公式定量解释：
$$ f_{\mathrm{GSD}}=\frac{d S}{I F} $$ (1) 式中，d为相机镜头与被摄主体之间的距离，对于无人机而言为无人机的飞行高度，m；S为传感器的尺度, μm；F为相机镜头的焦距, mm；I为图像的尺度像素。
因此，在拍摄器材参数接近的情况下，拍摄距离越近，GSD越小，空间分辨率越高，识别效果越好。
对于可变焦距的测绘镜头，除拍摄距离d之外，还可以通过提高相机的焦距F实现相同的效果。限于实验条件，通过单纯调整无人机的拍摄距离实现贴近摄影测量。
在无人机飞行阶段采用渐进原则，分成粗模阶段和精细化阶段。在粗模外业阶段，先根据矿山的爆破计划和现场勘察，确定飞行区域和最小安全距离，然后通过常规平面航线执行外业；在粗模内业阶段，先对齐照片，生成数字高程模型和数字表面模型，并通过后者生成精细化航线，根据爆堆的实际地势起伏动态调整飞行高度。在精细化阶段，使用精细化航线再次开展外业，然后在内业阶段生成目标高分辨率爆堆正射投影图像。采用Metashape软件完成以上流程。相较于粗模阶段，精细化阶段可以将GSD从8~12 mm降低至3~6 mm。粗模阶段和精细化阶段的正射影像清晰度对比如图 5所示。
![]()
图 5 粗模阶段和精细化阶段的正射影像清晰度对比Figure 5. Comparison of orthophoto resolution between the rough modeling stage and the refinement stage3. 数据和方法
3.1 数据来源
实验在弓长岭露天铁矿采集爆堆图像(图 6)。弓长岭铁矿地处辽宁省辽阳市，是中国东北地区规模较大的铁矿矿山。弓长岭露天铁矿包含独木、何家、大砬子3个采区，大砬子采区同时采用露天开采和地下开采，另外2个采区采用露天开采。实验主要在何家采区进行，采区岩层由第四系堆积物及辉绿岩、闪长岩、石英岩等岩脉构成，岩石矿石种类复杂、力学性质各异、颜色多变，具备代表性。
![]()
图 6 弓长岭露天铁矿何家采区的俯视图和数字高程模型Figure 6. A top view and DEM of the Hejia mining area at Gongchangling open-pit iron mine数据获取所使用无人机平台和相机的详细参数见表 1。对于每个爆堆，分别进行2次外业和2次内业。在第1次外业中，根据现场情况让无人机在距离爆堆顶部50~70 m的平面上平飞；在第2次外业中使用动态航线，无人机距爆堆表面高度始终保持在25~30 m。使用Agisoft Metashape软件重建数据并规划航线。在第1次外业结束后，重建爆堆表面的三维网格，并以此计算动态航线。在第2次外业结束后，重建的正射投影图像GSD为3.5~4.58 mm。
表 1 数据获取所使用无人机平台和相机的详细参数Table 1. Detailed parameters of the UAV platforms and cameras we use for data acquisition项目 参数 
型号 大疆®M300 RTK 无人机类型 四旋翼无人机 最大承载量 9 kg 飞行高度上限 7 000 m 最远传输距离 15 km 最长飞行实践 55 min 飞行控制软件 大疆®Pilot v2 
型号 赛尔®PSDK 102S 类型 五镜头倾斜摄影相机 焦距 35 mm 画幅 APS-C Frame 传感器尺度 23.5 mm × 15.6 mm 像元尺度 3.9 μm 分辨率 24.3M像素 一共采集并重建18个爆堆的高清正射投影图像，共包含49 536个尺度为1 024像素×1 024像素的补丁块。爆堆重建正射影像的信息见表 2。爆堆P01~P05用以构建有监督爆堆实例分割数据集UAV-1.5k。在这5个爆堆中，使用Intel CVAT手工标记超过130 000个多边形；爆堆P06~P16用以验证方法的有效性。这11个爆堆的GSD为2.39~4.7 mm；爆堆P17、P18用来对比GSD对块度统计的影响，其GSD分别为6.23、7.37 mm。
表 2 爆堆重建正射影像的信息Table 2. Information on the reconstructed orthophoto of the burst pile爆堆编号 P01* P02* P03* P04* P05* P06 P07 P08 P09 GSD/mm 4.13 4.32 3.71 3.5 4.24 2.39 4.54 4.29 4.44 补丁数量 397 578 759 691 699 2 020 891 1 102 853 爆堆编号 P10 P11 P12 P13 P14 P15 P16 P17 P18 GSD/mm 4.58 4.47 4.39 4.57 3.8 3.94 4.7 6.23 7.37 Patch数量 997 926 881 782 286 848 1 017 2 333 650 3.2 方法和评价指标
基于HTC50模型[24]提出爆堆块度识别算法DetectoRS。具体而言，实验将原始HTC50模型中的全部卷积层更换为SAC模块，并使用RFP模块替换FPN模块，使用MMDetection实现算法。在MS COCO数据集上进行预训练获得初始权重，然后在UAV-1.5k数据集上进行微调。使用Nvidia RTX 3090Ti服务器及随机梯度下降(Stochastic Gradient Descent, SGD)优化器训练24个轮次，批大小设置为2，初始学习率为0.001，经过500次迭代后学习率上升至0.01，并在之后按照余弦退火函数衰减。将P01、P02、P03爆堆作为训练集，P04作为验证集，P05作为测试集。为提升算法在密集数据集上的表现，非极大值抑制(Non-Maximum Suppression, NMS)算法使用SoftNMS，原始预测输出实例个数修改为500。除上述修改外，实验中其他设置全部沿用MMDetection v3.0版本中的原始设置。
4. 实验
4.1 消融实验
使用消融实验验证SAC、RFP模块的有效性。首先修改原始的HTC网络，去掉不必要的语义分割头；其次分别添加SAC模块和RFP模块；最后与所构建的改进DetectoRS算法对比。采用完全相同的训练参数和训练数据，不同指标在UAV-1.5 k数据集上的消融实验对比见表 3。图 7为不同模型在UAV-1.5 k数据集上的消融实验结果。图 7中不同模型预测的岩石碎块用红色掩膜表示，置信度越高，掩膜的不透明度越高。
表 3 不同指标在UAV-1.5 k数据集上的消融实验对比Table 3. Comparison results of ablation experiments with different metrics on the UAV-1.5 k dataset% 模型 APS APM APL AP50 AP75 AP HTC 10.2 36.8 51.3 29.2 20.6 18.4 HTC+SAC 10.5 37.4 53.1 29.5 21.4 18.5 HTC+RFP 10.7 37.7 52.9 29.4 20.6 18.6 改进DetectoRS 10.8 37.8 53.6 30.3 20.9 18.9 ![]()
图 7 不同模型在UAV-1.5k数据集上的消融实验结果Figure 7. Ablation experiment results of different models on the UAV-1.5 k dataset通过可视化对比发现，引入SAC模块之后，相同岩石碎片的置信度得到提升，这是因为SAC模块根据不同岩石碎片的尺度自适应地调整感受野大小，从而调整采样点的密度。这种做法使得不同尺度的岩石碎片拥有数量相近的采样点，降低样本之间采样点数量的差异，因此显著提升不同尺度目标预测的置信度。引入RFP之后，模型捕获到更多的岩石碎片。通过RFP递归结构，更底层的视觉特征和梯度可以更直接地被接收，这种自下而上的结构包含更少的纹理细节信息，确保更高分辨率的底层视觉特征不被丢失。对于预测小尺度岩石占比更小的问题，这些高分辨率特征更加关键。使用实例分割领域中常用的AP指标衡量分割效果。AP指标通常用于衡量模型对不同类别目标的准确性和召回率[17]。相较于HTC基线，添加SAC模块分别在AP50和AP752项指标上取得0.3 % 和0.8 % 的提升，RFP模块在APS、APM和APL33项指标上带来0.5 %、0.9 % 和1.6 % 的提升。通过结合使用SAC、RFP，改进DetectoRS在所有指标上取得的结果都优于HTC基线。
4.2 与基线算法的对比
实验选取基于深度学习的爆堆常用算法Mask RCNN和SOLOv2[25]作为对比算法。Mask RCNN是一个经典的基于区域的实例分割算法，已得到广泛应用[26-29]。SOLOv2是一个基于Anchor和动态卷积的实例分割新算法，在相关领域内性能优异[30-31]。不同模型在UAV-1.5 k数据集上的指标见表 4。图 8为不同模型在UAV-1.5 k数据集上不同场景的预测结果。图 8中重复预测的实例使用红色重复标记，红色越深代表重复预测的次数越多。
表 4 不同模型在UAV-1.5 k数据集上的指标Table 4. Comparison of different models on UAV-1.5 k dataset% 模型 APS APM APL AP50 AP75 AP Mask-RCNN 10.2 36.9 51.0 29.0 20.2 18.4 SOLOv2 9.9 37.7 54.4 30.3 20.4 18.5 改进DetectoRS 10.8 37.8 53.6 30.3 20.9 18.9 ![]()
图 8 不同模型在UAV-1.5 k数据集上不同场景的预测结果Figure 8. Visualization comparison of the prediction results of baseline model and DetectoRS on the UAV-1.5 k dataset可见，当岩石碎片具有较大的尺度且分布较为离散时，3种算法均可取得相对理想的成果；当岩石碎片的尺度细小、分布更加密集时，由于没有在密集场景下对区域生成算法做针对性优化，Mask-RCNN算法出现大量的漏检[图 8 (e)]。这种漏检导致算法的最小可识别尺度增大，使得预测得到的相同尺度碎片占比更低。SOLOv2作为一种基于锚点的算法，通过生成更加密集的锚点在一定程度上降低漏检率。然而，这种方法不仅带来额外计算量，而且导致显著的重复检出问题[图 8 (a)(c)]，使得预测得到的相同尺度碎片占比更高。此外，SOLOv2相较另外2种算法出现更多、更严重的误检问题[图 8 (b)]，严重影响尺度分布函数精度。相比之下，改进DetectoRS算法在大块、多尺度、密集、小块等典型场景下都获得更好的性能。
5. 爆堆块度分布分析
爆堆块度计算流程如图 9所示。首先，利用DetectoRS算法提取正射投影中的岩石碎片实例；然后，使用傅里叶描述子表征实例；最后，统计整个爆堆中所有岩石碎片实例的几何参数，得到爆堆岩石碎片的尺度分布。
![]()
图 9 爆堆块度计算流程Figure 9. Calculation process of bursting pile fragment size distribution5.1 用傅里叶形状描述子统计爆堆块度分布
对于二维平面上的封闭曲线，可以将其看成复平面上的一维周期函数，并用傅里叶形状描述子表征该轮廓。假设爆堆中有一岩石碎片f，其轮廓c由个离散点的连线组成，即
$$ c=\left(v_1, v_2, \cdots, v_P\right) $$ (2) 构建傅里叶形状描述子：
$$ G=\left(G_{-m_p}, \cdots, G_0, \cdots, G_{m_p}\right) $$ (3) $$ G_0=a_0+i c_0 $$ (4) $$ G_{+m}=\left(a_m+d_m\right)+i\left(c_m-b_m\right) $$ (5) $$ G_{-m}=\left(a_m-d_m\right)+i\left(c_m+b_m\right) $$ (6) 式中，m为傅里叶级数的阶数；am、bm、cm、dm为傅里叶系数。
$$ \begin{gathered} \binom{a_0}{c_0}=v_1+ \\ \frac{\sum\limits_{i=1}^P\left[\left(\frac{L_i^2-L_{i-1}^2}{2 \lambda_i}-L_{i-1}\right) d_i+\lambda_i\left(v_2-v_1\right)\right]}{L_P} \end{gathered} $$ (7) $$ \begin{gathered} \binom{a_m}{c_m}=\frac{L_P}{(2 \pi m)^2} \times \\ \sum\limits_{i=1}^P\left[\frac{\cos \left(2 \pi m \frac{L_i}{L_P}\right)-\cos \left(2 \pi m \frac{L_{i-1}}{L_P}\right)}{\lambda_i} d_i\right] \end{gathered} $$ (8) $$ \begin{gathered} \binom{b_m}{d_m}=\frac{L_P}{(2 \pi m)^2} \times \\ \sum\limits_{i=1}^P\left[\frac{\sin \left(2 \pi m \frac{L_i}{L_P}\right)-\sin \left(2 \pi m \frac{L_{i-1}}{L_P}\right)}{\lambda_i} d_i\right] \end{gathered} $$ (9) $$ d_i=v_i-v_{i-1} $$ (10) $$ \lambda_i=\left\|d_i\right\|_2 $$ (11) $$ L_i=\sum\limits_{i=1}^i \lambda_i $$ (12) 式中，di为点vi-1和vi之间的线段；λi为di的长度；Li为从v1到vi之间的距离。
傅里叶描述子中，各级系数具有不同的几何含义。如G0对应系数a0，c0代表轮廓的重心坐标，C±1可表示轮廓C的近似椭圆，且该椭圆的长轴长度A和短轴长度B分别满足：
$$ A=\left|G_1\right|+\left|G_{-1}\right| $$ (13) $$ B=\left|G_1\right|-\left|G_{-1}\right| $$ (14) 若采用标准椭球体近似岩石碎片，则岩石碎片F对应的最小可通过筛网直径D(f)和体积V(f)为
$$ D(F)=B_F $$ (15) $$ V(F)=\frac{4}{3} \pi A_F B_F^2 $$ (16) 给定筛网孔径D，爆堆F块度分布定义为可以通过该筛网的岩石占比，因此表示为累计通过率分布C(D)：
$$ C(D)=\frac{\operatorname{Count}\left(F_D\right)}{\operatorname{Count}(F)} $$ (17) $$ F_D=\{F \mid f \in F, D(f) \leqslant D\} $$ (18) 式中，Count(x)为集合x中元素的个数；F为爆堆中所有岩石碎片的集合；FD为爆堆中短轴直径小于D的岩石碎片集合。
此外，根据估计到的岩块体积，可获得累计通过体积分布CV(D)：
$$ C V(D)=\frac{\sum\limits_f^{F_D} V(f)}{\sum\limits_f^F V(f)} $$ (19) 根据式(16)、式(18)，在P05爆堆上计算的累计通过率曲线和累计通过体积曲线(GSD=4.24 mm)如图 10所示。
![]()
图 10 在P05爆堆上计算的累计通过率曲线和累计通过体积曲线Figure 10. Cumulative passing rate curve and cumulative passing volume curve calculated on P05 bursting pile无论是累计通过率曲线还是累计通过体积曲线，均可以表征爆堆的基本块度信息，包括最大检出块直径、最小检出块直径、粉矿率、大块率、中位块度等。但是由图 10可知，对不同尺度的岩石碎片赋予不同的权重，爆堆的累计通过体积曲线更加平缓。这不但更加有利于观察爆堆的块度分布情况，对提升爆堆统计方法在不同分辨率情形下的表现也有积极作用。
利用块度统计方法，可以计算以下几项块度指标：①最小检出块直径，指置信度在75 % 以上的岩石碎片中，最小的短轴长度；②大块率，为短轴长度在800 mm以上的岩石碎片在整个爆堆中的占比，根据式(15)、式(17)分别给出按通过个数的占比和按体积的占比；③粉矿率，为短轴长度在50 mm以下的岩石碎片在整个爆堆中的占比，与大块率类似，根据式(15)、式(17)分别给出按通过个数的占比和按体积的占比。在表 2所列举的18个爆堆上分别计算上述指标，结果见表 5。
表 5 弓长岭露天铁矿18个爆堆的爆破块度指标Table 5. The blasting fragmentation index of 18 muck piles at Gongchangling open-pit iron mine爆堆编号 P01 P02 P03 P04 P05 P06 P07 P08 P09 最小检出块直径/mm 9.49 8.75 7.38 6.86 7.85 4.66 10.6 11.72 10.30 粉矿率(按通过个数统计)/% 65.79 56.54 62.52 77.35 55.38 85.42 55.47 80.87 46.27 大块率(按通过个数统计)/% 0.000 5 0.001 1 0.000 5 0.000 3 0.000 9 0 0.001 0.006 2 0.005 8 粉矿率(按通过体积统计)/% 13.28 8.13 7.89 18.12 8.8 22.49 9.18 16.50 3.70 大块率(按通过体积统计)/% 0.81 2.49 0.78 1.7 1.74 0 2.58 19.82 2.35 爆堆编号 P10 P11 P12 P13 P14 P15 P16 P17 P18 最小检出块直径/mm 9.13 10.33 10.05 12.63 12.24 9.71 7.83 14.02 16.17 粉矿率(按通过个数统计)/% 57.14 56.67 49.59 44.59 57.63 60.33 52.97 24.95 11.27 大块率(按通过个数统计)/% 0.004 7 0.000 5 0.004 0.005 6 0 0.004 3 0.000 3 0.009 2 0.006 3 粉矿率(按通过体积统计)/% 7.54 8.94 4.27 3.45 7.86 6.6 8.49 3.44 1.44 大块率(按通过体积统计)/% 10.85 1.42 3.56 3.95 0 5.07 0.62 19.27 7.39 由表 5可知，相较于累计通过率计算出的大块率和粉矿率，使用累计通过体积计算更加合理，并且在各个不同GSD的爆堆中保持稳定。18个目标爆堆的粉矿率均值为8.9 %，方差为30.61，最大为22.49 %，最小为1.44 %；大块率均值为4.69 %，方差为36.63，最大值为19.82 %，最小为0。因此，目标爆堆的粉矿率偏高，大块率较小，说明所测矿区的爆破参数比较激进，可以适当降低炸药量，以节约成本。
5.2 GSD对累计通过率的影响
GSD将直接影响算法的最小可识别块大小，进而改变爆堆的累计通过率。具体而言，当GSD值变大时，同等尺度的岩石碎片占有的像素尺度减小，检出数量下降。这种情况导致算法的最小可检测尺度增加，相同尺度岩石碎片的累计通过率下降。为验证这一点，分别绘制5个GSD递增爆堆的累计通过率曲线，如图 11所示。可见，当GSD递增时，曲线大致向右侧平移，验证了上述结论。
![]()
图 11 不同GSD下不同爆堆的累计通过率曲线Figure 11. Cumulative passing rate curves for different bursting piles with different GSDs5.3 累计通过率和累计通过体积的对比
累计通过率曲线会受到GSD改变的干扰，原因是累计通过率计算对所有尺度的岩石碎片赋予相同的权重。用累计通过体积量取代直接统计通过个数，可以看成对不同尺度的岩石碎片赋予不同的权重。因此，相较于直接使用累计通过率，采用累计通过体积表示爆堆块度，对于不同GSD具有更好的稳健性。图 12和图 13分别为在18个爆堆上计算出的累计通过率曲线和累计通过体积曲线。通过对比可知，相较于累计通过率曲线，不同爆堆的累计通过体积曲线分布更加集中。此外，累计通过体积曲线可以更容易观察到爆堆中的大块占比。
![]()
图 12 在18个爆堆上计算出的累计通过率曲线Figure 12. Cumulative passing rate curves calculated on 18 blast piles![]()
图 13 在18个爆堆上计算出的累计通过体积曲线Figure 13. Cumulative passing volume curves calculated on 18 blast piles6. 结论
建立一种基于深度学习和贴近摄影测量的爆堆实例分割算法，并利用傅里叶描述子构建爆堆块度统计方法。得到如下主要结论：
(1) 利用近景摄影测量技术进行爆堆图像采集，并成功构建高分辨率的UAV-1.5 k数据集，显著提升爆堆正射数据集的数据规模和空间分辨率。
(2) 向爆堆岩石碎片实例分割任务中引入可切换空洞卷积和递归特征金字塔模块。与现有方法相比，算法在处理小尺度岩石碎片实例时表现更为出色。实验结果显示，所研究矿区的目标爆堆的粉矿率较高，大块率较低，表明矿区爆破参数较为激进，因此建议适度降低炸药量，以节约成本。
(3) 相较于累计通过率曲线，采用累计通过体积曲线计算爆堆岩石块度分布，对地面分辨率的变化具有更强稳健性，同时能够直观反映爆堆中大块岩石的占比情况。
所提出的算法仅利用爆堆表面图像进行块度分析。如何建立爆堆内部的块度分布模型以及根据爆堆的表面块度预测内部的块度分布，成为未来的研究方向。
-
![]()
![]()
图 4 常规无人机摄影测量和近景摄影测量示意图
Figure 4. Schematic diagram of conventional UAV photogrammetry and nap-of-the-object photogrammetry
![]()
图 5 粗模阶段和精细化阶段的正射影像清晰度对比
Figure 5. Comparison of orthophoto resolution between the rough modeling stage and the refinement stage
![]()
图 6 弓长岭露天铁矿何家采区的俯视图和数字高程模型
Figure 6. A top view and DEM of the Hejia mining area at Gongchangling open-pit iron mine
![]()
图 7 不同模型在UAV-1.5k数据集上的消融实验结果
Figure 7. Ablation experiment results of different models on the UAV-1.5 k dataset
![]()
图 8 不同模型在UAV-1.5 k数据集上不同场景的预测结果
Figure 8. Visualization comparison of the prediction results of baseline model and DetectoRS on the UAV-1.5 k dataset
![]()
图 9 爆堆块度计算流程
Figure 9. Calculation process of bursting pile fragment size distribution
![]()
图 10 在P05爆堆上计算的累计通过率曲线和累计通过体积曲线
Figure 10. Cumulative passing rate curve and cumulative passing volume curve calculated on P05 bursting pile
![]()
图 11 不同GSD下不同爆堆的累计通过率曲线
Figure 11. Cumulative passing rate curves for different bursting piles with different GSDs
![]()
图 12 在18个爆堆上计算出的累计通过率曲线
Figure 12. Cumulative passing rate curves calculated on 18 blast piles
![]()
图 13 在18个爆堆上计算出的累计通过体积曲线
Figure 13. Cumulative passing volume curves calculated on 18 blast piles
表 1 数据获取所使用无人机平台和相机的详细参数
Table 1 Detailed parameters of the UAV platforms and cameras we use for data acquisition
项目 参数 型号 大疆®M300 RTK 无人机类型 四旋翼无人机 最大承载量 9 kg 飞行高度上限 7 000 m 最远传输距离 15 km 最长飞行实践 55 min 飞行控制软件 大疆®Pilot v2 型号 赛尔®PSDK 102S 类型 五镜头倾斜摄影相机 焦距 35 mm 画幅 APS-C Frame 传感器尺度 23.5 mm × 15.6 mm 像元尺度 3.9 μm 分辨率 24.3M像素 
下载: 导出CSV
表 2 爆堆重建正射影像的信息
Table 2 Information on the reconstructed orthophoto of the burst pile
爆堆编号 P01* P02* P03* P04* P05* P06 P07 P08 P09 GSD/mm 4.13 4.32 3.71 3.5 4.24 2.39 4.54 4.29 4.44 补丁数量 397 578 759 691 699 2 020 891 1 102 853 爆堆编号 P10 P11 P12 P13 P14 P15 P16 P17 P18 GSD/mm 4.58 4.47 4.39 4.57 3.8 3.94 4.7 6.23 7.37 Patch数量 997 926 881 782 286 848 1 017 2 333 650
下载: 导出CSV
表 3 不同指标在UAV-1.5 k数据集上的消融实验对比
Table 3 Comparison results of ablation experiments with different metrics on the UAV-1.5 k dataset
% 模型 APS APM APL AP50 AP75 AP HTC 10.2 36.8 51.3 29.2 20.6 18.4 HTC+SAC 10.5 37.4 53.1 29.5 21.4 18.5 HTC+RFP 10.7 37.7 52.9 29.4 20.6 18.6 改进DetectoRS 10.8 37.8 53.6 30.3 20.9 18.9
下载: 导出CSV
表 4 不同模型在UAV-1.5 k数据集上的指标
Table 4 Comparison of different models on UAV-1.5 k dataset
% 模型 APS APM APL AP50 AP75 AP Mask-RCNN 10.2 36.9 51.0 29.0 20.2 18.4 SOLOv2 9.9 37.7 54.4 30.3 20.4 18.5 改进DetectoRS 10.8 37.8 53.6 30.3 20.9 18.9
下载: 导出CSV
表 5 弓长岭露天铁矿18个爆堆的爆破块度指标
Table 5 The blasting fragmentation index of 18 muck piles at Gongchangling open-pit iron mine
爆堆编号 P01 P02 P03 P04 P05 P06 P07 P08 P09 最小检出块直径/mm 9.49 8.75 7.38 6.86 7.85 4.66 10.6 11.72 10.30 粉矿率(按通过个数统计)/% 65.79 56.54 62.52 77.35 55.38 85.42 55.47 80.87 46.27 大块率(按通过个数统计)/% 0.000 5 0.001 1 0.000 5 0.000 3 0.000 9 0 0.001 0.006 2 0.005 8 粉矿率(按通过体积统计)/% 13.28 8.13 7.89 18.12 8.8 22.49 9.18 16.50 3.70 大块率(按通过体积统计)/% 0.81 2.49 0.78 1.7 1.74 0 2.58 19.82 2.35 爆堆编号 P10 P11 P12 P13 P14 P15 P16 P17 P18 最小检出块直径/mm 9.13 10.33 10.05 12.63 12.24 9.71 7.83 14.02 16.17 粉矿率(按通过个数统计)/% 57.14 56.67 49.59 44.59 57.63 60.33 52.97 24.95 11.27 大块率(按通过个数统计)/% 0.004 7 0.000 5 0.004 0.005 6 0 0.004 3 0.000 3 0.009 2 0.006 3 粉矿率(按通过体积统计)/% 7.54 8.94 4.27 3.45 7.86 6.6 8.49 3.44 1.44 大块率(按通过体积统计)/% 10.85 1.42 3.56 3.95 0 5.07 0.62 19.27 7.39
下载: 导出CSV
-
[1] OUCHTERLONY F, SANCHIDRIáN J A. A review of development of better prediction equations for blast fragmentation[J]. Journal of Rock Mechanics and Geotechnical Engineering, 2019, 11(5): 1094-1109. DOI: 10.1016/j.jrmge.2019.03.001
[2] KUZNETSOV V M. The mean diameter of the fragments formed by blasting rock[J]. Soviet Mining Science, 1973, 9(2): 144-148. DOI: 10.1007/BF02506177
[3] CUNNINGHAM C. The Kuz-Ram fragmentation model-20 years on[C]//. Brighton conference Proceedings. European Federation of Explosives Engineers, 2005: 201-210.
[4] OUCHTERLONY F, SANCHIDRIáN J A, MOSER P. Percentile fragment size predictions for blasted rock and the fragmentation-energy fan[J]. Rock Mechanics and Rock Engineering, 2017, 50(4): 751-779. DOI: 10.1007/s00603-016-1094-x
[5] AZIZI A, MOOMIVAND H. A new approach to represent impact of discontinuity spacing and rock mass description on the Median fragment size of blasted rocks using image analysis of rock mass[J]. Rock Mechanics and Rock Engineering, 2021, 54(4): 2013-2038. DOI: 10.1007/s00603-020-02360-4
[6] FIGUEIREDO J, TORRES V, CRUZ R, et al. Blasting fragmentation study using 3D image analysis of a hard rock mine[J]. Applied Sciences, 2023, 13(12): 7090. DOI: 10.3390/app13127090
[7] ENGIN I C, MAERZ N H, BOYKO K J, et al. Practical measurement of size distribution of blasted rocks using LiDAR scan data[J]. Rock Mechanics and Rock Engineering, 2020, 53(10): 4653-4671. DOI: 10.1007/s00603-020-02181-5
[8] KAHRAMAN E, KILIC A M. Evaluation of empirical approaches in estimating mean particle size after blasting by using nondestructive methods[J]. Arabian Journal of Geosciences, 2020, 13(14): 613. DOI: 10.1007/s12517-020-05636-9
[9] YAGHOOBI H, MANSOURI H, ALI EBRAHIMI FARSANGI M, et al. Determining the fragmented rock size distribution using textural feature extraction of images[J]. Powder Technology, 2019, 342: 630-641. DOI: 10.1016/j.powtec.2018.10.006
[10] GUO Q P, WANG Y C, YANG S J, et al. A method of blasted rock image segmentation based on improved watershed algorithm[J]. Scientific Reports, 2022, 12(1): 7143. DOI: 10.1038/s41598-022-11351-0
[11] LIU Q, SHI F Q, WANG X G, et al. Statistical estimation of blast fragmentation by applying 3D laser scanning to muck pile[J]. Shock and Vibration, 2022, 2022: 3757561.
[12] 李胜林, 王宗睿, 孙建成, 等. 基于无人机航测的露天矿爆堆形态与延期间隔的研究[J]. 爆破, 2021, 38(1): 70-74. DOI: 10.3963/j.issn.1001-487X.2021.01.011 LI Shenglin, WANG Zongrui, SUN Jiancheng, et al. Blasting shape and delay interval of open pit mine based on UAV aerial survey[J]. Blasting, 2021, 38(1): 70-74. DOI: 10.3963/j.issn.1001-487X.2021.01.011
[13] 安振华. 试论无接触测量技术在大型露天矿采剥量验收中的应用[J]. 矿业装备, 2022(2): 112-113. AN Zhenhua. Discussion on the application of non-contact measurement technology in the acceptance of stripping quantities in large open-pit mines[J]. Mining Equipment, 2022(2): 112-113.
[14] 梁永春, 陈楠, 朱洪根, 等. 软间隔最大化在露天矿爆破区域人员疏散自动巡查中的应用研究[J]. 华北科技学院学报, 2020, 17(1): 45-50, 76. LIANG Yongchun, CHEN Nan, ZHU Honggen, et al. Research on the application of soft margin maximization in automatic inspection of personnel evacuation in open-pit mine blasting areas[J]. Journal of North China Institute of Science and Technology, 2020, 17(1): 45-50, 76.
[15] 孙健东, 陈需, 周宇, 等. 基于无人机倾斜摄影的抛掷爆破爆堆形态测量方法[J]. 煤炭工程, 2021, 53(2): 99-105. SUN Jiandong, CHEN Xu, ZHOU Yu, et al. Measurement method for cast blasting muckpile morphology based on UAV oblique photography[J]. Coal Engineering, 2021, 53(2): 99-105.
[16] 李彪, 闫勇, 杨化超, 等. 无人机低空倾斜摄影测量精度实证研究[J]. 矿山测量, 2020, 48(5): 123-126. LI Biao, YAN Yong, YANG Huachao, et al. Empirical study on the accuracy of low-altitude UAV oblique photogrammetry[J]. Mine Surveying, 2020, 48(5): 123-126.
[17] LIN T Y, MAIRE M, BELONGIE S, et al. Microsoft COCO: common objects in context[C]//European Conference on Computer Vision. Cham: Springer, 2014: 740-755.
[18] MORIN M A, FICARAZZO F. Monte Carlo simulation as a tool to predict blasting fragmentation based on the Kuz-Ram model[J]. Computers & Geosciences, 2006, 32(3): 352-359. http://www.onacademic.com/detail/journal_1000035030727410_8bee.html
[19] 胡松涛. 基于深度神经网络的模糊图像分割方法研究[J]. 信息记录材料, 2022, 23(6): 203-206. HU Songtao. Research on fuzzy image segmentation method based on deep neural networks[J]. Information Recording Materials, 2022, 23(6): 203-206.
[20] 李茂森, 梁四幺, 郭东海, 等. 基于Mask-RCNN算法的无人机巡检影像船只目标检测方法研究[J]. 测绘与空间地理信息, 2023, 46(11): 99-102, 106. LI Maosen, LIANG Siyao, GUO Donghai, et al. Research on ship target detection method in UAV inspection images based on Mask-RCNN algorithm[J]. Geomatics & Spatial Information Technology, 2023, 46(11): 99-102, 106.
[21] 牛弘健, 刘文萍, 陈日强, 等. 基于Resnet的林地无人机图像去雾改进算法[J]. 南京林业大学学报(自然科学版), 2024, 48(02): 175-181. NIU Hongjian, LIU Wenping, CHEN Riqiang, et al. Improved Dehazing algorithm for UAV forest images based on ResNet[J]. Journal of Nanjing Forestry University (Natural Sciences Edition), 2024, 48(2): 175-181.
[22] QIAO S Y, CHEN L C, YUILLE A. DetectoRS: detecting objects with recursive feature pyramid and switchable atrous convolution[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville, TN, USA. IEEE, 2021: 10208-10219.
[23] ZHAO M Y, CHEN J P, SONG S Y, et al. Proposition of UAV multi-angle nap-of-the-object image acquisition framework based on a quality evaluation system for a 3D real scene model of a high-steep rock slope[J]. International Journal of Applied Earth Observation and Geoinformation, 2023, 125: 103558.
[24] CHEN K, PANG J M, WANG J Q, et al. Hybrid task cascade for instance segmentation[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, CA, USA. IEEE, 2019: 4969-4978.
[25] WANG X L, ZHANG R F, KONG T, et al. SOLOv2: dynamic and fast instance segmentation[EB/OL]. 2020: 2003. 10152. http://arxiv.org/abs/2003.10152v3
[26] 刘莹莹, 庞其壮, 张宝金, 等. 基于Mask R-CNN的地下矿爆堆块度检测技术研究[J]. 采矿技术, 2023, 23(6): 147-151. LIU Yingying, PANG Qizhuang, ZHANG Baojin, et al. Research on fragmentation detection technology of underground mine explosion heap based on Mask R-CNN[J]. Mining Technology, 2023, 23(6): 147-151.
[27] 刘俊伟, 陈晓青. 基于计算机视觉的爆破块度分布统计[J]. 矿业研究与开发, 2024, 44(1): 190-196. LIU Junwei, CHEN Xiaoqing. Statistics of blasting fragmentation distribution based on computer vision[J]. Mining Research and Development, 2024, 44(1): 190-196.
[28] 刁明光, 于晨, 李文吉, 等. 矿山遥感监测实例分割数据集的自动生成方法[J]. 中国科技论文, 2021, 16(3): 329-335. DIAO Mingguang, YU Chen, LI Wenji, et al. Automatic generation method of instance segmentation data set in mine remote sensing monitoring[J]. China Sciencepaper, 2021, 16(3): 329-335.
[29] 刘飞跃, 刘一汉, 杨天鸿, 等. 基于岩芯图像深度学习的矿山岩体质量精细化评价[J]. 岩土工程学报, 2021, 43(5): 968-974. LIU Feiyue, LIU Yihan, YANG Tianhong, et al. Meticulous evaluation of rock mass quality in mine engineering based on machine learning of core photos[J]. Chinese Journal of Geotechnical Engineering, 2021, 43(5): 968-974.
[30] 季亮. 基于改进SOLOv2的煤矿图像实例分割方法[J]. 工矿自动化, 2023, 49(11): 115-120. JI Liang. Coal mine image instance segmentation method based on improved SOLOv2[J]. Journal of Mine Automation, 2023, 49(11): 115-120.
[31] 曾浩文, 汪慧兰, 赵侃, 等. 基于SOLOV2改进的实例分割算法研究[J]. 计算机技术与发展, 2023, 33(9): 45-51.
计量
- 文章访问数: 17
- HTML全文浏览量: 1
- PDF下载量: 6
