2024深度学习发论文&模型涨点之——小波变换+Transformer
小波变换与Transformer的结合主要探讨如何利用小波变换的多尺度特性来增强Transformer在处理信号和图像数据时的表现。具体来说，小波变换能够有效提取信号中的局部特征，并在时间和频率域上提供信息，这对于处理复杂的信号（如图像和音频）非常有用。结合小波变换的Transformer可以在保持相对较低的参数数量的同时，显著扩展感受野。这种参数效率使得模型在处理大规模数据时更加高效，减少了计算成本。提供更好的效率与准确率的平衡。
论文原文+开源代码需要的同学关注“
AI科研论文”公号，那边回复“
小波变换+Transformer”获取。
论文1：
Adaptive Wavelet Transformer Network for 3D Shape Representation Learning
用于3D形状表示学习的自适应小波变换器网络
方法
多尺度小波分解：提出了一种新颖的3D形状表示学习方法，通过多尺度小波分解将3D形状分解为子带分量，构建了一个基于多分辨率小波分析的原理性的层次分解树。
自适应小波变换器网络（AWT-Net）：首先使用提升方案在多个尺度上递归和层次地生成每个点的近似或细节小波系数，然后利用Transformer增强原始形状特征，通过查询和融合不同但集成的子带特征。
无需直接监督学习：小波系数可以在没有直接监督的情况下学习，AWT-Net是完全可微分的，可以以端到端的方式学习。
性能评估：通过在3D形状分类和分割基准测试上的广泛实验，展示了AWT-Net在性能上的竞争性。
创新点
自适应小波变换：提出了一种基于自适应小波变换的方法，用于将3D形状分解为子带分量，这种方法在信号处理中广泛使用，但在3D形状分析中较少探索。
层次分解树：构建了一个基于多尺度小波分解的层次分解树，为网络的可解释性提供了贡献。
Transformer的应用：将Transformer应用于3D形状特征的融合，通过多尺度特征层次结构与Transformer模型结合，提高了形状特征的表达能力。
端到端学习：AWT-Net能够以端到端的方式进行学习，无需手动设计低级形状描述符，而是通过深度学习自动学习高级3D形状表示。
论文2：
Feature extraction of power transformer vibration signals based on empirical wavelet transform and multiscale entropy基于经验小波变换和多尺度熵的电力变压器振动信号特征提取
方法
经验小波变换（EWT）：提出了一种基于EWT和多尺度熵（MSE）的电力变压器振动信号特征提取方法，通过EWT将变压器振动信号分解为多个经验小波函数（EWFs）。
时频表示：对每个EWF分量应用Hilbert变换，通过时频表示展示信号的频率特性。
多尺度熵（MSE）计算：计算与原始信号高度相关的分量的MSE，构建变压器振动信号的特征向量。
实验验证：通过多个实验展示了该方法与经典经验模态分解方法相比的有效性。
创新点
EWT与MSE的结合：首次将EWT和MSE结合用于变压器振动信号的特征提取，提高了特征提取的准确性和效率。
特征向量的构建：通过计算与原始信号高度相关的EWF分量的MSE，构建了变压器振动信号的特征向量，为信号的量化提供了新的方法。
非平稳信号处理：针对变压器振动信号这类非平稳信号，提出了一种有效的特征提取方法，解决了傅里叶变换在处理非平稳信号时的局限性。
多尺度复杂特征的表示：MSE能够提取不同尺度上的样本熵，更好地表示变压器振动信号的多尺度复杂特征。
论文3：
Probabilistic Wavelet Transform for Partial Discharge Measurement of Transformer
用于变压器局部放电测量的概率小波变换
方法
概率小波变换：提出了一种用于变压器局部放电（PD）测量的概率小波变换方法，通过量化的方法在每个分解水平提供提取信号可能是PD信号的概率指数。
多尺度阈值确定：提出了基于分位数的多尺度阈值方法，以解决传统单阈值小波变换在PD信号提取中的局限性。
自动母小波选择和分解水平确定：开发了基于概率指数的自动母小波选择和分解水平确定方法，以提取PD信号。
实验验证：通过在实验PD模型和变电站的在役变压器上进行PD测量来评估所提出的方法。
创新点
多尺度阈值方法：提出了一种新的多尺度阈值方法，提高了小波变换在分离PD信号和噪声中的能力，特别是在在线PD测量中。
概率指数的计算：计算了提取信号的概率指数，为信号是否由PD事件生成提供了量化的指示，增强了信号处理的可靠性。
自动化方法：开发了自动化的方法来选择最佳的母小波和确定分解水平，减少了人为因素对PD信号提取的影响，提高了效率和准确性。
论文4：
Transformer differential protection using wavelet transform
变压器差动保护的基于小波变换
方法
特征提取与选择：提出了一种结合最小描述长度准则（MDL）和熵方法的级联方法，以及人工神经网络（ANN）作为变压器差动保护中基于小波包变换的特征提取和选择工具。
数据集使用：通过PSCAD/EMTDC软件模拟不同的变压器工作条件，包括正常、过励磁、磁化涌流、同情涌流和内部故障等，生成训练和测试信号。
模型训练：使用前馈多层感知器ANN，通过反向传播算法评估所提出的最优特征向量，并与其他常用特征进行效率比较。
性能评估：通过ANN分类器对变压器磁化涌流和内部故障差动电流以及终端故障产生的差动电流进行测试，验证所提出算法的有效性。
创新点
最优特征选择：首次将MDL和熵方法应用于最优母小波和分解级别的选择，并在特征向量中实现降维，以减少智能监控系统中的冗余效应。
神经网络与小波变换的结合：提出了一种新颖的优化神经小波技术方案，包括基于小波的变压器差动电流的新型选择算法，提高了分类器的性能。
实际应用考虑：在模拟中考虑了CT饱和概念和Jiles-Atherton建模技术，确保所提出的保护技术在实际应用中的有效性，包括在变压器两侧的CT饱和情况下。
