核心内容摘要
开源自动采集壁纸源码系统 带完整的搭建部署教程
CNN-BiLSTM-Attention分类基于卷积神经网络-双向长短期记忆网络结合注意力机制的数据分类预测 即CNN-BILSTM-Attention数据分类预测模型 matlab语言要求在2020版本以上。
BILSTM可以更换为LSTM,GRU 适用于多特征输入单个输出的二分类及多分类模型。
中文注释非常详细程序已经调试好了替换数据就可以用。
语言为matlab可出分类效果图迭代优化图混淆矩阵图等。
最近在折腾时序数据分类发现一个挺有意思的套路先用CNN抓局部特征再用BiLSTM捕捉时序依赖最后让Attention机制来挑重点。
自己用Matlab2021a捣鼓了个可替换的版本实测二分类和多分类都挺稳分享给需要的老铁。
先看整体架构代码里画了结构图% 网络结构构建 layers [ sequenceInputLayer(inputSize) % 输入层 convolution1dLayer(3, 64, Padding,same) % 一维卷积 batchNormalizationLayer reluLayer maxPooling1dLayer(2,Stride,
bilstmLayer(128,OutputMode,sequence) % 双向LSTM dropoutLayer(
0.
attentionLayer % 自定义注意力层 fullyConnectedLayer(numClasses) % 全连接层 softmaxLayer classificationLayer];这里有几个骚操作值得注意一维卷积核大小设为3既能捕捉局部特征又不会丢失太多时序信息BiLSTM输出保持序列形式给后面的Attention留操作空间自定义的attentionLayer是关键后面细说数据预处理这块容易踩坑建议先做归一化% 数据标准化按需修改 [XTrain, mu, sigma] zscore(XTrain); XTest (XTest - mu) ./ sigma; % 转置数据适配网络输入 [特征数 × 序列长度 × 样本数] XTrain permute(XTrain, [2 1 3]); XTest permute(XTest, [2 1 3]);Attention层的实现是灵魂所在用Dense层计算注意力权重classdef attentionLayer nnet.layer.Layer methods function layer attentionLayer() layer.Name attention; end function Z predict(layer, X) [channel, seqLen, batchSize] size(X); % 注意力权重计算 attentionWeights fullyconnect(X, ones(channel,
); % 全连接层 attentionWeights softmax(attentionWeights); % 归一化 % 加权求和 Z sum(X .* reshape(attentionWeights,1,seqLen,batchSize),
; Z reshape(Z, channel, 1, batchSize); end end end这里有个骚操作把全连接层当特征提取器用生成的权重经过softmax后直接作用到原始特征上。
相当于让模型自己决定哪些时间步更重要。
训练配置推荐用adam优化器学习率别设太高options trainingOptions(adam, ... MaxEpochs,200, ... MiniBatchSize,32, ... Plots,training-progress, ... ValidationData,{XTest, YTest}, ... Verbose,false);跑完训练后这几个图一定要看训练过程图看有没有过拟合混淆矩阵分析哪些类别容易混淆特征可视化可选用tsne降维需要替换数据时注意三点输入数据格式必须是[特征数 × 序列长度 × 样本数]标签用categorical类型输出层神经元数对应类别数实测把BiLSTM换成GRU后训练速度提升40%精度只掉1%左右。
如果数据量小可以试试LSTM防止过拟合。
CNN-BiLSTM-Attention分类基于卷积神经网络-双向长短期记忆网络结合注意力机制的数据分类预测 即CNN-BILSTM-Attention数据分类预测模型 matlab语言要求在2020版本以上。
BILSTM可以更换为LSTM,GRU 适用于多特征输入单个输出的二分类及多分类模型。
中文注释非常详细程序已经调试好了替换数据就可以用。
语言为matlab可出分类效果图迭代优化图混淆矩阵图等。
最后放个效果图镇楼代码里带绘图函数!混淆矩阵展示各分类准确率横轴是预测结果纵轴是真实标签对角线越亮说明分类越准。
遇到非对角线亮斑就要检查对应特征了。
完整代码已打包替换自己的数据就能跑。
需要调整的地方都用中文标注了遇到报错优先检查数据维度和归一化步骤。