核心内容摘要
文脉定序详细步骤：基于Docker镜像的语义重排序服务快速上线
为什么实验数据需要降噪与频域分析在理想状态下我们期望获得的仪器数据是一条光滑、流畅且规律明显的曲线能够完美地反映变量之间的物理或化学关系。
然而现实中的实验环境往往充满着不可避免的干扰在采集数据时会受到各种因素的影响。
这些干扰在数据图表上表现为叠加在主要趋势线上的杂乱毛刺或剧烈波动如果直接使用这些带有大量噪声的原始数据进行作图或分析不仅会导致图表显得粗糙、不专业难以达到SCI期刊发表的美观标准更严重的是噪声会掩盖数据的真实特征导致峰值定位偏差、积分面积计算错误或导数分析失真从而得出错误的科学结论。
因此对数据进行降噪处理还原信号的本来面目是数据处理中至关重要的一步。
为了有效地去除噪声我们首先需要理解噪声的本质。
对于大多数实验人员来说我们习惯于在时域观察数据即观察信号随时间变化的波形。
在时域图中噪声和有效信号往往纠缠在一起很难通过简单的观察将它们剥离。
此时我们需要转换视角利用数学工具将信号从时域转换到频域。
通过频域分析我们可以清晰地看到信号的内部结构。
实验中的有效信号如化学反应的浓度变化、温度的缓慢升降变化相对平缓主要集中在低频区域而噪声如电子元件的抖动通常变化极快主要分布在高频区域。
还有一些特定的干扰如50Hz的市电干扰会在频域图上表现为特定的尖峰。
一旦我们在频域中识别出了代表噪声的频率范围就可以有针对性地设计滤波器保留低频的有效信号颗粒筛除高频的噪声杂质。
通过Origin等软件进行FFT变换和滤波实际上就是给实验数据做一次精细的外科手术切除病灶并保留健康的组织有效信号从而确保后续的数据分析结果准确可靠最终呈现出一张既美观又严谨的SCI科研图表。
导入带有噪声的实验数据与初步预览打开 Origin 软件保持一个空白的工作界面直接在文件夹中选中附件的示例数据文件将其拖入 Origin 的工作区窗口。
软件会自动识别分隔符并将数据填入表格中。
此时我们能看到一个包含三列数据的工作簿分别是代表时间的“Time (s)”、代表含噪实验数据的“Amplitude (a.u.)”以及作为参考的纯净信号“Clean Signal”图1 导入后的工作表数据导入后需要确认列属性是否设置正确这是绘图的基础。
观察表格的列标题第一列“Time”应当被标记为 X表示横轴/自变量第二列“Amplitude”应当被标记为 Y表示纵轴/因变量。
为了模拟真实的实验场景我们暂时忽略第三列“Clean Signal”仅关注前两列因为在实际科研中我们往往只能测得带有噪声的混合信号而无法直接预知完美的纯净曲线。
确认数据无误后我们进行数据的初步可视化预览以便直观感受噪声的强度。
选中 A 列Time和 B 列Amplitude点击顶部菜单栏选择绘图——基础2D图——折线图。
Origin 会弹出一个图形窗口展示出一条剧烈波动的曲线。
图2 选中数据列后打开菜单绘制折线图观察这张初步生成的预览图可以发现曲线虽然整体呈现出某种周期性的波动趋势但线条本身非常粗糙充满了密集的毛刺和锯齿。
在时域视角下噪声的幅度已经严重干扰了对信号细节的观察如果直接对这条曲线求导或寻找峰值结果将充满误差。
因此接下来需要进行 FFT 变换与滤波处理图3 绘制出的效果
快速傅里叶变换FFT的操作流程首先需要确保当前的活动窗口是刚刚绘制好的含噪信号波形图然后在 Origin 顶部的菜单栏中依次点击分析Analysis——信号处理Signal Processing—— FFT——FFT...。
软件会自动锁定当前图层中的曲线作为输入信号无需手动寻找数据列图4 打开FFT分析在弹出的 FFT 对话框中选项参数保持默认即可点击确定开始分析图5 点击确定开始分析此时Origin 会生成一个新的工作表。
在这个新工作表中按住 Ctrl 选择E 列和 A 列然后再次选择绘制折线图即可获得频谱图图6 选择新工作表的E和A列并绘制折线图图7 生成的频谱图在这个新图中横坐标不再是时间Time而是变成了 Frequency频率纵坐标则是 Amplitude幅度。
可以发现原本在时域上杂乱无章的波形现在变成了一系列竖立的“柱子”或峰。
这个转换过程就像是把一杯混合了各种配料的果汁时域信号瞬间分离成了原本的配方表频域信号让我们一眼就能看清里面到底加了什么料。
如何通过频谱图识别有效信号与高频噪声刚刚生成的 FFT 频谱图中横轴 Frequency (Hz) 代表频率即信号变化的快慢纵轴 Amplitude 代表幅度即该频率成分在原始信号中的强度。
为了精准定位信号我们需要使用 Origin 的 Data Reader数据读取 工具。
点击工具栏上的“十字准星”图标鼠标指针会变成一个十字架。
将鼠标移动到频谱图中最高的那根柱子顶端屏幕上会浮动显示该点的坐标。
可以发现最高的峰值精确对应在 X 5 (Hz) 附近而第二高的峰值对应在 X 20 (Hz) 附近。
这两个尖锐、突出的峰值就是有效信号它们代表了实验中真实的物理变化规律图8 有效信号接下来观察 20Hz 右侧的区域可以看到一条紧贴着底部、密密麻麻、起伏不定的“草丛”。
这些幅度很低、频率分布极广一直延伸到高频的杂乱波形就是要剔除的“高斯白噪声”。
在频域分析中噪声往往表现为这种全频段的低幅“底噪”。
识别的关键在于鹤立鸡群的对比有效信号通常表现为特定频率下的高耸尖峰而噪声则是弥漫在底部的杂草。
图9 噪声识别通过这种目视观察就可以确定滤波的策略了。
既然有效信号截止在 20Hz而 20Hz 之后全是噪声我们只需要在两者之间划一道界线。
比如可以选择 30Hz 或 40Hz 作为截止频率保留 30Hz 以下的所有内容并切除 30Hz 以上的所有内容。
这就是接下来将要进行的低通滤波Low-Pass Filtering的核心逻辑。
使用FFT滤波器Low-Pass剔除噪声首先需要切回到最初展示原始含噪波形的图形窗口。
在 Origin 的顶部菜单栏中依次点击分析——信号处理——FFT滤波器。
这个功能模块专门用于根据频率特性来清洗数据图10 确保含噪波形在前并选择FFT滤波器在弹出的对话框中最重要的设置项是滤波器类型。
点击下拉菜单可以看到高通、带通等选项。
根据之前的分析有效信号位于低频区因此需要让低频通过阻挡高频。
确保选项选择了低通。
接下来是整个操作的核心——设置截止频率。
这个数值就是刚刚设定的门禁标准回顾频谱图有效信号最高频率为 20Hz。
为了保险起见不要将截止频率死死地卡在 20Hz以免误伤有效信号的边缘同时也不能设得太高否则会放进太多噪声。
根据经验留出一点余量是明智的这里输入 40。
这意味着0 到 40Hz 的信号会被完整保留而大于 40Hz 的剧烈震荡将被强行抹平图11 修改参数并确定观察结果可以发现灰色的原始曲线上覆盖了一条红色的新曲线。
这条红线既完美地贴合了原始数据的波动趋势又消除了锯齿状毛刺图12 过滤后的效果
Savitzky-Golay平滑处理与FFT滤波的效果对比虽然 FFT 低通滤波在处理周期性波动信号时表现出色但在科研绘图中还有一个方案可供选择——Savitzky-Golay (S-G) 平滑。
对于光谱学研究者而言S-G 平滑往往是首选方案。
为了对比两者的差异我们需要撤销刚刚的处理然后重新回到波形图图13 选择撤销处理结果图14 返回该界面这一次我们直接针对时域进行修整点击菜单栏的分析——信号处理——平滑图15 选择平滑处理在弹出的平滑设置对话框中方法Method 下拉菜单里默认的通常就是 Savitzky-Golay如果不是请手动选择它。
S-G 平滑的原理与 FFT 完全不同FFT 是直接去除高频成分而 S-G 平滑则像是一个在曲线上滑动的“熨斗”。
它利用多项式在滑动窗口内对数据进行最小二乘法拟合。
这里最关键的参数是窗口点数Points of Window这个数值决定了“熨斗”的大小数值太小降噪不明显数值太大虽然曲线变滑了但可能会把原本尖锐的信号峰也给熨平了导致峰高降低、峰宽变大。
针对 1000Hz 的采样率为了获得与 FFT 类似的平滑度可以将窗口点数尝试设置为 50 左右多项式阶数Polynomial Order保持默认的 2 阶即可图16 平滑参数设置点击确定后可以发现结果已经生成图17 平滑处理结果对比之前的结果可以发现FFT 低通滤波的结果呈现出一种丝滑感因为它从物理本质上彻底消灭了高频振动生成的曲线像流体一样流畅非常适合处理这种由正弦波构成的周期性物理信号。
S-G 平滑的结果则更像是在描红它非常忠实地贴合原始数据的局部走势。
虽然它也去除了大部分毛刺但在某些局部可能不如 FFT 那么圆润。
总结两者的适用情况可以明确如果你的实验数据是周期性的波形比如交流电信号、震动波、光波或者你明确知道噪声是特定频率的高频干扰FFT 滤波便能够还原出最纯净的波形。
如果你的实验数据包含尖锐的峰例如色谱图、X射线衍射图、红外光谱需要极力避免峰值高度被削减或峰位置发生偏移那么 Savitzky-Golay 平滑是更好的选择。
因为它在降噪的同时能最大程度地保留信号的形状特征和峰面积这对于后续的定量计算至关重要。
原始信号与降噪后信号的对比图绘制经过前面的处理现在工作表中已经包含了两种数据原始的含噪数据以及经过滤波或平滑处理后的数据。
现在我们需要将它们整合在一张图表中用直观的方式向审稿人展示降噪的效果。
首先回到包含所有数据列的工作表按住键盘上的 Ctrl 键依次点击选中三列数据X轴Time、原始数据列Amplitude 以及处理后的数据列。
选中后再次选择绘图——基础2D图——折线图图18 选择三列数据并再次画图生成的图表中两条曲线会重叠在一起。
为避免更改一条曲线导致两条曲线一同变化需要先选择一条曲线然后将其移出组图19 移出组设置接下来双击灰色的原始含噪数据曲线在打开的绘图属性——线条选项卡中将透明度调整为 50% 左右。
这一步非常关键因为我们希望原始噪声作为背景存在既要能看见又不能喧宾夺主抢了处理后数据的风头图20 绘图细节接着选中 FFT 滤波后的红色线条在绘图细节中将宽度适当加粗设为
0。
这样一条光滑、清晰的主线就会浮现在灰色的噪声背景之上达到了突出显示的效果图21 修改线条宽度最后直接双击图例标明“Raw Data”和“FFT Filtered (40Hz Cut-off)”。
这样的对比图一眼就能让人看出结果的意义图22 修改图例至此我们完成了一次从混乱到清晰的数据进化之旅。
从理解频域的意义到通过 FFT 诊断噪声再到利用滤波器精准切除最后通过对比图完美呈现实现了科研制图的目标。