核心内容摘要
岁月留痕，风华依旧：亚洲长者的人生智慧与魅力
在云计算环境中KubernetesK8s集群与容器化部署已成为行业标准化实践但同时也对运维体系及可观测性提出了显著挑战一方面主流监控工具如 Node Exporter、cAdvisor 和 Datadog虽能提供系统级与容器级的基础指标却难以覆盖操作系统深层次问题如调度延迟、内存回收延迟、TCP 重传率等而引入增强型指标又面临操作系统知识门槛高、分析复杂度大的难题另一方面传统监控体系在告警触发或问题发生时往往缺乏完整的上下文数据导致根因定位困难需依赖问题多次复现才能排查。
此外指标与问题之间的关联复杂——单一指标变化可能由多个问题引发同一问题也可能影响多个指标而集群、节点、Pod 的分层架构虽为资源管理提供了逻辑划分但业务问题与节点的承载关系常因维度割裂未能有效关联进一步加剧了运维复杂性。
为应对以上挑战阿里云操作系统控制台以下简称“操作系统控制台”依托于大量操作系统问题案例沉淀及知识
总结结合 AIOps 等相关技术提出了从智能异常检测到智能根因分析再到智能修复建议的全链路一站式运维解决方案。
从中提炼出如系统 OOM、系统内存黑洞、调度延时、负载load高、IO Burst、网络延时、丢包等典型的操作系统问题场景沉淀出对应的端到端的解决方案。
如图 1 所示通过全链路闭环流程高效管理与解决上述业务挑战。
针对问题场景提取相关指标结合领域专家经验设定的阈值规则以及智能化异常检测算法构建多维度的异常发现机制从而实现对潜在问题的精准识别与实时检测。
对于实时检测到的异常事件为了分析异常响应及根因需进一步采取以下措施现场信息采集与根因诊断通过自动化工具对异常发生时的运行环境进行全面的信息采集从而进一步定位问题的根本原因并生成针对性的解决方案或修复建议。
告警通知与分发将异常事件及其诊断结果通过多渠道如邮件、短信、即时通讯工具等推送至相关运维团队或责任人确保问题能够被及时响应与处理。
健康评分动态更新基于异常事件的影响范围与严重程度实时更新集群、节点及 Pod 的健康评分为资源调度、容量规划及故障预测提供量化依据同时支持全局视角下的系统状态评估与决策优化。
图 1: 操作系统控制台系统概述闭环链路下面我们具体介绍上述链路中较为关键的异常检测、信息采集与根因诊断和集群、节点、Pod 健康度计算这三个功能。
异常检测多种多样的操作系统相关的监控指标在不同场景中这些指标呈现的规律也不尽相同如何能有效准确地识别出监控指标中的异常也是一种挑战。
为了尽可能地适应不同场景的指标异常发现操作系统控制台采用一种通用的监控指标处理算法和多模型集成的通用异常检测算法该算法如图 2 所示多种不同类型的监控指标输入后先进行分类如整体平稳的、呈一定变化趋势的、和无规则波动分类的指标由无监督的多模型结合的异常检测算法进行检测结合专家阈值和多种模型联合判决有效提高了检测准确率同时根据系统指标的特征进行优化在处理监控指标之前进行预处理进一步提升效率。
图 2: 通用异常检测模块下面通过一些典型的指标类型来举例简单说明异常检测的预期效果平稳性高水位指标对于 CPU 利用率内存利用率等指标可能持续处于一个非常高的水位虽然对系统健康有一定影响但是是预期内的检测水位阈值和其平稳性最终会识别为一个潜在的异常。
图 3: 平稳性高水位指标毛刺、波动型指标对于毛刺波动型指标我们结合专家阈值和抖动检测算法根据指标的波动大小以及其离我们设置的最小对大阈值的具体综合评估出当前指标的异常程度。
图 4: 波动型指标信息采集与根因诊断为了避免现场丢失导致后续问题定位困难。
在捕获异常的同时操作系统控制台会根据对应的策略结合其提供的相应的诊断功能在异常现场对识别出的异常进行信息采集和根因诊断。
如下图所示当内存高异常被捕获后操作系统控制台通过对异常现场进行诊断最终得出当前内存高异常是由 python 应用内存占用导致。
集群、节点、Pod 健康综合评价为了方便用户能快速识别集群或节点中的风险 操作系统控制台在系统概述页面提供了整个集群的健康概论在这背后我们采用了一套多维度的综合评估算法希望将 pod节点的风险层层递进反映到集群的健康风险中如图 5 所示以节点健康度为例节点健康由节点的异常项图中为当前实例健康分和节点中 pod如有的健康图中为下一层级实例健康分综合影响其中当前实例健康分通过为各检查项设立相应的权重通过综合评估方法计算得出。
下一层级实例健康分通过分级木桶原理的方式根据处于不同健康等级的 pod 数量计算得出。
图 5: 实例健康综合评估如何通过阿里云操作系统控制台一站式定位系统问题案例解析案例一:通过操作系统控制台定位IO流量高问题汽车行业某客户从监控中发现集群中总是偶发出现节点 IO 流量非预期打高的现象由于出现的机率不高且出现的节点随机所以没有好的办法定位 IO 流量打高的具体原因。
针对上述场景客户通过使用系统概览提供的异常识别诊断能力来监控和定位该问题。
客户开通操作系统控制台后首先通过集群的历史健康分趋势观察到某一时间集群分数负载分有下降。
通过节点健康列表可以进一步看到低分的实例跳转至节点健康页面后通过异常事件分析面板可以看到当天的某一时刻节点发生了 IO 流量突增的异常并且已经生成了对应的诊断报告。
通过查看诊断报告如下图所示可以发现产生 IO 流量的主要是 kworker 内核线程和客户的日志转储进程。
kworker 线程 IO 高通常来说意味着 kworker 正在进行刷脏将文件脏页刷到磁盘中操作。
经过和正常机器的对比发现问题机器的 vm.dirty_background_ratio 被设置的非常低设置成 5%这意味着当脏页数量达到系统内存的 5% 后就会触发内核线程进行脏页回写导致 IO 打高。
客户通过将 vm.dirty_background_ratio 和 dirty_ratio 参数调大后IO 流量规律恢复正常。
案例二通过操作系统控制台定位 load 高问题汽车行业某客户业务从节点切换至容器部署后发现节点 load 总是定期飙高需要进一步定位根因。
针对该问题客户通过操作系统控制台纳管集群后客户从系统概述页面观察到对应集群/节点健康分下降异常事件中出现 load 高异常。
通过进一步查看诊断报告可以发现在负载增加是由于大量 R 状态进程产生造成客户通过确认后可以确定在 load 增高的时间点业务流量增加业务会通过创建大量线程进行处理结合同一时间Pod中产生连续的 Pod 限流异常可以确定是由于容器的 cpu limit 设置过小导致线程无法短时间内完成相关逻辑从而进一步导致线程以R状态堆积在运行队列中导致 load 飙高。
问题定位后客户通过调整业务容器 cpu limit 后load 恢复正常。
客户收益通过操作系统控制台产品来快速定位集群系统问题客户可以获得以下收益降低操作系统运维门槛通过操作系统控制台为客户设立的异常检查项、异常识别规则以及配套的诊断工具。
客户无需具有一定的操作系统知识储备即可对操作系统问题一站式解决。
简化运维流程和相关人力投入通过操作系统控制台系统概述客户可以快速识别出集群中的告警和风险并找到问题的根源和解决方案缩短故障的发现和排除时间。
总而言之操作系统控制台给云计算和容器化运维带来新的可能能够提高系统性能与运维效率同时为企业减少了系统相关问题带来的困扰。
我们通过阿里云操作系统控制台系列文章解析系统运维遇到的痛点问题。
下一期文章中我们将分享异常检测算法相关内容敬请期待。
使用操作系统控制台的过程中有任何疑问和建议您可以搜索群号94405014449 加入钉钉群反馈欢迎大家扫码加入交流。
阿里云操作系统控制台 PC 端链接https://alinux.console.aliyun.com/