服务器“异常”的几个可能性预警请重视!
提到服务器宕机检测,大家会想到,宕机能够很快知道,这个有什么可做的?实际上,很多时候服务器宕机,并不总是被及时感知g.a.n.l.v.5.c.o.m。服务器宕机,ping或者ssh这是最简单的做法,但真正的工程实践,没这么简单。
想要获知服务器宕机怎么办?可以通过服务器宕机实时检测:
1)发现宕机
2)提前告警。
3)告知宕机的详细原因,如硬件故障,内核bug,网络异常等等。
4)自动报修生成工单。
我们知道,进行全网物理机宕机准确探测与实时发现,可以给宕机分析提供第一现场,获取第一现场的日志。也可以尽早将宕机数据推送给业务或运营感知并处理,如自动报修,业务迁移等,从而尽可能将业务影响降到最低。
更重要的是,准确的宕机发现数据可以为宕机预测提供准确的标注数据,为后期宕机预测提供数据基础,并且这些数据提供给运营部门进行整体分析,提升处理效率来源www.ganlv5.com。
那么,如何可以准确发现宕机,减少误报呢?我们可以有以下操作,比如:
心跳源检测异常
顾名思义,通过心跳源,初步发现异常。通常心跳变化会有三类消息,update消息,delete消息和insert消息。心跳逻辑在于,正常情况下SA服务端与NC建立长连接,每数秒缓存一次心跳,每几分钟打包上报一次,但当NC异常时,长连接感知后,立即上报异常,并修改路由表。所以心跳异常做到秒级感知。
update消息,在有心跳发生变化情况下都会有,心跳异常和心跳恢复正常时都会发起,是主要的心跳来源。
delete消息,在心跳异常,并且SA判断ping不通,且ssh不通情况下发起,删除该条消息,避免延迟太长。
insert消息,在新增加机器, 或者重装后重新上位的机器发起,该消息对宕机发现价值不大,配合uptime使用g a n l v 5 c o m。
心跳源检测任务逻辑,主要是监听并缓存uptime消息,同时避免时间窗内多次消息冲突,导致信息被覆盖。
异常排除
排除非物理机器,将系统中暂时不关注的VM等产生的异常信息排除掉。
排除非业务状态的机器,如装机状态中的,包括生产中,维修中,迁移中,重装中,销毁中,重启中,无管控状态,只监控正常状态的机器。
排除非正在工作的机器,如非working状态机器。
网络干扰排除
宕机分析中,较多误报是由于网络问题干扰,无法准确判断出物理机是否宕机,有可能是网络问题。
排除上联网络设备异常导致的误报,包括机房断网演练,小面积网络故障,上联网络故障,如通过探测丢包情况,使用一些逻辑初步判断网络问题。
服务器本身未丢包的误报,除了需要过滤出网络问题,还要通过丢包数据分析,过滤掉SA误报问题, SA异常会上报心跳异常,被误理解为宕机来源www.ganlv5.com。
icmp及tcp丢包分析,icmp采集频率为固定数秒,tcp采集频率固定数秒,包括多个不同大小包(16,32,64,128,256等)的丢包情况,根据分析时间窗内两项数据的丢包情况
特殊情况干扰排除
个别机房有时候会出现大面积风暴式的无故心跳异常,同时网络ping包异常,但上联网络设备ping包正常,这种误报,一般根据具体case具体进行针对性的分析。如根据监控每个机房的上报频率,排除干扰。
进一步识别误报
至此,大部分干扰已经过滤掉,但仍有一部分误报隐藏其中。比如心跳异常,ping异常,都合乎宕机判断的逻辑,会导致误判成宕机,如导致网卡被打爆,或者重试率高,这种是业务原因导致网络异常,但业务认为不是异常,需要排除掉。再例如服务器并没有挂掉,但是IO延时和资源占用率各项指标都不正常等场景。针对以上等情况,增加uptime判断以及带外日志分析排查。
宕机时间点探测uptime确定是否发生重启赶 驴 网。
进一步通过分析日志是否连续,判断是否发生重启。
日志重启特征值匹配,确认是否发生重启。
如果还不能确定,使用uptime的时间窗技术进行重启。
仍不能确定的待处理,进入长尾处理名单。
长尾再次处理
未确认的待处理的,会加入到长尾列表中,像这种分钟级的心跳异常,ping异常,但串口日志一直正常输出的情况,一般就是某种死机,死到连网络都不通的场景。会观察一段时间,一个固定时间窗内仍未恢复或重启的话,就暂时报宕机。后期会把这种死机单独找划分归类赶驴网www.ganlv5.com。名称是QQ号,有需要的请联系我

如想了解更多可联系中成培训郭老师电话188-0016-2207QQ1277-366-319微信188-0016-2207建筑企业,物业公司等企业3A信用认证费用8500一套(一牌七证)物业经理证书是指
京雄世贸港二期悦享谷是2018年4月份开盘的,项目总体6895套房源,总共11栋,分为28层25层和18层 项目介绍 开发商:隆基泰和 户型面积: 38平米-43平米-48平米 交房标准:毛坯 交房时
学校从事设计培训工作多年,根据社会和企业需求打造设计人才,开展理论实践相结合模式教学,培养优秀的设计人才。开设课程有:广告设计、电商网页设计、平面设计、UI设计、室内设计、电商美工、商业插画、产品包装
周金天老师,是一位有名的起名、环境选址布局、生辰测算的伟大师傅,当代较有名的易学大师,世纪易学巨擘,当今时代易学专家。 周专家专业为宝宝起名、姓名解析,精心策划雅名,一个吉祥新巧,美妙绝伦,为孩子起一
唐山腾福竹木有限公司于2001年在唐山工商局注册成立,公司坐落在“”亚洲较大人工湖唐山南湖”和”地震遗址公园”景区唐山,是一家历史悠久的竹木厂家。 主要产品: 常年批发竹竿、竹片、竹笆片、杉木杆、竹跳
【公司介绍】 定州建民家政,成立15年,服务多家企业,专业、收费合理,致力于为广大客户提供专业、优质的保洁服务,坚守初心,诚信经营,注重细节,后期服务完善,是定州市老牌服务工作室。 【服务项目】 1、
李达修公司专业承接各种家用净水器、别墅用净水器、各品牌的开水器、商用净水器等设备的维修、滤芯更换、安装及移机等服务,为客户千万用户提供方便,上门维修,24小时全天候服务,欢迎来电咨询! 净水器故障:

成熟小区底商,地理位置非常优越,有全套证件设备,有稳定的固定客户群体!
我们是一家集投资咨询、海外移民、出国留学、全球资产配置为一体的从事全球多元化的公司。其总部位于中国北京,并在中国南京、英国伦敦、土耳其伊斯坦布尔均设立分公司。新棠路拥有平均从业经验10年以上的移民专家
烟酒礼品回收公司正规上门回收各种老酒、洋酒、年份酒、名贵礼品等。本公司本着诚信为本,价格公道和服务大众为宗旨。交易可以选择现金、银行汇款转账等多种方式,提供上门以及约定时间和地点交易。多年来真诚提供热
腾福竹木厂家于2001年在唐山工商局注册成立,公司坐落在“”亚洲较大人工湖唐山南湖”和”地震遗址公园”景区唐山,是一家历史悠久的竹木厂家。 本公司常年大量批发销售各种规格园林绿化支撑杉木杆、松木杆、高
毅佳全国跑腿服务中心为用户提供24小时全城跑腿等急件速送服务。线上下单,1分钟响应、10分钟上门、60分钟送达全城,随时随地查看订单轨迹,让你的快件更安全,更快捷,更放心。 一、我们的优势 1、快速响
专业形体管理养生连锁机构一直致力于形体管理,养生等领域的产品研发于营销策划,拥有强大专业的营销团队和项目研发中心,并与国内大家合作研发,公司6年来坚持创新,稳步发展,目前全国实体门店突破1500家,并
一、关于我们 首播影视文化传媒有限公司是一家集文化传播、影音制作、策划发行等业务为一体的多媒体制作公司,针对客户需求提供解决方案,我们只做原创影像的开拓者。我们目前拥有实景演播室、无影白棚、虚拟抠像棚
全国资金业务覆盖范围:百亿资金接保定市同行中介所有业务,提供一站式服务。 服务范围: 1、上市公司短期折借上市公司审计。 2、企业验资、垫资、增资、显账验资、过账走、企业打资金财产证明。 3、个人长短
睿之慧企业管理咨询公司是一个值得您信赖的标书代写、标书代做、标书制作服务提供商。我们有着优秀的专业人才、规范的工作流程、高效的工作速度、合理的价格以及最真实的服务态度,希望我们可以成为您在招投标环节的

【公司介绍】 我们是专业致力于室内装修污染空气治理的创新型高科技环保企业,对室内除醛除味等技术方面进行联合研发,并致力于将这些技术应用推广,向客户提供较先进的治理产品。研发的纳米光触媒可以分解甲醛,苯
转价: 面议 位于保百购物家园附近幸福园北门临街旺铺转让,面积60平米,现经营外卖店,位置优越,周边社区、写字楼众多,客流量大,交通便利,停车方便,有大量稳定客源,店内设备齐全,排烟系统、操作台、冰柜
安新电脑硬盘坏了维修数据恢复公司,免费检测,不成功不收费,本信息长期有效。 【公司介绍】 北京科元复得数据恢复专注于数码存储设备数据恢复的研究,提供服务器维修,磁盘阵列数据恢复,硬盘数据恢复,移动硬盘
【服务内容】 1、空调维修空调移机,维修,空调加氟。 2、空调清洗保养 3、空调出售 4、空调回收,快速上门。 5、空调维修故障:专业空调维修、安装、拆机、移机、清洗保养、加雪种、更换压缩机、更换风扇

志成机电设备租赁有限公司是工商部门注册批准的正规租赁公司,我们致力于租售高空作业设备。以优惠合理的价格、安全快捷的渠道,同时本着公平竞争的准则,使企业规模不断扩大,起重吊装能力不断增强,在工程上为客户...
辉腾机械设备有限公司是集发电机销售、维修、租赁为一体的综合性企业,专业出租静音发电机、柴油发电机、应急发电机等各种规格型号发电机组。具体规格有:50KW-2000KW不等; 发电机组品牌主要:康明斯、...
常年专业从事工程机械出租 、租赁业务。 租赁设备类型有:160湿地、干地推土机干地推土机租赁、20-36吨单钢轮压路机租赁、移动破碎机租赁、冲击碾租赁、强夯机租赁等承接各种道路建设工程,拥有全套公路施...
吉洁环保设备租赁有限公司专业提供移动厕所租赁、活动卫生间、临时洗手间出租、庆典活动公厕、流动厕所、活动洗手间,临时公厕出租,移动厕所租赁等。人们环保意识不断增强,国家大力提倡环保节约,相信移动厕所会越...
保定祥光机械设备有限公司长期出租、销售功率50KW-2000KW不等的各规格型号的发电机组,我公司专业从事静音发电机、柴油发电机、应急发电车租赁。本公司设备具有多种机型选择:包括玉柴、道依茨、大宇、沃...
保定忠祥机械设备有限公司长期专业从事发电机组的租赁、维修、回收等一站式服务,因为专业、及时所以值得你信赖,欢迎各位新老朋友来电咨询。 产品范围 1、发电机组输出功率范围:30KW至2000KW不等。 ...
保定祥光机械设备有限公司是一家专业从事柴油发电机组的开发、科研、生产、销售、租赁、安装维修和保养服务的综合性公司。 长期以来,我们专注于高品质的发电机组,功率从50KW至2000KW,涵盖一般发电用途...
兆伏安机电机械设备是一家专业从事柴油发电机组出租、式发电机机出租、重油发电机组出租、燃气轮发电机组的租赁及服务的企业。致力于发电机出租/发电机租赁、维修、各大年会、庙会、大型活动的供应、郑州发电机出租...
保定万达建筑机械有限公司面向全国各地出租、出售各种型号混凝土输送泵、车载泵、地泵、拖泵、柴油泵、电泵、60泵、80泵、小型输送泵、细石混凝土泵、二次结构泵、客土湿喷机等,主要用于公路、铁路、水利、房建...
保定超胜电力设备租赁有限公司是一家面向全国专业提供柴油发电机、静音发电机、应急发电车的租赁公司。 【服务对象】 设备可广泛用于公路、铁路、机场、工厂、医院、办公楼、通讯矿山、影视拍摄、酒店、学校、市政...