前事不忘,后事之师,不忘国耻!

 找回密码
 用户注册
搜索
查看: 25|回复: 0

[开发应用] Oracle RAC 节点驱逐治理实战:从每夜节点被踢到私网丢包与表决盘延迟双线收敛

[复制链接]
发表于 昨天 05:48 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?用户注册

×
一、具体的问题

前阵子接手一个两节点的 RAC,11.2.0.4 on Linux。运维反馈的现象很一致:每周二到三次,凌晨三点前后,其中一个节点被踢出集群,业务只感觉到几十秒的连接中断,接着节点自己重启、重新加入,第二天看监控"一切正常"。因为没报错、业务也没真挂,这事拖了四个多月。

真正的证据在日志里。幸存节点 alert.log 留下:
  1. CRS-1607: Node rac2 is being evicted in cluster incarnation 1839204712
复制代码

被踢节点重启前,数据库 alert.log 里有:
  1. ORA-29740: evicted by member 1, group incarnation 5
复制代码

一句话结论:这不是数据库故障,是集群为了保护数据完整性主动把节点推下去的。把它当成"偶发抖动"一直不查,等于每晚都在赌一次脑裂不会同时发生在两台机器上。

排查过程中还挖出两个隐藏问题:私网走的是和备份网共用的千兆交换机,每晚 2:50 备份起量后私网丢包率爬到 0.6%–0.9%;表决盘和 OCR 挤在同一块高 IO 的 LUN 上,备份时段平均 IO 延迟 28ms,峰值过百。这两条单独都不够致命,凑在一小时窗口里就成了固定节目。

这篇就是把这件事拆开:三条心跳分别管什么、怎么从日志判定是哪一条断的、以及最容易被忽略的"该改存储和网络,不该改参数"。

二、核心原理

1. 集群不是在监控"节点活着",而是在监控"三种心跳还通不通"

CSS(Cluster Synchronization Services)由每台的 ocssd 进程负责,维持三类心跳,任何一类越过自己的超时阈值,节点就会被处理。三种心跳的用途、超时、失败后果完全不同:

心跳证明什么由谁维持超时越界后果
网络心跳别的节点还能找到我ocssd,私网每秒一次misscount,默认 30 秒疑似脑裂,进入表决
磁盘心跳我还看得见集群的事实源ocssd 每秒写表决盘disktimeout,默认 200 秒节点自己退出(自知失去成员资格)
本地心跳我自己的 ocssd 还能被调度cssdagent / cssdmonitor秒级本机重启或重启集群栈


关键在第三条容易被忽视:节点 CPU 被打满、内存 OOM、内核 hang 的时候,ocssd 进程"活着但拿不到时间片",外部看它没死,本地的守护进程会先把自家节点放倒。所以"服务器明明没宕机却被踢"这类现象,八成要往 OS 层查。

2. 表决盘不是投票箱,是资格证

集群分裂成两个子集时,能看到多数表决盘的子集赢。多数派要求 [N/2]+1,N 为表决盘份数,通常配置 3 份冗余以保证任意时刻还能满足多数派。

两节点集群有个反直觉的规则:真分裂时是节点号小的存活,哪怕毛病出在它身上。这不是 bug,是因为它必须选一个确定的结果,否则两边都活着最危险。

3. 驱逐是结果,不是原因

节点被踢这件事本身从来不是待修的故障,它是集群在成员资格不确定时唯一安全的选择——一份被两台机器同时改写的数据文件,损坏要到几周后才被发现。所以排查目标不是"让驱逐别发生",而是"把让成员资格变得不确定的那个条件拆掉"。顺序永远是:先读日志判定哪条心跳断,再改网络或存储,最后才谈参数。

4. misscount 调大是最常见的错误动作

把 misscount 从 30 调到 120,症状确实会消失——它只是把判定迟钝化了。真正断网时,集群要花 120 秒才发现,脑裂窗口被拉长四倍。除非存储阵列需要更长 I/O 容忍(那是 disktimeout 的事),否则这个值不该动。

三、实例参考(动手步骤)

步骤 0:先把当前基线抓下来
  1. crsctl get css misscount
  2. crsctl get css disktimeout
  3. crsctl get css reboottime
  4. crsctl query css votedisk
  5. olsnodes -n
  6. oifcfg getif
  7. crsctl stat res -t -init
复制代码

三个参数大概率是 30 / 200 / 3,不用意外。oifcfg getif 要确认私网那一行的接口名和网段——后面所有网络整改都围绕它。query css votedisk 输出的路径,就要跟存储那边核对是不是独立 LUN。

步骤 1:把驱逐那一刻的三方证据对齐

以幸存节点上的 CRS-1607 时间为锚点,取三处日志同一分钟的内容:
  1. # 集群层(12c+ 路径;11g 用 $GRID_HOME/log/<host>/)
  2. ls $ORACLE_BASE/diag/crs/`hostname`/crs/trace/
  3. grep -iE "evict|CRS-1607|CRS-1608|CRS-1609|network heartbeat|disk heartbeat|split resolution" \
  4.   $ORACLE_BASE/diag/crs/*/crs/trace/alert.log | tail -40
复制代码

再到被踢节点(重启后)看 cssd.log 尾部最后几十行,寻找 clssnmPollingThread 的 send failed、reboot triggered by CSSD 这类记录。11g 里这些在 ocssd.log,12c 起并到 cssd.log,位置找错会误判成"没日志"。

同时用 OS 侧对齐:dmesg -T | grep -iE 'oom|panic|softlockup|link down'、journalctl --since ...、/var/log/messages 里的 load average。本次案例在这里直接命中:02:51 私网网卡 link 抖动一次,02:52 起 load average 冲到 40+。

步骤 2:按三条判据定性


  • 网络心跳超时:cssd.log 有连续 miss 记录,幸存节点报 evicted,被踢节点往往还活了几秒才收到"自杀"指令。对齐私网丢包率。
  • 磁盘心跳超时:日志指向表决盘 I/O,iostat -x 1 5 能看到该 LUN 的 await 明显高于数据盘。本次就有这条。
  • 本地心跳:cssdagent 直接重启,OS 侧能看到 OOM 或调度饥饿。本次同样命中。


三选一的名字叫定性,实际生产里经常是复合的——本案是网络抖动 + 表决盘 IO 延迟叠加,缺一条都撑不到 30 秒。

步骤 3:私网整改(别只换网线)
  1. # 核对私网绑定与多网卡 HAIP
  2. oifcfg getif | grep -i cluster_interconnect
  3. ip addr show | grep -A2 haip
  4. ping -c 200 -i 0.05 -s 1400 <peer-priv-ip>
复制代码

四项硬要求:私网必须与备份/业务网物理隔离(走独立交换机,别再共用);两台 NIC 型号与固件版本一致;HAIP 绑两块网卡时不要接同一台交换机;MTU 全线一致——一端 jumbo frame 9000、另一端 1500 是经典丢包源,ping -s 8972 能验。

改完看交换机侧 drop 计数,别只看业务有没有再报错。

步骤 4:表决盘整改
  1. crsctl query css votedisk
  2. ocrconfig -showbackup
  3. iostat -x 1 5 | grep -E "sd|dm"
复制代码

三个动作:表决盘与 OCR 移到独立 LUN,不与高 IO 数据文件共享物理盘;冗余保持 3 份且分布在不同磁盘组/不同控制器;确认多路径软件对表决盘生效(单路径时那块盘抖一下,disktimeout 就到点)。改动用 crsctl add css votedisk / delete css votedisk 在线完成,加完立刻复核份数与状态。

步骤 5:参数只做"够用",然后靠监控守住
  1. crsctl get css misscount    # 保持 30,本案例未动
  2. crsctl get css disktimeout  # 存储侧延迟偏高时可放到 300
复制代码

本案只把 disktimeout 从 200 提到 300(对应存储峰值延迟),misscount 一毫米没动。真正的守门是监控三条线:私网丢包率 > 0.05%、表决盘 IO await > 20ms、cssd.log 出现 network/disk heartbeat 告警字样。这三条任意一条触发,都比等下一次凌晨三点强。

治理前后对比

指标治理前治理后
节点驱逐次数每月 6 次连续 3 个月 0 次
私网丢包率(备份时段)0.6%–0.9%0.00%
表决盘 IO await 均值28ms(峰值 >100ms)3.4ms
投票盘分布与 OCR 同 LUN,单路径独立 LUN,3 份多路径
misscount / disktimeout30 / 20030 / 300
业务可感知中断每周 2–3 次,每次 40 秒0
ORA-29740 记录月均 6 条0


四、实操检查清单


  • [ ] crsctl get css misscount / disktimeout / reboottime 三项基线已记录并归档
  • [ ] 私网与备份网、业务网物理隔离,独立交换机
  • [ ] oifcfg getif 私网接口与 HAIP 实际绑定接口一致
  • [ ] 两节点私网 MTU 相同,jumbo frame 大包 ping 无丢包
  • [ ] 私网 NIC 型号/固件一致,ethtool 已关/开一致的 flow control
  • [ ] 表决盘份数 3,位于独立 LUN 与独立控制器路径
  • [ ] 多路径软件对表决盘与 OCR 均生效,无单路径告警
  • [ ] cssd.log / alert.log 的 CRS-1607~1609 与 ORA-29740 已设关键字告警
  • [ ] OS 侧 OOM、softlockup、link down 已纳入日志采集
  • [ ] 备份窗口与集群心跳高峰不重叠,或已错峰
  • [ ] 驱逐后实例恢复由 SMON 自动完成,已有演练结论
  • [ ] 参数改动有变更单,misscount 未做"治标"式放大


几个容易踩的坑

一、把 misscount 调大当解法。 症状消失只是判定变迟钝,真断网时脑裂窗口同步放大。除非存储特性要求,这个值保持默认。

二、日志位置按 11g 找。 12c 起 ocssd.log 内容并入 $ORACLE_BASE/diag/crs/<host>/crs/trace/cssd.log,照老文档去 $GRID_HOME/log 翻会得出"没有日志"的错结论。

三、把 ORA-29740 当应用报错。 它是"我被踢了"的结果,不是原因,往应用侧查一定跑偏。真正的原因在同时间的 cssd.log 与 OS 日志里。

四、私网走公用交换机。 备份起量时交换机的缓冲被大流量占满,心跳包被丢掉,这是最常见的"夜间驱逐"成因。物理隔离不是讲究,是必需。

五、MTU 不一致。 一端 9000 一端 1500,小包通、大包丢,icing 时业务看着正常,心跳却断续。用 ping -s 8972 直接验。

六、HAIP 双网卡接同一台交换机。 逻辑上双网卡、物理上单点,交换机一重启两条路一起断。

七、表决盘和 OCR 塞进业务数据所在的高 IO LUN。 备份、大查询一起来,表决盘 IO 延迟上去,disktimeout 到点节点自己退出。

八、手工 crsctl stop crs -f 也算一次驱逐。 变更窗口里这么干,和真故障的日志现象一模一样,事后排查很容易被自己的操作误导,变更记录要写清。

九、时钟漂移。 两节点 NTP 不同步时,跨节点对齐日志时间会错开几十秒,对着错的窗口查半天。先 chronyc tracking 确认,再谈其他。

写完这篇的体会是:RAC 的驱逐日志其实非常老实,它把"哪条心跳断在什么时间"写得清清楚楚,难的是接受它给出的结论——让你去改网络和存储,而不是改那两个数字。
免责申明1、欢迎访问本站,本文内容及相关资源来源于网络,版权归版权方所有!本站原创内容版权归本站所有,请勿转载!
2、本文内容仅代表作者观点,不代表本站立场,作者自负,本站资源仅供学习研究,请勿非法使用,否则后果自负!请下载后24小时内删除!
3、本文内容,包括但不限于源码、文字、图片等,仅供参考。本站不对其安全性,正确性等作出保证。但本站会尽量审核会员发表的内容。
4、如本帖侵犯到任何版权问题,请立即告知本站 ,本站将及时删除并致以最深的歉意!客服邮箱:admin@dbabbs.com
您需要登录后才可以回帖 登录 | 用户注册

本版积分规则

Archiver|小黑屋|DBA论坛中国 ( 鲁ICP备20017503号-2 )

GMT+8, 2026-11-18 06:45 , Processed in 0.053079 second(s), 9 queries , MemCached On.

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表