马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要 登录 才可以下载或查看,没有账号?用户注册
×
Sybase ASE 字符集治理实战:从 iso_1 把中文存成问号到服务端与客户端全链路对齐双线收敛
一、具体的问题
先说一个老场景。一套跑了八年的 ERP,数据库是 ASE 15.7,装在 Windows 上,装库的时候一路回车,字符集吃的是安装程序的默认值 iso_1。业务表里客户名称、物料描述、备注这几列,前端页面偶尔查出来正常,偶尔整列变成问号,用 isql 一查又是另外一副样子;更玄的是手机端显示正常、PC 端客户端显示乱码。开发说"数据库坏了",运维说"网络问题",最后活落到 DBA 头上,第一反应通常是——改字符集,改成 cp936 就对了。
于是就有了最典型的一次翻车:直接 sp_configure "default character set id",171,重启两次,服务器起来了,sp_helpsort 显示 cp936,看着很成功。然后应用一大片报错,原来能看的中文变成乱码,原来乱码的还是问号,ORDER BY 出来的客户列表顺序全乱。原因很简单:字符集是解释规则,不是存储格式。改字典不换纸上的字。那一批存量字节根本没变,只是从此按另一套规则解释,本来碰巧能读的读不出来了,本来存坏的字依然坏。
这类问题必须分层看,否则一定治错:
- 丢失型:写进去的时候中文就已经变成 ?(ASCII 0x3F),字节层面已经没了,任何字符集调整都救不回来,只能补录或从上游重灌。
- 误解型:字节还在,只是被另一套编码解释错了,比如 涓枃 这类典型形态,属于"没丢但看错",有回捞空间。
- 排序型:显示正常,但中文 ORDER BY 出来的顺序既不按拼音也不按笔画,属于 sortorder 的事,与字符集是两码事。
- 客户端型:服务端一切正常,只有某一类客户端乱,问题在连接层。
四个类型的处置代价差三个数量级。分不清就直接动服务端,等于拿全库数据去赌一个猜测。
二、核心原理
第一,char/varchar 里存的是字节,字符集只是映射表。 ASE 的 char、varchar 列在页上就是一段字节,服务器和客户端各自知道自己"应该用哪本字典"。同一批字节,用 iso_1 解释是西文,用 cp936 解释是汉字,用 utf8 解释是"三个字节一组"。所谓乱码,九成是字典拿错了,不是数据坏了。
第二,字符集转换只发生在客户端与服务器的边界上,不发生在存储内部。 客户端连上来时声明自己的字符集(连接串、-J 参数或 locales.dat 的默认值),服务端把数据按自己字符集读出来、转成客户端字符集送出去,反向亦然。转换表里查不到的字符,去向只有一个——?。这就是中文被打成问号的机制:不是写错了,是转换时目标字符集里没有这个字形。
第三,数据库的字符集是建库时从服务器继承的,不能事后 ALTER。 这是 ASE 与其他一些库最大的差异,也是所有翻车的根源。改服务器 default character set id 只影响"以后新建的库"和"当前会话的解释规则",存量库的元数据和数据页不会跟着转。所以官方给的路径从来不是"改配置",而是:全量导出 → 清理 → 重建库 → 按新字符集灌回。任何跳过重灌的字符集变更,本质都是在制造两套字典混用的烂摊子。
第四,字符集和 sortorder 是两条独立的线。 字符集决定"这串字节是什么字",sortorder(排序顺序)决定"这些字怎么比大小、怎么排"。sp_helpsort 一次会把两样都打出来。cp936 常配二进制排序,这种情况下中文按内码顺序排,不是拼音序,也不是 GB2312 区位序;业务上要"按拼音排客户名",靠改字符集解决不了,得改 sortorder。而 sortorder 一改,所有索引必须重建——索引键是按旧比较规则排好序落盘的,规则变了索引就与数据不一致了。
第五,中文字符集的选型有四个选项。 ASE 12.5 之后支持 cp936(GBK,双字节,Windows 系老系统的事实标准)、eucgb(GB2312-80,覆盖窄)、utf8(中文三字节,空间与列宽都要按三倍预留)、gb18030(12.5.0.3 起支持,四字节体系,能装生僻字)。选型不是选"最好的",是选"和你的客户端全链路能对上的"。
三、实例参考(动手步骤)
步骤 0:确认现状基线(五分钟,先别改任何配置)
服务端看两样东西:
- -- 当前字符集 + 排序规则,一次看全
- sp_helpsort
- go
- -- 当前默认字符集 id(0/1 一般是 iso_1,171 一般是 cp936)
- sp_configure "default character set id"
- go
- -- 目标字符集到底装没装、id 是多少
- select name, id from master..syscharsets where name in ('cp936','utf8','gb18030','iso_1')
- go
复制代码
客户端看一样东西,但要在每个入口都看一次:
- select @@client_csname, @@client_csnum
- go
复制代码
@@client_csname 返回空,说明这个连接没显式指定字符集,走的是 locales.dat 里的默认值——这恰恰是最容易出分歧的地方:isql 走一份 locales.dat,应用服务器上另一份,报表工具里再一份。三个入口跑一遍,经常能看到三种结果。
步骤 1:把"乱了"分成四类,只修能修的
下面这段用来区分"丢字"和"看错",判据在字节层,不在显示层:
- -- 看原始字节:E4B8AD 这类三字节序列 = UTF-8 残留;连续 3F = 已丢字
- select convert(varbinary(20), cust_name) as raw_bytes,
- datalength(cust_name) as bytes,
- char_length(cust_name) as chars,
- cust_name
- from customer
- where cust_id = 10086
- go
复制代码
判读规则很干脆:
- bytes 等于 chars,且中文列里出现 0x3F,0x3F 的个数与汉字个数相当 → 丢失型,不可逆,别再折腾字符集,走业务补录。
- bytes 恰好是 chars 的两倍且字节落在 GBK 区间 → 数据是好的,问题是出口那一端解释错了 → 误解型或客户端型。
- bytes 是 chars 的三倍左右、字节是 E4/E5/E6 开头 → 数据是 UTF-8 字节被塞进了单字节列,属于误解型,可以按字节回捞后转码重写。
- 显示、bytes/chars 都正常,只有排序不对 → 排序型。
全表摸底用一条聚合,比肉眼翻页靠谱:
- select count(*) as bad_rows
- from customer
- where cust_name like '%?%'
- and charindex(convert(varbinary(4),0x3F3F), convert(varbinary(200), cust_name)) > 0
- go
复制代码
like '%?%' 单独用会大量误命中业务里正常问号,必须叠加二进制判据。
步骤 2:客户端侧先对齐(低风险,当天可做,先解决八成问题)
这一步不动服务端,只让"出口"一致。改 $SYBASE/locales/locales.dat 的 [NT] 段(Unix 是 [linux]),找到 locale = default 那一行,把字符集字段改成 cp936:
- [NT]
- locale = default, us_english, cp936
复制代码
改完立刻用命令行验证,-J 是逐次覆盖,不影响别人:
- isql -Usa -P****** -SASE157 -J cp936
- bcp db..customer out customer.dat -Usa -P****** -SASE157 -c -J cp936 -t"|" -r"\n"
复制代码
应用侧按栈各配一处,原则是"声明成数据的真实编码",不要凭感觉写:
- JDBC(jConnect):jdbc:sybase:Tds:10.0.0.21:5000/erp?CHARSET=cp936
- ODBC / ADO:连接属性里加 Charset=cp936(不同驱动键名略有差异,以驱动文档为准)
- 连接池:初始化连接时统一注入,别指望开发各写各的
配完回到步骤 0,三个入口各跑一次 select @@client_csname,必须三处一致。不一致就继续查,这一条没过,后面服务端一步都别动。
步骤 3:服务端字符集切换(重建级操作,必须进变更窗口)
先把"能不能改"想清楚:服务器字符集一改,存量库的数据解释立刻变,所以这一步的完整动作是导出—重建—灌回,不是改配置重启。
- -- 记录清单:库、设备、段、登录、作业
- select name, dbid from master..sysdatabases order by dbid
- go
- -- 表结构导出(ddlgen 比手写可靠)
- -- ddlgen -Usa -P****** -SASE157 -D erp -TU S -O erp_ddl.sql
复制代码
然后用旧字符集全量出数据,-J 写"文件落地的编码",不是"你希望它变成的编码":
- bcp erp..customer out D:\mig\customer.dat -Usa -P****** -SASE157 -c -J iso_1 -t"|" -r"\n" -e D:\mig\customer.err
复制代码
安装目标字符集并切换,顺序不能颠倒:
- cd %SYBASE%\charsets\cp936
- charset -Usa -P****** -SASE157 binary.srt cp936
复制代码- -- 确认 cp936 已进字典表,记下 id(常见 171,以查询结果为准)
- select name, id from master..syscharsets where name = 'cp936'
- go
- sp_configure "default character set id", 171
- go
- shutdown
- go
复制代码
服务器要启动两次:第一次大概率起不来或起来后异常退出,属正常现象——它在用新字典校验系统表;第二次才稳定。起来之后逐项确认:
- sp_helpsort
- go
- select @@client_csname
- go
复制代码
最后重建库与设备,按 -J cp936 灌回数据,灌完立刻做行数对账与抽样比对(见步骤 5)。再跑一轮 update statistics,因为重建后统计信息全没了。
步骤 4:排序规则与索引重建
排序规则只在"业务真的需要中文序"时才动,而且必须和重建一起做,单独改 sortorder 是最危险的半吊子操作。重建完成后,索引要逐个重排:
- -- ASE 12.5+ 原地重建表上所有索引
- reorg rebuild customer
- go
- -- 单索引重建
- reorg rebuild customer cust_name_idx
- go
- -- 重建后补统计
- update statistics customer
- go
复制代码
判断"到底要不要动 sortorder",看业务诉求而不是看心情:如果只是偶尔一个报表要按客户名排,加一个计算列或者应用层排序就行,别为了一个报表去动全库的比较规则。
步骤 5:把校验固化进巡检
治理做完不等于守得住。留一条自动化的眼睛:每天按入库时间扫一次当天新增的丢字行(like '%?%' 叠加 charindex(0x3F3F, ...) 判据),结果进日报;同时应用新增数据源、新上报表工具、新接同步链路时,把 select @@client_csname 列为联调必检项,bcp 与导出脚本一律显式带 -J,不依赖默认值。
治理前后对比
| 维度 | 治理前 | 治理后 | | 客户端字符集 | 三个入口三种结果,谁也说不出默认值哪来的 | locales.dat 统一 cp936,连接串显式声明 | | 中文丢失 | 每天新增几十行问号,无人统计 | 巡检日扫,新增即告警,源头连接串已固化 | | 存量脏数据 | 一万两千余行,混着丢字和误解两类 | 按四类拆分,误解型回捞修复,丢字型业务补录 | | 排序 | ORDER BY 中文按内码,报表顺序像随机 | 需要中文序的场景走计算列/应用层,不再动全库 sortorder | | 变更风险 | 直接改配置重启,全库数据解释失控 | 导出—重建—灌回走窗口,回滚脚本预先验证 | | 可追溯 | 没人记得当初装库选了 iso_1 | 字符集与 sortorder 写进基线文档,变更留台账 |
四、实操检查清单
- 动手前先跑 sp_helpsort 与 sp_configure "default character set id",把现状写进变更单,别凭记忆;
- select @@client_csname 在 isql、应用连接池、报表/ETL 三处各跑一次,三处不一致就先修客户端;
- 用 convert(varbinary, col) 判字节,不要用"看起来像不像乱码"判;
- 先分类再动手:丢字型不浪费窗口,误解型先回捞,排序型单独评估;
- 任何字符集切换都要按"导出—清理—重建—灌回"走,不接受只改配置重启;
- bcp 的 -J 描述的是文件实际编码,导出与导入两端保持一致,别一端写旧一端写新;
- 切换前导出 sysdatabases、sysdevices、登录与作业清单,重建靠它核对;
- 服务器改字符集后必须启动两次,第一次异常属预期,别急着回滚配置;
- 新字符集下 varchar(n) 的长度按字节算,中文场景要按 2 倍(cp936)或 3 倍(utf8)预留,否则截断报 2628;
- 排序规则变更后必须 reorg rebuild 全表索引,否则索引与比较规则不一致;
- 重建完成后立刻 update statistics,否则执行计划可能比治理前更差;
- 治理完把"新增数据源必须验证 @@client_csname"写进上线流程,否则半年后原样复发。
几个容易踩的坑
一是把改字符集当成"修乱码"的万能药。 这是本文开头那个翻车的根源。字符集只改解释规则,不改字节。存量数据是 iso_1 时期写坏的,改成 cp936 之后照样是坏的,而且原本碰巧能读的会读不出来——两头不讨好。正确姿势是先分类,再决定是否需要重建级操作。
二是只改服务端不改客户端。 服务端换成 cp936、客户端仍按 iso_1 连,两端不一致时 ASE 会在边界上做转换,转换表里没有的汉字直接落成 ?。这时候数据是新写坏的,比原来更糟。改服务端之前,客户端必须已经全部对齐。
三是误以为 dump/load 能跨字符集。 dump 文件里的字节是按服务器字符集落的,换字符集之后 load 回去照样按新字典解释,出来还是乱的。跨字符集迁移只有两条路:bcp 配合 -J 逐表导,或者 ddlgen 出结构 + 数据导出重灌。别拿备份文件赌。
四是 like '%?%' 当筛查工具。 业务里本来就有合法的问号("是否确认?"),用它统计脏数据永远对不上。判据必须在字节层:连续 0x3F、datalength 与 char_length 的比值,两个指标一起看。
五是以为 bytes = chars 就说明没坏。 单字节字符集下中文显示成 ? 的时候 datalength 与 char_length 恰好相等,因为字节已经被替换掉了。这个比值只能证明"数据是双字节存的",不能证明"数据是对的",必须叠加二进制看有没有 0x3F。
六是改完字符集不补统计信息。 重建库之后所有表统计信息为空,优化器只能瞎猜,执行计划可能从索引扫描退化成全表扫描,业务感觉"治理之后更慢了"。重建、灌数据、update statistics 是不可拆的动作组。
七是把 utf8 当默认正确选项。 utf8 一劳永逸,但中文三字节,varchar(50) 只放得下十六个汉字,老系统里大量"刚好够用"的列宽会集体截断,索引键长也随之膨胀。空间与列宽评估没做完就切 utf8,是把字符集问题换成容量问题。
八是以为 sortorder 改了只影响排序。 排序规则同时决定比较语义:大小写敏感、重音敏感、尾随空格处理都在里面。改完之后 where name = 'ACME' 能不能命中 acme 都可能变,唯一索引的唯一性判定也跟着变——原来能插进去的两条记录可能突然冲突,必须在测试库先跑全量唯一性检查。
九是忘了 locales.dat 是每台机器一份。 A 服务器改好验证通过,B 应用服务器上还是旧值,于是"有的节点正常有的节点乱"。多节点部署里出现频率极高。
十是治理完不做长时间验证。 字符集问题有 latency:当天数据是对的,月底跑批、跨库同步、报表导出时才暴露。治理后头两周每天对一次丢字行数与前十大报表结果,比任何"应该没问题"的承诺都可靠。 |