跳到正文
原文
安安财智 · 微信· 安安财智·· 22 天前站内评分43

Excel载入工具通过映射表实现字段归一化

手搓工具必修课:字段归一化,映射表少不了

导读

字段归一化是手搓Excel载入工具提升鲁棒性的关键,可通过映射表将用户侧原始列名转换为内部标准字段。单表解决多种叫法对应同一含义的导入,双表进一步将内部标准字段映射为不同下游模板,匹配前可清洗空格、换行及全角半角字符。

正文

做 以Excel 为数据源的数据处理工具时,大多都栽在同一个入口级难题上:不是逻辑难写,是用户太多样。

很多时候按自已的数据源搓出来的工具,在自已本地测得顺顺当当,换了用户,刚点导入直接卡死。 报错不是公式错了、不是类型不对,就是最基础的:表里的列名,跟你预想的不一样,也就是工具的鲁棒性弱。

这是 Excel 载入工具绕不开的宿命 —— 入口是开放的,用户是不可控的。

你定好标准表头的模板没用,业务导出的台账、各类明细表、手工补的汇总表,每个人整理 Excel 的习惯完全是独立版本。有人爱加备注、有人喜欢缩写、有人习惯在列名里塞日期,还有人复制粘贴顺手带了空格、换行、全角符号。 工具在后端再精巧,入口这一关卡不住,后面所有处理全是空谈。字段归一,本质上就是专门用来接入这种 “用户多样性” 的入口层方案。

这让我想到一年前,为了复核客户的成本核算体系,用PowerQuery搭建了一个“系统”,完成从采购到销售结转成本的全过程,当我把跑出来的差异反馈给客户时,客户努力去核实修正,但每次都会出现这样或那样的问题,复盘原因,不是改了工作簿中工作表的名称就是改了工作表标题字段的名称,或者字段列中的值日期、数值混用,还有错误值,丰富多彩的样子,有些时候用户全表复制粘贴,导致无效空列占用PowerQuery的资源,卡死不动,大家都觉得自已很无辜的样子。

我们手搓工具,起初的用户只有自己,后来分发给其他用户,用户散在各处,每次来一个新表头,你就要发新版本、改脚本、重新打包,工具越用补丁越多,最后失望之心一产生,工具只能变成自己能跑的私人玩具,别人一碰就崩。

总而言之:字段名称归一化,是手搓 Excel 载入工具绕不过去、入口级的关键一环。这个环节里,没有什么问题是一张映射表解决不了的,如果有,那就两张。

一张映射表,承接大部分用户的自由输入

单映射表的定位,就是做入口的软兼容。 结构很朴素:【用户侧原始列名】→【工具内部标准字段】。 不要求用户必须严格按你的模板来填表,不强制大家统一格式。用户只管按自己平时的习惯导出、整理 Excel,只要列的含义没变,名字随便换。

用户上传文件之后,工具先读第一行表头,循环和映射表做模糊匹配、清洗匹配:先清首尾空格、剔除换行、统一全半角,再查表对应关系。 “营收”“主营收入”“营业收入合计”“营收总额”,全部收拢到内部唯一标识营业收入。

对大部分简单场景,这一张表足够兜底多样性:

  • 不同岗位导出的同类台账;
  • 旧模板、临时表、简易汇总表;
  • 只是叫法不一样,但业务含义完全一致的列。

好处很直白:把适配用户多样性这件事,从代码里剥离出来,变成可编辑的配置。 以后再来一个新的列名,不用改一行代码,打开映射表加一行配对关系就行。工具本体不动,适配能力持续扩容。用户那边几乎零感知,该怎么导出 Excel 还怎么导出,不用强行教育所有人遵守一套表头规范。

但单表有边界。它只能解决 “多种叫法,同一个含义” 的单向流入问题。而 Excel 载入工具,往往不止 “读进来” 这一件简单事。

一张兜不住的时候,双表结构,闭环消化多样性

用户多样性的复杂版本,往往藏在双向需求里: 进来的 Excel 五花八门要归一;处理完之后,导出的报表、报送表、底稿,又要适配另一套五花八门的外部要求。 内部计算用一套标准,给 A 同事导出要一套表头,给 B 系统上报又要另一套表头。只靠一张单向映射表,到输出环节就会卡住。

这时候就要拆开两层,分成【入映射表】和【出映射表】,各司其职。

入表(载入归一表):入口层,专门消化用户侧的无序 所有 Excel 导入,第一道工序就是走这张表。 原始表头清洗、匹配、对齐到工具内部固定标准字段。不管是谁上传、不管表头怎么写,进入后续计算、校验、抽数逻辑之前,全部收敛成同一套语言。 后端所有业务逻辑,从此只认内部标准,再也不用到处写一堆 or 判断去兼容千奇百怪的列名。等于在混乱的用户输入和稳定的核心逻辑之间,搭了一道隔离缓冲层。

出表(输出适配表):出口层,适配下游的多样要求 内部标准字段,再根据目标模板,映射成各式各样的输出列名。 同一套清洗结果,可以一键生成给业务看的简易版表头、给底稿归档的规范表头、给上报用的系统专属表头。 对内收敛,对外放开。

双表最大的价值,是把 “多样性” 隔离在入口和出口,中间的核心处理逻辑始终是干净、稳定、单一标准的。 不会因为用户这边又冒出一个新写法,就牵连到校验、汇总、比对的核心代码。 用户的自由,和工具的稳定,不再是对立面。

还有一类更头疼的多样性,也靠这套结构扛:一对多、多对一的列。 比如有的用户习惯把 “期初借方、期初贷方” 放在一列备注里,有的是分成两列;有的表把成本拆成多行,有的合并汇总。入映射表可以配置拆分、合并规则,先归一再流入计算层,而不是把这些特殊判断散写在业务代码里。

别试图去 “统一用户”,手搓工具让入口承接差异

做 Excel 载入工具,很容易产生一个误区:最好的方案是发一个标准模板,要求所有人都用这个模板上传。 理想很好,现实很难。 业务端有上游系统限制、有历史报表惯性、有临时赶工的情况,你很难强制几十上百个人改掉多年的制表习惯。 强行推模板,最后的结果就是:用户偷偷复制粘贴改表头、漏列、增列,或者干脆嫌麻烦不用你的工具。

字段归一化,本质上不是改造用户,而是在工具入口做兼容层。 承认用户侧天然的多样性,接受 Excel 表头天生混乱这个现实,不去对抗,而是用映射表这套低成本配置方案,把差异吃掉。 教育用户的成本很高;维护一张表格的成本很低。

这也是手搓工具和商用平台不一样的地方。商用系统可以强制模板、做在线表单约束;我们自己手搓的载入工具,优势就是灵活、接地气,要嵌入大家现有的 Excel 工作流里。映射表就是这个灵活度的根基。

鲁棒性,一个奇怪而有趣的名字,一个引发思考的名字。

入口的兼容性强依赖于映射表。

改变不了别人,就改变自已的工具,让其更加强壮!

来源:安安财智 · 微信 · mp.weixin.qq.com

审计热点 是聚合摘要和阅读索引,原文版权归各来源所有,引用请以官方原文为准。如果你是来源方,希望更正、下架或调整展示方式,可以通过反馈页联系我们。

来自微信公众号的内容,本站仅呈现摘要与原文链接,不转载文章全文;文章权利归属原作者及原公众号

关于使用条款隐私信源