数据治理规则配置
数据治理包括数据质量探查、数据清洗、数据脱敏等,这几个动作实际上都是针对表数据的判断或转换,为了增加系统的灵活性和扩展性,可以将其抽象为规则,通过Java Script等形式允许用户自定义扩展。
其中,数据质量探查规则:判断字段值是否符合相关规则,包括唯一性、完整性、准确性、一致性、时效性等;
数据清洗规则:对数据进行清洗转换处理,它是数据质量探查和数据处理的组合规则,先用探查规则检查数据,对于有问题的可以用清洗规则处理。问题处理可以有多种动作,包括纠正问题、标注问题及等级、忽略问题等
数据脱敏规则:对隐私数据做特定的处理,比如,加密、字段遮盖等。
上述这几个规则,均可以支持用户按照规范自己扩展,比如,Java Script脚本,其中,扩展函数的入参丰富程度决定了扩展能力的范围,尽量要将要处理的当前字段值及其元数据,甚至当前处理的行数据及元数据,都要做为入参传递,从而扩展函数能支持大部分的数据检查和处理功能。