AVRO中的数据验证

Question

AVRO中的数据验证

9

我是一名AVRO新手，如果问题比较简单，请见谅。

我的使用场景是在记录调用时使用AVRO模式。

假设我有一个AVRO模式：

{
    "name": "abc",
    "namepsace": "xyz",
    "type": "record",
    "fields": [
        {"name": "CustId", "type":"string"},
        {"name": "SessionId", "type":"string"},
     ]
}

现在，如果输入如下：

{
    "CustId" : "abc1234"
    "sessionID" : "000-0000-00000"
}

我希望对这些字段使用一些正则表达式验证，并且只有在特定格式如上所示的情况下，才希望获得此输入。是否有办法在avro模式中指定包含正则表达式？

其他支持此类功能的数据序列化格式有哪些？

- user2166328

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- mtth · Accepted Answer

你可以使用自定义逻辑类型来实现此功能。然后，您可以直接在模式中包含正则表达式。

例如，以下是如何在JavaScript中实现：

var avro = require('avsc'),
    util = require('util');

/**
 * Sample logical type that validates strings using a regular expression.
 *
 */
function ValidatedString(attrs, opts) {
  avro.types.LogicalType.call(this, attrs, opts);
  this._pattern = new RegExp(attrs.pattern);
}
util.inherits(ValidatedString, avro.types.LogicalType);

ValidatedString.prototype._fromValue = function (val) {
  if (!this._pattern.test(val)) {
    throw new Error('invalid string: ' + val);
  }
  return val;
};

ValidatedString.prototype._toValue = ValidatedString.prototype._fromValue;

并且如何使用它：

var type = avro.parse({
  name: 'Example',
  type: 'record',
  fields: [
    {
      name: 'custId',
      type: 'string' // Normal (free-form) string.
    },
    {
      name: 'sessionId',
      type: {
        type: 'string',
        logicalType: 'validated-string',
        pattern: '^\\d{3}-\\d{4}-\\d{5}$' // Validation pattern.
      }
    },
  ]
}, {logicalTypes: {'validated-string': ValidatedString}});

type.isValid({custId: 'abc', sessionId: '123-1234-12345'}); // true
type.isValid({custId: 'abc', sessionId: 'foobar'}); // false

您可以在此处阅读有关实现和使用逻辑类型的更多信息。

编辑：对于Java实现，我相信您会想查看以下类：

LogicalType，这是您需要扩展的基础。
Conversion，用于执行数据转换（或在您的情况下进行验证）。
LogicalTypes和Conversions，一些现有实现的示例。
TestGenericLogicalTypes，相关测试可提供有用的起点。