我在一家公共卫生部门工作,每天都会接收和存储大量的医疗数据。我编写了一个程序,使用正则表达式来确定传入数据中的特定字段是否有效或无效。例如:出生日期以YYYYmmDD的形式呈现,所以应该与正则表达式^[0-9]{8}$相匹配。
我想分析“无效”数据,帮助识别我们系统中出现的问题(我们获得的数据太多了,无法逐行检查每个“坏”记录)。有人能建议哪些人工智能技术/机器学习技术可以“监视”不良数据并发现其中的错误模式吗?我认为列出许多可能导致数据无效的正则表达式(例如字数不足或过多),然后跟踪这些结果可能奏效。但是,我很好奇如何使用人工智能从坏数据中“学习”模式,而不是我想出所有数据可能无效的方式。
是否有任何已知的技术可以做到这一点?
我想分析“无效”数据,帮助识别我们系统中出现的问题(我们获得的数据太多了,无法逐行检查每个“坏”记录)。有人能建议哪些人工智能技术/机器学习技术可以“监视”不良数据并发现其中的错误模式吗?我认为列出许多可能导致数据无效的正则表达式(例如字数不足或过多),然后跟踪这些结果可能奏效。但是,我很好奇如何使用人工智能从坏数据中“学习”模式,而不是我想出所有数据可能无效的方式。
是否有任何已知的技术可以做到这一点?