我和另一位同事正在进行一个企业应用研究项目,我们希望从页面中删除某些内容,以使发布的消息具有普遍性(即不冒犯和匿名)。目前,我们想要获取用户在留言板上发布的消息,并删除任何类型的姓名、学院或机构名称、粗话(如果可能的话,我们还想删除商业名称)。
是否有某个数据库可以连接到,我们可以使用它来清理我们的消息,以检查与数据库中的值相匹配的内容以识别这些内容?
我和另一位同事正在进行一个企业应用研究项目,我们希望从页面中删除某些内容,以使发布的消息具有普遍性(即不冒犯和匿名)。目前,我们想要获取用户在留言板上发布的消息,并删除任何类型的姓名、学院或机构名称、粗话(如果可能的话,我们还想删除商业名称)。
是否有某个数据库可以连接到,我们可以使用它来清理我们的消息,以检查与数据库中的值相匹配的内容以识别这些内容?
展望未来:超越“热词”数据库
有许多方法可以处理这个任务,使用各种自然语言处理(NLP)的技术和概念。随着您的项目变得更加复杂,您可能想要了解其中一些概念,并可能实现它们。例如,一个简单的POS标记器会帮助您部分区分“SCREW”令牌的各种用法,因为应用程序会丢弃冒犯性词汇。(“董事会想要screw学生”与“每码应使用至少4个screws固定董事会”)。
甚至在需要这些正式的NLP技术之前,您可以使用一些基于模式的规则来处理与项目目标消息类型相关的域的常见情况。例如,您可以考虑以下内容:
另一个可能有用的工具,特别是在开始时,将是一个收集有关消息语料库的统计信息的系统:单词频率,最常见的单词,最常见的二元组(两个连续的单词)等。