有人能够请解释一下数据挖掘、SSIS、BI、ETL和其他相关技术吗?

9
我昨天和一位同事谈论了一个使用SSIS(或类似工具)的情况,他用SSIS包传入一个名字“Dr. Reginald Williams, PhD.”,根据某种权重方案,系统足够智能以将其标记化并存储在数据库中为“Salutation- First Name - Last Name - Suffix”,听到了BI、SSIS、ETL和数据挖掘等词汇。我真的想要更多信息,但不知道从何开始询问。
我是一名.NET开发人员,精通C#、VB.Net、WPF等技术,但我不知道这些技术是什么,如何将它们添加到我的技能集中,以及是否应该将注意力放在这些技术上。任何指导都将有所帮助。
3个回答

21

SSIS是SQL Server Integration Services的缩写,它是一种抽取转换加载(ETL)工具。它是Data Transformation Services或DTS在SQL7、SQL2K时代的更优实现。它是一个表达工作流程的绝佳工具,其中数据从A点移动到B点(以及C和D等),并通过该过程进行更改,例如合并为非规范化设计或进行数据清洗。

BI或商业智能是技术世界中的一个完整类别,现在是一个很好的时机。BI技能非常有价值,很难得到,其中一个原因是很难在实验室中重新创建真正的BI案例,因此教学几乎总是在真实世界情况下进行。

从高层次来看,BI项目通常涉及报告的终点。通常情况下,作为开发人员,我们习惯于事务性报告编写,例如PO的详细信息,但是BI可以涉及覆盖数十年的产品销售趋势的广泛报告,并处理数亿条记录。我们为应用程序设计数据库的方式不适合这种报告,因此在BI领域发明并使用其他工具和技术。这些是像Cube这样的东西,你经常听到OLAP Cube的称呼。OLAP Cube通常起源于数据仓库,这只是另一个数据库——但是典型的仓库包含来自多个应用程序数据库,通常是数十个或者更多的数据。你的库存应用、采购应用、人力资源应用以及许多其他应用都包含构成业务完整图景的数据组成部分,BI架构师将使用像SSIS这样的工具从所有这些系统中提取数据、处理数据并将其存储在以不同设计更适合报告的数据仓库中。一旦它进入了数据仓库,他将使用Analysis services在那些数据上创建Cube,并使用像Reporting Services这样的工具显示该数据上的报告。

编辑:抱歉,我忘记了数据挖掘,它是另一个非特定术语,描述了一个概念或过程,而不是一个工具。举个简单的例子,它是一种有条理的方法,用于识别数据中的模式。过去,良好的业务分析师会查看趋势的数据,但现代数据库所涉及的数据集过于庞大,无法手动筛选 - 数据挖掘允许您指示计算机筛选那些感兴趣的数据并识别模式。

希望可以帮到您


3
你的同事所做的可能更适合描述为对字符串的 "智能解析"。这可以在许多不同的复杂程度上完成--例如,使用统计模型来给出 "Dr." 是称谓而不是名字的可能性。或者它只是使用一个简单的常见称谓查找列表,在这种情况下,它只是常规过程代码,没有更多的东西。
SSIS是SQL Server Integration Services的缩写。它基本上是强化版的DTS;有些人喜欢它,有些人讨厌它。仅使用它本身来完成你所说的那种事情可能会很棘手;它主要是用于从各种来源获取数据并将其组合、转换和加载到其他地方。它可以做一些聪明的事情,其中许多 tend to be data-mining like,但归根结底,它是一个生产工具,用于将数据压缩到一个方向或另一个方向。它在数据挖掘界并不特别受尊重。

数据挖掘是一个完整的学术学科,重点是使用一些(通常很大量的)数据来预测未来的答案或更好地理解现有数据中的模式。这绝对是一个很好的领域,但需要进行数学和算法的深入学习,不能轻易上手。关于这个主题的一本好书是这本书

“商业智能”实际上更像是一个流行词而非特定的技术,可能对不同的人意味着不同的事情。基本上,这个想法建议用商业数据做更少的愚蠢事情,并且通常指的是随时间变化的趋势分析,经常使用OLAP。它也可能包括数据挖掘或人工智能算法,但由于没有严格的定义,几乎任何想要向您销售某物的人都会告诉您它提供“商业智能”,并希望您不会深究。


2
SSIS是SQL Server Integration Services的缩写,通常用于执行ETL(提取、转换和加载)操作,这些操作是许多数据仓库/商业智能解决方案的前端,将数据集成到易于使用的维度模型中。SSIS也可用于较小的项目,作为从遗留数据或其他存储库或文件中方便加载数据的方式。
数据挖掘通常意味着使用来自集成源的数据推断出从事务性数据中不明显的信息(通过整合多个来源给数据带来更多“维度”)。
商业智能是一个庞大的主题,除非您想进入该领域,否则可能不是要重点关注的内容,但在任何情况下,学习SSIS都是值得的,并且对于较小的项目非常有用。

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接