10得票5回答
什么是将XML数据保存到SQL Server的最佳方法?

有没有一种比较直接的方法?例如,SQL Server可以读取XML吗? 或者,最好是解析XML,然后通过ADO.Net以通常的方式传输它,可以作为单独行或批量更新? 我知道可能有涉及大型复杂存储过程的解决方案,虽然我并不完全反对这样做,但我倾向于将大部分业务逻辑放在C#代码中。我看到过使用...

7得票1回答
为什么Postgres中的表交换如此冗长?

我想要填充一个大表(20M行),这个表被频繁地读取但很少被写入。从各种文章和SO上的问题中可以看出,最好的方法是创建一个与原表结构相同的表格,加载填充的数据,并进行实时交换(因为重命名非常快速)。听起来不错! 但是当我真正编写脚本执行操作时,它非常漫长。以下是一小部分内容: BEGIN; ...

7得票2回答
如何执行SQL ETL脚本和SPROCs的自动化测试?

我们有一些DTSX包,可以从许多传统的Pervasive数据库中提取、转换和加载数据到SQL Server 2k8 R2(通过ODBC)。 大多数ETL过程使用T-SQL脚本。 传统数据结构混乱不堪,我们经常需要对ETL脚本进行调整和更改以处理这些格式错误的数据。 我们希望建立一些流程来...

26得票3回答
向Airflow日志中添加日志记录

如何将自己的日志添加到自动生成的Apache Airflow日志中?任何打印语句都不会被记录在里面,所以我想知道如何添加我的日志,以便在UI上显示出来?

16得票7回答
SSIS:代码页返回到65001

在我编写的SSIS包中,我的源是一个CSV文件。在连接管理器的常规页面上,代码页为65001(我在测试)。Unicode未被选中。 这些列与SQL Server目标表中的varchar列进行映射。 目标处发生错误:"columnname"列无法处理,因为对其指定了两个以上的代码页(6500...

36得票6回答
F#与“企业级”报告

基于您的实际经验、白皮书或其他可参考的研究,F# 目前是否是企业级报告的可行工具? 注意:在将此问题投票关闭为“不具有建设性”之前,请阅读底部说明。 背景 我目前在一家大型企业工作,在许多不同的报告工具中广泛使用,包括(但远非局限于)SAS、Cognos、SSRS,甚至还有一些 COBOL。每...

32得票1回答
将带有标题的CSV文件加载到Redshift中?

是否有选项可以将带标题行的CSV文件加载到Redshift中?我看到了有关CSV文件的文档,但没有提到标题。理想情况下,它可以使用标题来确定要加载的列。

23得票4回答
Java ETL:很难找到一个合适的

我正在寻找一个可嵌入的Java ETL(抽取、转换、装载)引擎,即可以从Java代码中调用的引擎。 我发现很难找到一个合适的引擎。 主要考虑将分隔符文本文件加载到数据库表中,并在此过程中进行一些小的转换。 我想要以下功能: 能够外部指定简单的映射,例如将文本列5映射到数据库列foo,...

15得票1回答
错误[ERR_STREAM_PREMATURE_CLOSE]: Node管道流中的过早关闭

我正在使用Node的stream.pipeline功能将一些数据上传到S3。我正在实现的基本思想是从请求中提取文件并将它们写入S3。我有一个pipeline可以成功地从请求中提取zip文件并将其写入S3。但是,我希望我的第二个pipeline执行相同的请求,但解压缩并将未压缩的文件写入S3。管...

17得票4回答
通过SSMS编辑dtsx文件

我使用SSMS对应的向导创建并执行了一个dtsx: 这是为了将一个平面文件导入到现有表中。 最后,我将“包”保存为.dtsx文件 现在我需要修改列映射并重新执行此包。 是否有任何方法可以使用SQL Server Management Studio来完成这个任务? 我尝试打开文件,但...