将n个数据表合并成一个数据表

Question

大家好，对于这个问题已经有一些问答了，但是我无法从中提取足够的信息来解决我的问题。我将一个未知数量的表导入到SQL Server中的'Tab1'，'Tab2'，'Tab3'，...，'TabN'。这些表的列是不同的，但是行的定义是相同的。我需要从服务器中提取所有数据到 N 个 DataTable 中，然后将它们组合成单个的 DataTable。目前我的做法是：

int nTmpVolTabIdx = 1;
strSqlTmp = String.Empty;
using (DataTable dataTableALL = new DataTable())
{
    while (true)
    {
        string strTmpVolName = String.Format("Tab{0}", nTmpVolTabIdx);
        strSqlTmp = String.Format("SELECT * FROM [{0}];", strTmpVolName);

        // Pull the data from 'VolX' into a local DataTable.
        using (DataTable dataTable = UtilsDB.DTFromDB(conn, strTmpVolName, strSqlTmp, false))
        {
            if (dataTable == null)
                break;
            else
                dataTableALL.Merge(dataTable);
        }
        nTmpVolTabIdx++;
    }
    ...
}

这将合并DataTable，但它们未对齐（在附加的数据集中填充空单元格）。我可以通过循环追加新DataTable的列;但是有没有更简单/更好的方法来做到这一点（也许使用LINQ）？

感谢您的时间。

编辑。提供示例数据集。

我需要的是

各个表格如下

第一次合并后，结果如下

再次感谢。

- MoonKnight

---

“这些表中的列不同，但行定义相同”是什么意思？ - V4Vendetta

这些表中的列是不同的，但行定义是相同的。你能提供一个例子吗？ - Hamlet Hakobyan

也许你正在寻找一个 DataTable.Union。 - Tim Schmelter

@Killercam：Dispose 方法是为了继承而提供的，但 DataTable（或 DataSets）在构造函数中抑制终结，所以 Dispose 方法不起作用。但无论如何，这并不会有太大影响。 - Tim Schmelter

资源的释放与其他（托管）对象一样：当垃圾回收器决定这样做时，因为它需要回收RAM，标记所有当前可达的指针并删除所有不可达的指针，因此超出了范围。 - Tim Schmelter

Answer 1

Merge(因此它并没有真正测试过)在之后出现了重复的主键，因为没有定义主键。因此，请指定PK或尝试我从头编写的此方法：

public static DataTable MergeAll(this IList<DataTable> tables, String primaryKeyColumn)
{
    if (!tables.Any())
        throw new ArgumentException("Tables must not be empty", "tables");
    if(primaryKeyColumn != null)
        foreach(DataTable t in tables)
            if(!t.Columns.Contains(primaryKeyColumn))
                throw new ArgumentException("All tables must have the specified primarykey column " + primaryKeyColumn, "primaryKeyColumn");

    if(tables.Count == 1)
        return tables[0];

    DataTable table = new DataTable("TblUnion");
    table.BeginLoadData(); // Turns off notifications, index maintenance, and constraints while loading data
    foreach (DataTable t in tables)
    {
        table.Merge(t); // same as table.Merge(t, false, MissingSchemaAction.Add);
    }
    table.EndLoadData();

    if (primaryKeyColumn != null)
    {
        // since we might have no real primary keys defined, the rows now might have repeating fields
        // so now we're going to "join" these rows ...
        var pkGroups = table.AsEnumerable()
            .GroupBy(r => r[primaryKeyColumn]);
        var dupGroups = pkGroups.Where(g => g.Count() > 1);
        foreach (var grpDup in dupGroups)
        { 
            // use first row and modify it
            DataRow firstRow = grpDup.First();
            foreach (DataColumn c in table.Columns)
            {
                if (firstRow.IsNull(c))
                {
                    DataRow firstNotNullRow = grpDup.Skip(1).FirstOrDefault(r => !r.IsNull(c));
                    if (firstNotNullRow != null)
                        firstRow[c] = firstNotNullRow[c];
                }
            }
            // remove all but first row
            var rowsToRemove = grpDup.Skip(1);
            foreach(DataRow rowToRemove in rowsToRemove)
                table.Rows.Remove(rowToRemove);
        }
    }

    return table;
}

您可以这样调用它：

var tables = new[] { tblA, tblB, tblC };
DataTable TblUnion = tables.MergeAll("c1");

使用此示例数据：

var tblA = new DataTable();
tblA.Columns.Add("c1", typeof(int));
tblA.Columns.Add("c2", typeof(int));
tblA.Columns.Add("c3", typeof(string));
tblA.Columns.Add("c4", typeof(char));

var tblB = new DataTable();
tblB.Columns.Add("c1", typeof(int));
tblB.Columns.Add("c5", typeof(int));
tblB.Columns.Add("c6", typeof(string));
tblB.Columns.Add("c7", typeof(char));

var tblC = new DataTable();
tblC.Columns.Add("c1", typeof(int));
tblC.Columns.Add("c8", typeof(int));
tblC.Columns.Add("c9", typeof(string));
tblC.Columns.Add("c10", typeof(char));

tblA.Rows.Add(1, 8500, "abc", 'A');
tblA.Rows.Add(2, 950, "cde", 'B');
tblA.Rows.Add(3, 150, "efg", 'C');
tblA.Rows.Add(4, 850, "ghi", 'D');
tblA.Rows.Add(5, 50, "ijk", 'E');

tblB.Rows.Add(1, 7500, "klm", 'F');
tblB.Rows.Add(2, 900, "mno", 'G');
tblB.Rows.Add(3, 150, "opq", 'H');
tblB.Rows.Add(4, 850, "qrs", 'I');
tblB.Rows.Add(5, 50, "stu", 'J');

tblC.Rows.Add(1, 7500, "uvw", 'K');
tblC.Rows.Add(2, 900, "wxy", 'L');
tblC.Rows.Add(3, 150, "yza", 'M');
tblC.Rows.Add(4, 850, "ABC", 'N');
tblC.Rows.Add(5, 50, "CDE", 'O');

在MergeAll中使用DataTable.Merge后：

对MergeAll进行了一些修改，以连接行：

---

更新

由于这个问题在评论中出现，如果两个表之间唯一的关系是DataRow在表中的索引，并且您想按照索引合并两个表：

public static DataTable MergeTablesByIndex(DataTable t1, DataTable t2)
{
    if (t1 == null || t2 == null) throw new ArgumentNullException("t1 or t2", "Both tables must not be null");

    DataTable t3 = t1.Clone();  // first add columns from table1
    foreach (DataColumn col in t2.Columns)
    {
        string newColumnName = col.ColumnName;
        int colNum = 1;
        while (t3.Columns.Contains(newColumnName))
        {
            newColumnName = string.Format("{0}_{1}", col.ColumnName, ++colNum);
        }
        t3.Columns.Add(newColumnName, col.DataType);
    }
    var mergedRows = t1.AsEnumerable().Zip(t2.AsEnumerable(),
        (r1, r2) => r1.ItemArray.Concat(r2.ItemArray).ToArray());
    foreach (object[] rowFields in mergedRows)
        t3.Rows.Add(rowFields);

    return t3;
}

示例：

var dt1 = new DataTable();
dt1.Columns.Add("ID", typeof(int));
dt1.Columns.Add("Name", typeof(string));
dt1.Rows.Add(1, "Jon");
var dt2 = new DataTable();
dt2.Columns.Add("Country", typeof(string));
dt2.Rows.Add("US");

var dtMerged = MergeTablesByIndex(dt1, dt2);

结果表包含三列ID，Name，Country和一行数据：1 Jon US。

- Tim Schmelter

---

这是我在这个网站上收到的最好的答案。最终，我将DataTables写入了一个DataSet，并将其迭代到我的可视化容器中。但这种方法更好 - 非常感谢您的时间...祝一切顺利。 - MoonKnight

@Tim，我们能否在没有主键的情况下合并数据表？这是可能的吗？ - vinodh

@vinodh：这正是上述方法所做的。如果您有主键，只需使用DataTable.Merge即可。 - Tim Schmelter

@Tim.. 举个例子，如果Dt1包含{ id : 1, name : tim }，Dt2包含{ country : US }，我们能否合并成Dt3 { id 1, name tim, country US }？ - vinodh

问题很简单，如何将两个不同架构的数据表合并在一起？@tim，我很快会在问题中添加。谢谢您的回复。 - vinodh