C#高效比较两个DataTable数据差异化的方法实现

 更新时间:2022年05月18日 15:11:07   作者:涛神-DevExpress资深开发者  
本文主要介绍了C#高效比较两个DataTable数据差异化的方法实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

假如有两个DataTable表格分别是dt1,dt2,dt2中有些数据跟dt1一样,现在想找出dt2的数据在dt1中不存在的数据集(换句话也可以说dt2删除已经存在于dt1中的数据),传统思想可能直接用循环找差异,这种是非常低效的做法,数据量少无所谓,数据量大,简直要了程序猿老命,既然直接循环查找不可取,那么有没有高效一点的做法呢(废话,凑数字用,当然是有了),C# linq 中IEnumerable 提供了Expect(差集)的方法,众所周知,DataTable提供了AsEnumerable()的转换方法,能把DataTable转成IEnumerable<DataRow>,这样我们就能linq 来处理DataTable了,如果dt1和dt2的结构相同,则可以直接dt2.AsEnumerable().Expect(dt1.AsEnumerable())来获得两个表格的差异,当然这个结果的返回是一个IEnumerable<DataRow>,如果想要一个DataTable结果,可以直接调用方法CopyToDataTable()(该方法调用之前需要判断结果集是否没有数据,没有数据会报错)

var list=dt2.AsEnumerable().Except(dt1.AsEnumerable());
DataTable resultDt;
if(list.Count()>0)
    resultDt=list.CopyToDataTable();
else
    resultDt=dt2.Clone();//克隆个结构;

如果dt1,dt2的结构不一样,那么就不能直接用Except方法来处理了,这里我的建议是用linq中的join方法,先把dt1,dt2两个表做一个内连接的关联处理,找出dt2跟dt1相同的部分,然后再利用dt2跟dt2于dt1相同的部分做一次差集处理,就能得出dt2和dt1的差集,直接上代码,代码演示用的是linqpad工具,其中的Dump方法是用来输出打印的,vs调试的话,请自行修改成Console,测试数据用了50w,60w如果单靠差集处理,是秒级别

void Main()
{
	Stopwatch sw = new Stopwatch();
	sw.Start();
	var dt1 = CreateDt(500000, 3);
	var dt2 = CreateDt(600000, 5);
	sw.Stop();
	sw.Elapsed.Dump("生成两个表的时间");
	
	sw.Restart();
	//dt2.AsEnumerable().Except(dt1.AsEnumerable());//如果表格表的结构相同,则直接差集处理得出结果
	var dt = dt2.AsEnumerable().Join(dt1.AsEnumerable(), p => p[0], p => p[0], (p, q) => p);//内连接,查询两个表格相同部分,再利用相同部分做差集处理得出结果就是dt2在dt1中的差集
	var result = dt2.AsEnumerable().Except(dt).ToList();
	sw.Stop();
	result.Count.Dump("差集结果条数");
	sw.Elapsed.Dump("查询差异的时间");
	sw.Restart();
	DataTable resultDt;
	if (result.Count() > 0)
	resultDt = result.CopyToDataTable();
	else
		resultDt = dt2.Clone();
	
	sw.Stop();
	sw.Elapsed.Dump("转成DataTable耗时:");
 
}
DataTable CreateDt(int row, int count)
{
	var dt = new DataTable();
	for (int i = 0; i < count; i++)
		dt.Columns.Add("col" + i);
	var rnd = new Random();
	for (int i = 0; i < row; i++)
	{
		var num = rnd.Next(0, row);
		dt.Rows.Add(dt.Columns.Cast<DataColumn>().Select(p => p.ColumnName + num).ToArray());
	}
	return dt;
}

 结果图:

从结果上看,关联和差异处理共耗时1秒左右,这个速度还是能接受的

到此这篇关于C#高效比较两个DataTable数据差异化的方法实现的文章就介绍到这了,更多相关C# 两个DataTable数据差异化内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • C#、ASP.NET通用扩展工具类之LogicSugar

    C#、ASP.NET通用扩展工具类之LogicSugar

    这篇文章主要介绍了C#、ASP.NET通用扩展工具类之LogicSugar,本文直接给出实现代码和使用方法示例,需要的朋友可以参考下
    2015-06-06
  • Unity实现局域网聊天室功能

    Unity实现局域网聊天室功能

    这篇文章主要为大家详细介绍了Unity实现局域网聊天室功能,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-10-10
  • Unity Shader实现径向模糊效果

    Unity Shader实现径向模糊效果

    这篇文章主要为大家详细介绍了Unity Shader实现径向模糊效果,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-08-08
  • ToLua框架下C#与Lua代码的互调操作

    ToLua框架下C#与Lua代码的互调操作

    这篇文章主要介绍了ToLua框架下C#与Lua代码的互调操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-11-11
  • 时间字符串转换成日期对象datetime的方法

    时间字符串转换成日期对象datetime的方法

    在遇到形如"2012-12-19T17:00:00Z"这样的时间字符串时,怎样转换到DateTime类型呢,下面的方法可以解决
    2013-12-12
  • c#批量上传图片到服务器示例分享

    c#批量上传图片到服务器示例分享

    这篇文章主要介绍了c#批量上传图片到服务器示例,服务器端需要设置图片存储的虚拟目录,需要的朋友可以参考下
    2014-03-03
  • C#绘制实时曲线的方法

    C#绘制实时曲线的方法

    这篇文章主要为大家详细介绍了C#绘制实时曲线的方法,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-02-02
  • C#自写的一个HTML解析类(类似XElement语法)

    C#自写的一个HTML解析类(类似XElement语法)

    这篇文章主要介绍了C#自写的一个HTML解析类(类似XElement语法),本文给出了实现代码和使用实例,同时给出了测试HTML实例,需要的朋友可以参考下
    2015-06-06
  • .net2.0+ Winform项目实现弹出容器层

    .net2.0+ Winform项目实现弹出容器层

    在实际工作中,如果能像菜单一样弹出自定义内容,会方便很多,比如查询时,比如下拉列表显示多列信息时,比如在填写某个信息需要查看一些信息树时。这个时候自定义弹出界面就显的非常重要了
    2015-08-08
  • 详细聊聊如何在C#循环中捕获局部变量

    详细聊聊如何在C#循环中捕获局部变量

    这篇文章主要给大家介绍了关于如何在C#循环中捕获局部变量的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2021-09-09

最新评论