Linq利用Distinct去除重复项问题(可自己指定)

 更新时间:2023年01月24日 13:31:05   作者:MrCui.  
这篇文章主要介绍了Linq利用Distinct去除重复项问题(可自己指定),具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

Linq利用Distinct去除重复项

添加一个扩展方法

public static IEnumerable<TSource> DistinctBy<TSource, TKey> (this IEnumerable<TSource> source, Func<TSource, TKey> keySelector)
{
    HashSet<TKey> seenKeys = new HashSet<TKey>();
    foreach (TSource element in source)
    {
        if (seenKeys.Add(keySelector(element)))
        {
            yield return element;
        }
    }
}

使用方法如下(针对ID,和Name进行Distinct)

var query = people.DistinctBy(p => new { p.Id, p.Name });

若仅仅针对ID进行distinct:

var query = people.DistinctBy(p => p.Id);

Linq利用Except去除重复数据并返回唯一数据(IEqualityComparer扩展)

前段时间做一个项目就是定时下载节目列表进行对文件时间和名字进行新旧对比进行去重复,众所周知,我们在Linq中去重复数据都用Distinct()做。

但如果想多个条件进行对比去除重复数据,我们应该怎么办呢?

请看下文,利用Except (通过使用默认的相等比较器对值进行比较,生成两个序列的差集。)

  //
        // 摘要:
        //     通过使用默认的相等比较器对值进行比较,生成两个序列的差集。
        //
        // 参数:
        //   first:
        //     System.Collections.Generic.IEnumerable`1 也不是在其元素 second 将返回。
        //
        //   second:
        //     System.Collections.Generic.IEnumerable`1 同时出现在第一个序列的元素将导致从返回的序列中移除这些元素。
        //
        // 类型参数:
        //   TSource:
        //     输入序列中的元素的类型。
        //
        // 返回结果:
        //     包含这两个序列的元素的差集的序列。
        //
        // 异常:
        //   T:System.ArgumentNullException:
        //     first 或 second 为 null。
        public static IEnumerable<TSource> Except<TSource>(this IEnumerable<TSource> first, IEnumerable<TSource> second);

示例:

public class ChannelTvListInfo
    {
        public string TVName { get; set; } //节目列表名字
        public string LastWriteTime { get; set; }//最后编辑文件时间
    }
private List<ChannelTvListInfo> lstNewTvInfo, lstOldTvInfo = new List<ChannelTvListInfo>();
		private void button3_Click(object sender, EventArgs e)
		{       //通过下载后与定时下载的目录文件进行名字及最后编辑文件的时间进行对比更新
			lstNewTvInfo = listFTPFiles("60.208.140.xxx", "", "");
			DirectoryInfo TheFolder = new DirectoryInfo(@"D:\ChannelTvXML\");
			foreach (FileInfo NextFile in TheFolder.GetFileSystemInfos())
			{
				lstOldTvInfo.Add(new ChannelTvListInfo { TVName = NextFile.Name, LastWriteTime = 
NextFile.LastWriteTime.ToString("yyyy/MM/dd hh:mm tt") });
			}
			
		}
		public List<ChannelTvListInfo> listFTPFiles(string FTPAddress, string username, string password)
		{
			List<ChannelTvListInfo> listinfo = new List<ChannelTvListInfo>();
			using (FtpConnection ftp = new FtpConnection(FTPAddress, username, password))
			{
				ftp.Open();
				ftp.Login();
				foreach (var file in ftp.GetFiles("/"))
				{
					listinfo.Add(new ChannelTvListInfo
					{
						TVName = file.Name,
						LastWriteTime = Convert.ToDateTime(file.LastWriteTime).ToString("yyyy/MM/dd hh:mm tt")
					});
				}
				ftp.Dispose();
				ftp.Close();
			}
			return listinfo;
		}

效果图

1:自动从FTP目录下载下来的xml 节目列表:

2:从上一个时间段自动下来的存放的目录获取文件列表

或者新旧List列表中的 差异节目列表方法:

var result = lstNewTvInfo.Except(lstOldTvInfo.Where(x=>x.TVName.Contains("四川")), new ProductComparer()).ToList();

以下示例显示如何实现可在Distinct <TSource>方法中使用的等式比较器。

	public class ProductComparer : IEqualityComparer<ChannelTvListInfo>
	{
		// Products are equal if their names and product numbers are equal.
		public bool Equals(ChannelTvListInfo x, ChannelTvListInfo y)
		{
 
			//Check whether the compared objects reference the same data.
			if (Object.ReferenceEquals(x, y)) return true;
 
			//Check whether any of the compared objects is null.
			if (Object.ReferenceEquals(x, null) || Object.ReferenceEquals(y, null))
				return false;
 
			//Check whether the products' properties are equal.
			return x.TVName == y.TVName && x.LastWriteTime == y.LastWriteTime;
		}
 
		// If Equals() returns true for a pair of objects 
		// then GetHashCode() must return the same value for these objects.
 
		public int GetHashCode(ChannelTvListInfo product)
		{
			//Check whether the object is null
			if (Object.ReferenceEquals(product, null)) return 0;
 
			//Get hash code for the Name field if it is not null.
			int hashProductName = product.TVName == null ? 0 : product.TVName.GetHashCode();
 
			//Get hash code for the Code field.
			int hashProductCode = product.LastWriteTime.GetHashCode();
 
			//Calculate the hash code for the product.
			return hashProductName ^ hashProductCode;
		}
 
	}

最终返回结果就是有差异的

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Unity实现菜品识别的示例代码

    Unity实现菜品识别的示例代码

    这篇文章主要介绍了如何通过Unity实现菜品识别,可以准确识别图片中的菜品名称、位置、卡路里信息,并获取百科信息。感兴趣的小伙伴可以了解一下
    2022-02-02
  • C# 如何设置label(标签)控件的背景颜色为透明

    C# 如何设置label(标签)控件的背景颜色为透明

    这篇文章主要介绍了C# 如何设置label(标签)控件的背景颜色为透明,帮助大家更好的理解和使用c#,感兴趣的朋友可以了解下
    2020-10-10
  • Unity3d 使用Gizmos画一个圆圈

    Unity3d 使用Gizmos画一个圆圈

    这篇文章主要介绍了Unity3d 使用Gizmos画一个圆圈的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-04-04
  • c# 成员类型访问权限低于字段本身的实现

    c# 成员类型访问权限低于字段本身的实现

    本文主要介绍了c# 成员类型访问权限低于字段本身的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-02-02
  • C# 使用模式匹配的好处总结

    C# 使用模式匹配的好处总结

    模式匹配的这些用途展示了它在简化代码、提高可读性和灵活处理不同类型和条件的强大能力,随着C#语言的发展,模式匹配的功能和应用场景将会进一步扩展和深化,这篇文章主要介绍了C# 使用模式匹配的好处,需要的朋友可以参考下
    2024-07-07
  • C++中#include头文件的示例详解

    C++中#include头文件的示例详解

    在C++中,所有的文件操作,都是以流(stream)的方式进行的,fstream也就是文件流file stream。这篇文章主要介绍了C++中#include头文件,需要的朋友可以参考下
    2020-02-02
  • C#文件下载实例代码(适用于各个浏览器)

    C#文件下载实例代码(适用于各个浏览器)

    本文给大家分享一段实例代码关于css实现文件下载功能,需要的的朋友参考下吧
    2017-05-05
  • C#实现图片切割、切图、裁剪

    C#实现图片切割、切图、裁剪

    这篇文章主要为大家详细介绍了C#实现图片切割、切图、裁剪,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-01-01
  • C#中委托和事件的区别详解

    C#中委托和事件的区别详解

    C# 中的委托(Delegate)类似于 C 或 C++ 中函数的指针。事件是在委托类型变量前加上 event 关键字,其本质是用来对委托类型的变量进行封装,类似于类的属性对字段的封装。本文就来聊聊C#中委托和事件的区别,感兴趣的可以了解一下
    2022-11-11
  • C#多线程编程详解

    C#多线程编程详解

    C#提供了丰富的多线程操作,为编程带来了极大的便利,但如果使用不当也会带来各种各样的麻烦。本篇文章主要介绍了C#多线程,有需要的可以了解一下。
    2016-11-11

最新评论