c# 爬取优酷电影信息(1)

 更新时间:2021年02月26日 09:45:40   作者:三十三重天  
这篇文章主要介绍了c# 如何爬取优酷电影信息,帮助大家更好的理解和学习使用c#,感兴趣的朋友可以了解下

爬虫的制作主要分为三个方面
1、加载网页结构
2、解析网页结构,转变为符合需求的数据实体
3、保存数据实体(数据库,文本等)

在实际的编码过程中,找到了一个好的类库“HtmlAgilityPack”。
介绍:
官网:http://html-agility-pack.net/?z=codeplex
Html Agility Pack源码中的类大概有28个左右,其实不算一个很复杂的类库,但它的功能确不弱,为解析DOM已经提供了足够强大的功能支持,可以跟jQuery操作DOM媲美)
使用说明:
Html Agility Pack(XPath 定位),在实际使用过程中,发现有部分内容如果通过Css进行定位会比XPath更加方便,所以通过查找找到了另外一个CSS的解析了类库 ScrapySharp(Css 定位)

整理:
Nuget包需要引用的库
1、Html Agility Pack(XPath 定位)
2、ScrapySharp(Css 定位)

代码下载地址:

https://github.com/happlyfox/FoxCrawler

第一点——加载网页结构

Html Agility Pack封装了加载内容的方法,使doc.Load(arguments),具有多种重载方式,以下列举官网的三个实例

 /// <summary>
 /// 加载网页结构
 /// </summary>
 private static void LoadDocment()
 {
  // 从文件中加载
  var docFile = new HtmlDocument();
  docFile.Load("file path");

  // 从字符串中加载
  var docHtml = new HtmlDocument();
  docHtml.LoadHtml("html");

  // 从网站中加载
  var url = "http://html-agility-pack.net/";
  var web = new HtmlWeb();
  var docWeb = web.Load(url);
 }

第二点——解析网页结构,转变为符合需求的数据实体

 /// <summary>
 /// 解析网页结构
 /// </summary>
 private static YouKu ParsingWebStructure()
 {
 /*选用优酷片库列表
  地址:http://list.youku.com/category/show/c_96_s_1_d_1_p_{index}.html 
 */

 //首先加载web内容
 var url = "http://list.youku.com/category/show/c_96_s_1_d_1_p_1.html";
 var web = new HtmlWeb();
 var doc = web.Load(url);

 //输出WebHtml内容
 //Console.WriteLine(doc.DocumentNode.InnerHtml);

 /* HtmlAgilityPack 解析方式官网提供的有俩种示例*/
 //1、 With XPath	
 var value = doc.DocumentNode.SelectSingleNode("//*[@id='total_videonum']").Attributes["id"].Value;
 var resultCount = doc.DocumentNode.SelectSingleNode("//*[@id='total_videonum']").InnerText;

 Console.WriteLine($"id='{value}' 筛选结果:{resultCount}个");
 // 2、With LINQ	
 var linqNodes = doc.DocumentNode.SelectSingleNode("//*[@id='filterPanel']/div[2]/ul").Descendants("li").ToList();

 Console.WriteLine("电影产地:");
 List<string> videoCountry = new List<string>();
 foreach (var node in linqNodes)
 {
  videoCountry.Add(node.InnerText);
  Console.Write($"{node.InnerText} \t");
 }

 //3、使用ScrapySharp进行Css定位
 var cssNodes = doc.DocumentNode.CssSelect("#filterPanel > div > label");
 Console.WriteLine();

 List<string> videoType = new List<string>();
 foreach (var node in cssNodes)
 {
  videoType.Add(node.InnerText);
  Console.Write($"{node.InnerText} \t");
 }

 //构造实体
 YouKu model = new YouKu()
 {
  id = value,
  videoNum = int.Parse(resultCount),
  videoCountry = videoCountry,
  videoType = videoType
 };

 return model;
 }


public class YouKu
{
 public string id { get; set; }

 public int videoNum { get; set; }

 public List<string> videoCountry { get; set; }
 public List<string> videoType { get; set; }
}

第三点——保存数据实体,转变为符合需求的数据实体

 /// <summary>
 /// 保存数据实体
 /// </summary>
 private static void SavaData()
 {
 var model = ParsingWebStructure();
 var path = "youku.txt";

 if (!File.Exists(path))
 {
  File.Create(path);
 }

 File.WriteAllText(path, getJsonByObject(model));
 }

 private static string getJsonByObject(Object obj)
 {
 //实例化DataContractJsonSerializer对象,需要待序列化的对象类型
 DataContractJsonSerializer serializer = new DataContractJsonSerializer(obj.GetType());
 //实例化一个内存流,用于存放序列化后的数据
 MemoryStream stream = new MemoryStream();
 //使用WriteObject序列化对象
 serializer.WriteObject(stream, obj);
 //写入内存流中
 byte[] dataBytes = new byte[stream.Length];
 stream.Position = 0;
 stream.Read(dataBytes, 0, (int)stream.Length);
 //通过UTF8格式转换为字符串
 return Encoding.UTF8.GetString(dataBytes);
 }

第四点——main

 static void Main(string[] args)
 {
 ///爬虫的制作主要分为三个方面
 ///1、加载网页结构
 ///2、解析网页结构,转变为符合需求的数据实体
 ///3、保存数据实体(数据库,文本等)


 /*
  * 在实际的编码过程中,找到了一个好的类库“HtmlAgilityPack”。
  * 介绍:
  * 官网:http://html-agility-pack.net/?z=codeplex
  * Html Agility Pack源码中的类大概有28个左右,其实不算一个很复杂的类库,但它的功能确不弱,为解析DOM已经提供了足够强大的功能支持,可以跟jQuery操作DOM媲美)
  * 使用说明:
  * Html Agility Pack(XPath 定位),在实际使用过程中,发现有部分内容如果通过Css进行定位会比XPath更加方便,所以通过查找找到了另外一个CSS的解析了类库 ScrapySharp(Css 定位)
  * 整理:
  * Nuget包需要引用的库
  * 1、Html Agility Pack(XPath 定位)
  * 2、ScrapySharp(Css 定位)
  */


 //第一点——加载网页结构,Html Agility Pack封装了加载内容的方法,使用doc.Load(arguments),具有多种重载方式,以下列举官网的三个实例
 //LoadDocment();

 //第二点——解析网页结构,转变为符合需求的数据实体
 //ParsingWebStructure();

 //第三点——保存数据实体,转变为符合需求的数据实体
 SavaData();
 Console.Read();
 }

以上就是c# 爬取优酷电影信息(1)的详细内容,更多关于c# 爬取优酷电影信息的资料请关注脚本之家其它相关文章!

相关文章

  • C#采用OpenXml给Word文档添加表格

    C#采用OpenXml给Word文档添加表格

    这篇文章主要介绍了C#采用OpenXml给Word文档添加表格的方法,是OpenXml操作Word的一个非常实用的技巧,需要的朋友可以参考下
    2014-09-09
  • C#插入法排序算法实例分析

    C#插入法排序算法实例分析

    这篇文章主要介绍了C#插入法排序算法,实例分析了C#排序算法的实现技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-04-04
  • DevExpress实现根据行,列索引来获取RepositoryItem的方法

    DevExpress实现根据行,列索引来获取RepositoryItem的方法

    这篇文章主要介绍了DevExpress实现根据行,列索引来获取RepositoryItem的方法,需要的朋友可以参考下
    2014-08-08
  • 详解C#实现MD5加密的示例代码

    详解C#实现MD5加密的示例代码

    本篇文章主要介绍了C#实现MD5加密的示例代码,详细的介绍了几种方法,具有一定的参考价值,有兴趣的可以了解一下。
    2016-12-12
  • C#使用post发送和接收数据的方法

    C#使用post发送和接收数据的方法

    这篇文章主要介绍了C#使用post发送和接收数据的方法,涉及C#使用post收发数据的相关技巧,非常具有实用价值,需要的朋友可以参考下
    2015-04-04
  • C#中使用委托的3种方式代码示例

    C#中使用委托的3种方式代码示例

    这篇文章主要介绍了C#中使用委托的3种方式代码示例,本文直接给出代码实例,没有相关的说明解释,需要的朋友可以参考下
    2015-03-03
  • unity实现场景跳转

    unity实现场景跳转

    这篇文章主要为大家详细介绍了unity实现场景跳转,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-04-04
  • Unity接入百度AI实现果蔬识别

    Unity接入百度AI实现果蔬识别

    本文将介绍如何利用Unity接入百度AI从而实现果蔬识别,可以做到识别近千种水果和蔬菜的名称,可自定义返回识别结果数。感兴趣的小伙伴可以了解一下
    2022-02-02
  • C#网页跳转方法总结

    C#网页跳转方法总结

    这篇文章主要介绍了C#网页跳转方法总结的相关资料,需要的朋友可以参考下
    2015-12-12
  • C#请求http向网页发送接收数据的方法

    C#请求http向网页发送接收数据的方法

    这篇文章主要为大家详细介绍了C#请求http向网页发送数据、网页接收的方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-07-07

最新评论