.net 解决spider多次和重复抓取的方案
更新时间：2015年01月26日 16:47:14 投稿：hebedich
这篇文章主要介绍了.net 解决spider多次和重复抓取的解决方案,需要的朋友可以参考下
原因:
早期由于搜索引擎蜘蛛的不完善，蜘蛛在爬行动态的url的时候很容易由于网站程序的不合理等原因造成蜘蛛迷路死循环。
所以蜘蛛为了避免之前现象就不读取动态的url，特别是带？的url
解决方案:
1):配置路由
复制代码 代码如下:
routes.MapRoute("RentofficeList",
"rentofficelist/{AredId}-{PriceId}-{AcreageId}-{SortId}-{SortNum}.html",
new { controller = "Home", action = "RentOfficeList" },
new[] { "Mobile.Controllers" });
第一个参数是路由名称
第二个参数是路由的Url模式,参数之间用{}-{}方式分隔
第三个参数是一个包含默认路由的对象
第四个参数是应用程序的一组命名空间
2):设置连接
<a href="@Url.Action("RentofficeList",new RouteValueDictionary { { "AredId",0},{"PriceId",0},{"AcreageId",0},{"SortId",0},{"SortNum",0}})">默认排序</a>
对照上面的Url模式,依次写入参数赋值
3):获取参数
复制代码 代码如下:
int areaId = GetRouteInt("AredId");//获取参数
/// <summary>
/// 获得路由中的值
/// </summary>
/// <param name="key">键</param>
/// <param name="defaultValue">默认值</param>
/// <returns></returns>
protected int GetRouteInt(string key, int defaultValue)
{
return Convert.ToInt32(RouteData.Values[key], defaultValue);
}
/// <summary>
/// 获得路由中的值
/// </summary>
/// <param name="key">键</param>
/// <returns></returns>
protected int GetRouteInt(string key)
{
return GetRouteInt(key, 0);
}
根据上面3个步骤操作,显示的url地址为:
http://localhost:3841/rentofficelist/3-0-0-0-0.html
这样就可以避免静态页面上使用动态参数,显示的页面都为静态页面
您可能感兴趣的文章:
相关文章
对于学习asp.net的朋友能用的到2008-11-11
在.Net Framework应用中请求HTTP2站点的问题解析
随着各大浏览器支持和苹果的带头效应，HTTP2的应用会越来越广泛，但是规模庞大的.NET Framework应用却也不能为了连接HTTP2就升级到NET Core平台。通过本文提供的方案，可以最小成本的实现.NET Framework应用成功访问HTTP2站点，感兴趣的朋友跟随小编一起看看吧2022-07-07
Kong是一个Openrestry程序，而Openrestry运行在Nginx上，用Lua扩展了nginx。所以可以认为Kong = Openrestry + nginx + lua，这篇文章主要介绍了30分钟通过Kong实现.NET网关,需要的朋友可以参考下2021-11-11
JavaScript系列之―同步还是异步？...2007-03-03
asp.net(c#)动态修改webservice的地址和端口（动态修改配置文件）
这个问题其实并没有我想像的那个复杂，我们都知道怎么直接修改吧，那就是修改WebConfig文件的配置节2012-12-12
使用asp.net获取图片的高度跟宽度的实例代码2009-04-04
这篇文章主要介绍了asp.net类序列化生成xml文件的方法,结合实例形式较为详细的分析了asp.net序列化生成xml文件的具体步骤与相关实现技巧,需要的朋友可以参考下2015-11-11
Asp.net静态方法之Grid转DataTable方法实现步骤
GridView绑定DataTable后，如何获取GridView绑定后显示的值，在项目需求的背景下写了一个静态方法，经过在项目中的使用，bug的修复，较为稳定2013-04-04
asp.net Reporting Service在Web Application中的应用
由于我们这个项目中使用微软的报表服务(Reporting Services)作为报表输出工具，本人也对它进行一点点研究，虽没有入木三分，但这点知识至少可以在大部分Reporting Service的场景中应用。2008-11-11
DataTable添加列和行的方法,大家可以参考下下面的代码。2009-12-12
最新评论