脚本之家 服务器常用软件
快捷导航
您的位置：主页 > 源码下载 > 其它源码 >

Pholcus(幽灵蛛)爬虫软件 v1.2

  • 源码大小：6.7MB
  • 源码语言：简体中文
  • 源码类型：国产软件
  • 源码授权：免费软件
  • 源码类别：其它源码
  • 应用平台：Windows平台
  • 源码官网：
  • 更新时间：2016-09-28
  • 网友评分：
360通过 腾讯通过 金山通过

详情介绍

Pholcus（幽灵蛛）是一款纯Go语言编写的支持分布式的高并发、重量级爬虫软件，定位于互联网数据采集，为具备一定Go或JS编程基础的人提供一个只需关注规则定制的功能强大的爬虫工具。
它支持单机、服务端、客户端三种运行模式，拥有Web、GUI、命令行三种操作界面；规则简单灵活、批量任务并发、输出方式丰富（mysql/mongodb/csv/excel等）、有大量Demo共享；另外它还支持横纵向两种抓取模式，支持模拟登录和任务暂停、取消等一系列高级功能。
框架特点：
1、为具备一定Go或JS编程基础的用户提供只需关注规则定制、功能完备的重量级爬虫工具；
2、支持单机、服务端、客户端三种运行模式；
3、GUI(Windows)、Web、Cmd 三种操作界面，可通过参数控制打开方式；
4、支持状态控制，如暂停、恢复、停止等；
5、可控制采集量；
6、可控制并发协程数；
7、支持多采集任务并发执行；
8、支持代理IP列表，可控制更换频率；
9、支持采集过程随机停歇，模拟人工行为；
10、根据规则需求，提供自定义配置输入接口
11、有mysql、mongodb、csv、excel、原文件下载共五种输出方式；
12、支持分批输出，且每批数量可控；
13、支持静态Go和动态JS两种采集规则，支持横纵向两种抓取模式，且有大量Demo；
14、持久化成功记录，便于自动去重；
15、序列化失败请求，支持反序列化自动重载处理；
16、采用surfer高并发下载器，支持 GET/POST/HEAD 方法及 http/https 协议，同时支持固定UserAgent自动保存cookie与随机大量UserAgent禁用cookie两种模式，高度模拟浏览器行为，可实现模拟登录等功能；
17、服务器/客户端模式采用Teleport高并发SocketAPI框架，全双工长连接通信，内部数据传输格式为JSON。

下载地址

下载错误？【投诉报错】

Pholcus(幽灵蛛)爬虫软件 v1.2

      人气源码

      相关文章

      • LinkAndroid 全能手机连接助手 v0.1.0

        LinkAndroid是一个轻松连接安卓与电脑，畅享投屏、文件管理、应用管理、截屏、录屏、安装应用等一站式便捷体验，让工作更高效！欢迎需要的朋友下载使用...

      • PESCMS RENT房租管理系统 v1.0.0

        PESCMS RENT(下称PR)是一款基于GPLv2协议发布的开源房租管理系统，程序基于Golang + VUE3编写，欢迎需要的朋友下载使用...

      • ECHO个人博客主题网页模板 v1.0

        ECHO个人主题网页模板是一款适合个人图文写作与博客的主题。主题极简优雅，采用经典独特的三栏设计，保留线条和足够的留白，展现您文字、图片间的美...

      • 优雅草便民tools工具 v1.0.6

        优雅草便民工具--便民tools工具tools-前端已接数据，优雅草小工具-数据来自优雅草api赋能-优雅草便民工具是一款由成都市一颗优雅草科技有限公司打造的便民查询公益工具，欢...

      • 抖音热门短剧在线搜索引擎 v1.0

        一个非常哇塞的在线短剧搜索页面，接口已经对接好了，上传源码到服务器解压就能直接用，有能力的可以自己改接口自己写自己的接口...

      • 名扬银河企业建站源码 v2.0.2

        名扬银河企业建站系统，适用于无代码基础的新手，快速搭建企业网站，程序内置了多项实用功能及插件，能够便捷的对网站进行修改、调整、优化等方面进行操作...

      • AGECMS商业会云管理_电子名片 v1.0.1

        AGECMS商业会云管理电子名片是一款专为商务人士设计的全方位互动电子名片软件。它结合了现代商务交流的便捷性与高效性，通过数字化的方式，欢迎需要的朋友下载使用...

      • 帝国cms看雪时间轴博客趣静态模板 v1.0

        帝国cms看雪时间轴博客趣静态模板是一款女生唯美简洁个人博客静态页面模板，蓝色时间轴个人网页模板，下雪空间个人模板，喜欢的网友可以用开源程序帝国cms标签仿站建设...

      • Apache Superset数据探查与可视化平台 v3.1.2

        Superset可视化平台是Airbnb（知名在线房屋短租公司）开源的数据探查与可视化平台（曾用名 Panoramix、Caravel ），该工具在可视化、易用性和交互性上非常有特色...

      • Godot游戏引擎 v3.6

        Godot是一个全新开发的开源跨平台游戏引擎，其功能集类似知名的跨平台游戏引Unity，可用于开发PC、主机、移动和Web游戏。...

      下载声明

      ☉ 解压密码：www.jb51.net 就是本站主域名，希望大家看清楚，[ 分享码的获取方法 ]可以参考这篇文章
      ☉ 推荐使用 [ 迅雷 ] 下载，使用 [ WinRAR v5 ] 以上版本解压本站软件。
      ☉ 如果这个软件总是不能下载的请在评论中留言,我们会尽快修复，谢谢!
      ☉ 下载本站资源，如果服务器暂不能下载请过一段时间重试!或者多试试几个下载地址
      ☉ 如果遇到什么问题，请评论留言，我们定会解决问题，谢谢大家支持!
      ☉ 本站提供的一些商业软件是供学习研究之用，如用于商业用途，请购买正版。
      ☉ 本站提供的Pholcus(幽灵蛛)爬虫软件 v1.2资源来源互联网，版权归该下载资源的合法拥有者所有。