脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → linux shell → Linux Shell中curl和wget用代理IP

Linux Shell中curl和wget使用代理IP的方法教程

 更新时间：2017年08月13日 14:06:54   作者：mimvp  
这篇文章主要给大家介绍了关于在Linux Shell中curl和wget使用代理IP的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面跟着小编来一起学习学习吧。

前言

大家都知道，在Linux Shell中提供两个非常实用的命令来爬取网页，它们分别是 curl 和 wget，本文将给大家详细介绍关于在Linux Shell中curl和wget使用代理IP的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看吧。

curl 和 wget 使用代理

  • curl 支持 http、https、socks4、socks5
  • wget 支持 http、https

代理示例：

#!/bin/bash
#
# curl 支持 http、https、socks4、socks5
# wget 支持 http、https
#
# 米扑代理示例：
# http://proxy.mimvp.com/demo2.php
#
# 米扑代理购买：
# http://proxy.mimvp.com
#
# mimvp.com
# 2015-11-09
 
 
# http代理格式   http_proxy=http://IP:Port
# https代理格式   https_proxy=http://IP:Port
 
{'http': 'http://120.77.176.179:8888'}
curl -m 30 --retry 3 -x http://120.77.176.179:8888 http://proxy.mimvp.com/exist.php     # http_proxy
wget -T 30 --tries 3 -e "http_proxy=http://120.77.176.179:8888" http://proxy.mimvp.com/exist.php   # http_proxy
 
{'https': 'http://46.105.214.133:3128'}
curl -m 30 --retry 3 --proxy-insecure -x http://46.105.214.133:3128 -k https://proxy.mimvp.com/exist.php     # https_proxy
wget -T 30 --tries 3 --no-check-certificate -e "https_proxy=http://46.105.214.133:3128" https://proxy.mimvp.com/exist.php # https_proxy
 
  
# curl 支持socks
{'socks4': '101.255.17.145:1080'}
curl -m 30 --retry 3 --socks4 101.255.17.145:1080 http://proxy.mimvp.com/exist.php
  
{'socks5': '82.164.233.227:45454'}
curl -m 30 --retry 3 --socks5 82.164.233.227:45454 http://proxy.mimvp.com/exist.php
 
 
# wget 不支持socks

wget 配置文件设置代理

vim ~/.wgetrc
 
http_proxy=http://120.77.176.179:8888:8080
https_proxy=http://12.7.17.17:8888:8080
use_proxy = on
wait = 30
 
wget -T 30 --tries 3 http://proxy.mimvp.com

Shell 设置临时局部代理

# proxy no auth
export http_proxy=http://120.77.176.179:8888:8080
export https_proxy=http://12.7.17.17:8888:8080
 
# proxy auth
export http_proxy=http://username:password@120.77.176.179:8888:8080
export https_proxy=http://username:password@12.7.17.17:8888:8080
 
 
# 取消设置
unset http_proxy
unset https_proxy

Shell 设置系统全局代理

# 修改 /etc/profile，保存并重启服务器
sudo vim /etc/profile  # 所有人有效
或
sudo vim ~/.bashrc  # 所有人有效
或
vim ~/.bash_profile  # 个人有效
  
  
# proxy no auth
export http_proxy=http://120.77.176.179:8888:8080
export https_proxy=http://12.7.17.17:8888:8080
 
# proxy auth
export http_proxy=http://username:password@120.77.176.179:8888:8080
export https_proxy=http://username:password@12.7.17.17:8888:8080
 
source /etc/profile
或
source ~/.bashrc
或
source ~/.bash_profile
 
 
sudo reboot

米扑代理示例

米扑代理示例，包含Python、Java、PHP、C#、Go、Perl、Ruby、Shell、NodeJS、PhantomJS、Groovy、Delphi、易语言等十多种编程语言或脚本，通过大量的可运行实例，详细讲解了使用代理IP的正确方法，方便网页爬取、数据采集、自动化测试等领域。

米扑代理示例，测试使用的代理IP，全部来自于米扑代理，其覆盖120多个国家，中国34个省市，支持http、https、socks4、socks5等

米扑代理示例官网 ：http://proxy.mimvp.com/demo2.php

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流，谢谢大家对脚本之家的支持。

您可能感兴趣的文章:

相关文章

  • linux shell 解析命令行参数及while getopts用法小结

    linux shell 解析命令行参数及while getopts用法小结

    这篇文章主要介绍了linux shell 解析命令行参数及while getopts用法,getpots是Shell命令行参数解析工具，旨在从Shell Script的命令行当中解析参数，本文给大家介绍的非常详细，感兴趣的朋友一起看看吧
    2022-05-05
  • VPS自动备份数据库到FTP的脚本代码

    VPS自动备份数据库到FTP的脚本代码

    示例的文件目录结构：我在/home下操作，自动脚本名称为backup.sh（放置于/home目录下），VPS本地本分目录为/home/backup
    2013-01-01
  • shell脚本实现批量测试局域网主机是否在线

    shell脚本实现批量测试局域网主机是否在线

    这篇文章主要介绍了shell脚本实现批量测试局域网主机是否在线,效果是：主机在线显示绿色,主机离线显示红色结果,需要的朋友可以参考下
    2014-12-12
  • shell脚本实战-while循环语句

    shell脚本实战-while循环语句

    这篇文章主要介绍了shell脚本实战-while循环语句，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-12-12
  • 详解linux命令useradd添加用户

    详解linux命令useradd添加用户

    这篇文章主要介绍了linux命令useradd添加用户的相关知识，本文通过应用实例代码给大家详细介绍,需要的朋友可以参考下
    2018-10-10
  • unix编程创建前缀固定的临时文件代码分享

    unix编程创建前缀固定的临时文件代码分享

    unix编程创建一个前缀固定的临时文件,实现功能：创建一个临时文件，并返回其文件描述符
    2013-12-12
  • Shell 命令启动Docker Container的实现

    Shell 命令启动Docker Container的实现

    本文主要介绍了Shell 命令启动Docker Container的实现，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2022-02-02
  • Linux进程间通信——使用流套接字

    Linux进程间通信——使用流套接字

    本篇文章将会简单地讲述如何使用socket进行简单的网络编程。具有很好的参考价值。下面跟着小编一起来看下吧
    2017-04-04
  • shell中如何使用date获取时间戳

    shell中如何使用date获取时间戳

    这篇文章主要介绍了shell中如何使用date获取时间戳,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2023-09-09
  • Shell中比较大小简洁总结

    Shell中比较大小简洁总结

    这篇文章主要介绍了Shell中比较大小简洁总结,本文总结了在shell中比较变量大小的一些方法,需要的朋友可以参考下
    2014-12-12

最新评论