脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网站技巧 → 服务器 → nginx → nginx搭建creates.io镜像

使用nginx搭建creates.io镜像的教程详解

 更新时间：2023年12月26日 08:32:13   作者：Skyer119  
在Rust开发中,经常需要使用Cargo从crates.io下载依赖,而国内几乎没有好用的crates.io镜像,使用本文就来使用使用nginx搭建creates.io镜像吧

在Rust开发中，经常需要使用Cargo从crates.io下载依赖，而国内几乎没有好用的crates.io镜像，大多都只对crates.io-index和crates.io进行了镜像，而最重要的static.crates.io却没有镜像。迫不得已只能自己搭建。众所周知，Cargo下载依赖，实际分为三步：

  • 获取索引（Fetch index）
  • 查询下载路径（Redirect location）
  • 下载资源（*.crate文件）

因此，搭建crates.io镜像也需要分为三个模块：

  • crates.io-index
  • crates.io
  • static.crates.io

零、启用nginx的缓存功能

注：此处均为与搭建creates.io镜像相关的配置项

http {
  # 开启全局缓存，并配置存储路径(/var/lib/crates.io)和大小(32g)
  proxy_cache_path /var/lib/crates.io keys_zone=STATIC:100m levels=1:2 inactive=120h max_size=32g;
}

一、缓存creates.io

server {
  listen 7011;
  location / {
    proxy_pass https://crates.io;
    proxy_ssl_server_name on;
    proxy_buffering on;
    proxy_cache STATIC;
    proxy_cache_valid 301 302 307 308 72h;
    proxy_cache_valid any 10s;
    proxy_cache_revalidate on;
    proxy_cache_use_stale error timeout invalid_header updating http_500 http_502 http_503 http_504;
    proxy_redirect https://static.crates.io/ http://$host:7012/;
  }
}

此处，我们将http://localhost:7011反向代理到https://crates.io，并对结果进行缓存。其中状态码为301,302,307,308的缓存72小时，其余状态码缓存10秒。

二、缓存static.crates.io

server {
  listen 7012;
  location / {
    proxy_pass https://static.crates.io;
    proxy_ssl_server_name on;
    proxy_buffering on;
    proxy_cache STATIC;
    proxy_cache_valid 200 72h;
    proxy_cache_valid 400 502 504 10s;
    proxy_cache_valid any 1m;
    proxy_cache_revalidate on;
    proxy_cache_use_stale error timeout invalid_header updating http_500 http_502 http_503 http_504;
  }
}

此处，我们将http://localhost:7012反向代理到https://static.crates.io，并对结果进行缓存。

需要注意到在 缓存creates.io 部分，proxy_redirect参数，就是将原本重定向目标从https://static.crates.io/修改为http://$host:7012/

三、缓存creates.io-index

在前几步中，我们已经将一个creates.io镜像的内容部分搭建完毕，最后就是索引，众所周知，crates.io是使用git仓库 https://github.com/rust-lang/crates.io-index.git 作为官方索引的，因此我们只需要将这个仓库clone到本地

cd /home/ # 此处将索引clone到/home目录下
git clone https://github.com/rust-lang/crates.io-index.git

然后修改/home/crates.io-index/config.json，将https://crates.io修改为我们刚刚的代理地址http://localhost:7011，除了lo地址也可以用本机的其他ip地址。

sed -i 's+https://crates.io+http://localhost:7011+g' /home/crates.io-index/config.json

最后依然是nginx配置：

server {
  listen 7010;
  location /crates.io-index/ {
    root /home;
  }
}

以上，一个镜像源就配置完成啦~~~

四、在开发环境配置镜像源

修改HOME目录下的.cargo/config.toml文件（也可以是不带后缀名的config文件）如果没有就新建一个。

Linux/Unix系统为 $HOME/.carog/config.toml

Windows系统为 $USERPROFILE/.carog/config.toml

内容为：

[source.crates-io]
replace-with = 'local'
[source.local]
registry = "sparse+http://localhost:7010/crates.io-index/"

五、写在最后

目前能够找到的搭建creates.io镜像源的文章，全部都是使用基于git over https的传统方式，本篇文章则是采用最新的sparse稀疏索引方式，大幅加快获取包的速度，搭建过程更加便捷。

另外，对于索引的更新，可以通过shell脚本+crontab定时任务来完成自动更新：

#!/usr/bin/sh
cd /home/crates.io-index/
git pull

保存为/home/crates.io-index/update-index.sh，并添加执行权限：

chmod 755 /home/crates.io-index/update-index.sh

添加定时任务：

# crontab -e
0 * * * * /home/crates.io-index/update-index.sh > /home/crates.io-index/update-index.log 2>&1 &

到此这篇关于使用nginx搭建creates.io镜像的教程详解的文章就介绍到这了,更多相关nginx搭建creates.io镜像内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • 在Linux系统中将Redmine和SVN整合入Nginx的方法

    在Linux系统中将Redmine和SVN整合入Nginx的方法

    这篇文章主要介绍了在Linux系统中将Redmine和SVN整合入Nginx的方法,示例基于CentOS系统,并用到了Ruby脚本,需要的朋友可以参考下
    2015-06-06
  • nginx处理http请求实例详解

    nginx处理http请求实例详解

    这篇文章主要介绍了nginx处理http请求实例详解的相关资料,需要的朋友可以参考下
    2017-06-06
  • nginx部署前端post请求405 not allowed问题解决

    nginx部署前端post请求405 not allowed问题解决

    在配置前端项目的时候遇到了一个post请求405 not allowed,简单记录一下如何配置,这篇文章主要给大家介绍了关于nginx部署前端post请求405 not allowed问题解决方法,需要的朋友可以参考下
    2023-09-09
  • 使用nginx实现分布式限流的方法

    使用nginx实现分布式限流的方法

    一般对外暴露的系统,在促销或者黑客攻击时会涌来大量的请求,为了保护系统不被瞬间到来的高并发流量给打垮, 就需要限流。接下来通过本文给大家分享使用nginx实现分布式限流的方法,感兴趣的朋友跟随脚本之家小编一起学习吧
    2018-05-05
  • Nginx 跨域配置的具体实现

    Nginx 跨域配置的具体实现

    跨域资源共享是一种机制,本文主要介绍了Nginx 跨域配置的具体实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2024-09-09
  • Nginx配置之main events块使用示例详解

    Nginx配置之main events块使用示例详解

    这篇文章主要为大家介绍了Nginx配置之main events块使用示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2022-11-11
  • NGINX报错413 Request Entity Too Large的问题解决

    NGINX报错413 Request Entity Too Large的问题解决

    Nginx 413错误表示请求实体太大,本文主要介绍了NGINX报错413 Request Entity Too Large的问题解决,具有一定的参考价值,感兴趣的可以了解一下
    2024-08-08
  • nginx代理参数proxy_pass的实现

    nginx代理参数proxy_pass的实现

    proxy_pass参数用于配置反向代理,本文主要介绍了nginx代理参数proxy_pass的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2024-04-04
  • nginx proxy_set_header设置自定义header的实现步骤

    nginx proxy_set_header设置自定义header的实现步骤

    在Nginx中,使用 proxy_set_header指令可以自定义header并在反向代理时传递到后端服务器,本文就来详细的介绍一下,具有一定的参考价值,感兴趣的可以了解一下
    2024-05-05
  • 详解Nginx服务器中的日志相关配置

    详解Nginx服务器中的日志相关配置

    这篇文章主要介绍了详解Nginx服务器中的日志相关配置,Nginx是拥有高性能的异步非阻塞型服务器,需要的朋友可以参考下
    2015-08-08

最新评论