Nginx反向代理和负载均衡

基本概念

负载均衡

负载均衡(Load Balance)是由多台服务器以对称的方式组成一个服务器集群,每台服务器都具有等价的地位,都可以单独对外提供服务而无须其他服务器的辅助。经过某种负载分管技术,将外部发送来的中央请求均匀分配到对称结构中的某一台服务器

代理

代理(英语:Proxy)也称网络代理,是一种特殊的网络服务,允许一个终端(一般为客户端)通过这个服务与另一个终端(一般为服务器)进行非直接的连接。通常指的事代理服务器。现实中的例子, 从A地到B地,由于某些原因无法直接到达,需要经过C中转。C就是代理,可以理解为中转站。

维基百科 百度百科

正向代理

正向代理(forward proxy):是一个位于客户端和目标服务器之间的服务器(代理服务器),为了从目标服务器取得内容,客户端向代理服务器发送一个请求并指定目标,然后代理服务器向目标服务器转交请求并将获得的内容返回给客户端。

正向代理,其实是”代理服务器”代理了”客户端”,去和”目标服务器”进行交互。科学上网的代理就是正向代理。

正向代理一般是客户端架设的,比如在自己的机器上安装一个代理软件。

作用

突破访问限制

通过代理服务器,可以突破自身IP访问限制,访问国外网站,教育网等。

提高访问速度

通常代理服务器都设置一个较大的硬盘缓冲区,会将部分请求的响应保存到缓冲区中,当其他用户再访问相同的信息时, 则直接由缓冲区中取出信息,传给用户,以提高访问速度。

隐藏客户端真实IP

上网者也可以通过这种方法隐藏自己的IP,免受攻击。

反向代理

反向代理(reverse proxy):是指以代理服务器来接受internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给internet上请求连接的客户端,此时代理服务器对外就表现为一个反向代理服务器。

反向代理,其实是”代理服务器”代理了”目标服务器”,去和”客户端”进行交互。

反向代理一般是服务器架设的比如在自己的机器集群中部署一个反向代理服务器

作用

隐藏服务器真实IP

使用反向代理,可以对客户端隐藏服务器的IP地址。

负载均衡

反向代理服务器可以做负载均衡,根据所有真实服务器的负载情况,将客户端请求分发到不同的真实服务器上。

提高访问速度

反向代理服务器可以对于静态内容及短时间内有大量访问请求的动态内容提供缓存服务,提高访问速度。

提高访问速度

反向代理服务器可以对于静态内容及短时间内有大量访问请求的动态内容提供缓存服务,提高访问速度。

配置

反向代理

官方文档 ngx_http_proxy_module 此处为nginx 的http proxy代理模块

http代理完整的例子

server {
    listen 80;
    server_name proxy.stu;

    location / {
        proxy_http_version 1.1; //http版本
        proxy_set_header Host $http_host; // host主机
        proxy_set_header Scheme $scheme; //协议
        proxy_set_header SERVER_PORT $server_port; //端口
        proxy_set_header REMOTE_ADDR $remote_addr; //远程地址
        proxy_set_header Connection "keep-alive"; //链接类型keep-alive
        proxy_set_header X-Real-IP $remote_addr; // 获取真实ip
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;//通过该变量获取ip
        proxy_pass http://127.0.0.1:8080; //后端http服务地址
    }
}

websocket代理完整的例子

官方文档

//http模块
http {
  map $http_upgrade $connection_upgrade {
    default upgrade;
    ''      close;
  }

//server模块
server{
    location /ws
      {
         proxy_pass http://127.0.0.1:8282;
         proxy_http_version 1.1;
         proxy_set_header Upgrade $http_upgrade;
         proxy_set_header Connection "Upgrade";
         proxy_set_header X-Real-IP $remote_addr;
      }
  } 
}

参数解释

proxy_http_version

proxy_http_version 代理的http版本,官方文档写了只支持1.0,1.1 。 编译时添加http2,配置加入proxy_http_version 2,可以支持http2 。强烈不推荐使用。

http2解决的浏览器(客户端)和服务器之间链接问题,提高了性能。不适用于代理服务器和后端服务之间的通讯, 事情可能会因为HTTP2在后端的应用(单个TCP代替了多个TCP连接)变得更加糟糕.

来自知乎Twosee​ Swoole & PHP 开发组成员的答案

stack overflow 的答案

X-Real-IP $remote_addr与X-Forwarded-For $proxy_add_x_forwarded_for

Nginx 获取客户端真实IP $remote_addr与X-Forwarded-For,参数详细解释

proxy_pass

proxy_pass 代理的服务地址 支持unix socket 这种写法:

proxy_pass http://unix:/tmp/backend.socket:/uri/;

ngx_stream_proxy_module 支持代理 tcp udp data stream

负载均衡

相关参考

极客时间-nginx核心知识100讲-陶辉

一篇文章搞定 Nginx 反向代理与负载均衡

终于有人把正向代理和反向代理解释的明明白白了!

nginx系服务器笔记

nginx

官方文档

tengine

官方文档

nginx 一个fork,针对高性能负载网站做了优化,但是更新维护比较慢,跟不上nginx版本

openrestry

官方文档 官方博客 组件

是一个基于 Nginx 与 Lua 的高性能 Web 平台,其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。可以操作数据库。

OpenResty 用在 API 网关的开发上。如Orange、Kong、APISIX,他们都是实时、高性能的 API 网关,提供负载均衡、动态上游、灰度发布、服务熔断、身份认证、可观测性等丰富的流量管理功能。

 LuaJIT VM 嵌入到 Nginx 中,实现了 OpenResty 这个高性能服务端解决方案

区别

Nginx|OpenResty|Tengine–到底该爱谁

实用总结

如果不用lua模块,首先nginx官方版本.

nginx泛域名案例

nginx优化大文件下载

nginx安全指南

nginx常用功能配置

nginx反向代理负载均衡

如何实现给每个注册用户生成固定独立的URL地址

使用二级域名作为独立url, nginx使用通配符配置域名绑定

这种方案浪费域名资源

官方文档 https://nginx.org/en/docs/http/server_names.html

本地测试

host文件增加三个配置

127.0.0.1 abc.pan-domain.stu
127.0.0.1 efg.pan-domain.stu
127.0.0.1 yangliuan.pan-domain.stu

nginx配置

server {
    listen 80;
    #通配符绑定
    server_name *.pan-domain.stu;
    root /home/yangliuan/Code/Study/PHP/pan-domain;
    index index.php;

    location ~ [^/]\.php(/|$) {
        fastcgi_pass unix:/dev/shm/php-cgi.sock;
        fastcgi_index index.php;
        include fastcgi.conf;
    }

    location ~ ^/(\.user.ini|\.ht|\.git|\.svn|\.project|LICENSE|README.md) {
        deny all;
    }
}

测试结果

对其中一个域名yangliuan.pan-domain.stu 进行优先级测试,增加单独的站点配置和绑定,

server {
    listen 80;
    server_name yangliuan.pan-domain.stu;
    root /home/yangliuan/Code/Study/PHP/test;
    index index.php;

    location ~ [^/]\.php(/|$) {
        #fastcgi_pass remote_php_ip:9000;
        fastcgi_pass unix:/dev/shm/php-cgi.sock;
        fastcgi_index index.php;
        include fastcgi.conf;
    }

    location ~ ^/(\.user.ini|\.ht|\.git|\.svn|\.project|LICENSE|README.md) {
        deny all;
    }
}

结果如下

说明 server_name指令中 指定名称的优先级大于通配符

yangliuan.pan-domain.stu 的优先级大于 *.pan-domain.stu

如果云平台可以调用平台的域名解析接口,添加子域名解析 或者使用*.xxxx.com 泛域名解析

最简单实用的方案,给每个用户生成一个固定的独立子路由

  1. 使用用户昵称 命名
  1. 用户唯一标识 命名

GoAccess可视化实时监控nginx日志

参考

安装

参考文档

https://goaccess.io/download https://goaccess.io/get-started

ubuntu

sudo apt install goaccess

使用

终端试试显示

goaccess 日志文件路径 -c 
生成静态页显示
goaccess 日志文件路径 -o 报告html页面路径 --log-format=COMBINED

实时静态页显示

goaccess 日志文件路径 -o 报告html页面路径 --log-format=COMBINED --real-time-html

nohup 启动

nohup goaccess 日志文件路径 -o 报告html页面路径 --log-format=COMBINED --real-time-html 输出日志文件 2>&1 &

Nginx常用功能配置

缓存静态资源

location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|flv|mp4|ico)$ {
    expires 30d;
    access_log off;
}
location ~ .*\.(js|css)?$ {
    expires 7d;
    access_log off;
}

开启SSL

SSL http2

listen 443 http2;
ssl_certificate /usr/local/nginx/conf/ssl/xxx.pem;
ssl_certificate_key /usr/local/nginx/conf/ssl/xxx.key;
ssl_protocols TLSv1 TLSv1.1 TLSv1.2 TLSv1.3;
ssl_ciphers TLS13-AES-256-GCM-SHA384:TLS13-CHACHA20-POLY1305-SHA256:TLS13-AES-128-GCM-SHA256:TLS13-AES-128-CCM-8-SHA256:TLS13-AES-128-CCM-SHA256:EECDH+CHACHA20:EECDH+AES128:RSA+AES128:EECDH+AES256:RSA+AES256:EECDH+3DES:RSA+3DES:!MD5;
ssl_prefer_server_ciphers on;
ssl_session_timeout 10m;
ssl_session_cache builtin:1000 shared:SSL:10m;
ssl_buffer_size 1400;
add_header Strict-Transport-Security max-age=15768000;
ssl_stapling on;
ssl_stapling_verify on;

开启GZIP

gzip_module ngx_http_gzip_static_module

#Gzip                          Compression
gzip on;
gzip_buffers 16 8k;
gzip_comp_level 6;
gzip_http_version 1.1;
gzip_min_length 256;
gzip_proxied any;
gzip_vary on;
gzip_types
text/xml application/xml application/atom+xml application/rss+xml application/xhtml+xml image/svg+xml
text/javascript application/javascript application/x-javascript
text/x-json application/json application/x-web-app-manifest+json
text/css text/plain text/x-component
font/opentype application/x-font-ttf application/vnd.ms-fontobject
image/x-icon;
gzip_disable "MSIE [1-6]\.(?!.*SV1)";

重定向

http 跳转 https

if ($ssl_protocol = "") { return 301 https://$host$request_uri; }

非www 重定向到 www

if ($host != 'www.xxxx.com' ) {
   rewrite ^/(.*)$ https://www.xxxx.com/$1 permanent;
}

防盗链

ngx_http_referer_module ngx_http_secure_link_module

location ~ .*\.(wma|wmv|asf|mp3|mmf|zip|rar|jpg|gif|png|swf|flv|mp4)$ {
    valid_referers none blocked *.nginx.stu nginx.stu;
    if ($invalid_referer) {
        return 403;
    }
}

nginx 让users有权限启动的两种方法

普通用户在restart和reload nginx时,会报错:

nginx: [warn] the “user” directive makes sense only if the master process runs with super-user privileges, ignored in /usr/local/nginx/conf/nginx.conf:2

我又不能给开发人员root权限,没办法,只好这么做。

原因是:默认情况下Linux的1024以下端口是只有root用户才有权限占用

方法一:

所有用户都可以运行(因为是755权限,文件所有者:root,组所有者:root)

chown root.root nginx
chmod 755 nginx
chmod u+s nginx

方法二:

仅 root 用户和 wyq 用户可以运行(因为是750权限,文件所有者:root,组所有者:www)

chown root.www nginx
chmod 750 nginx
chmod u+s nginx

转载原文https://blog.csdn.net/yan7895566/article/details/79876059