Swoole MySQL Proxy :一个基于MySQL协议,Swoole开发的MySQL数据库连接池

SMProxy(Swoole MySQL Proxy)

Swoole MySQL Proxy(以下简称SMProxy)是一个基于 MySQL 协议,Swoole 开发的MySQL数据库连接池。

Swoole MySQL Proxy :一个基于MySQL协议,Swoole开发的MySQL数据库连接池

原理

将数据库连接作为对象存储在内存中,当用户需要访问数据库时,首次会建立连接,后面并非建立一个新的连接,而是从连接池中取出一个已建立的空闲连接对象。 使用完毕后,用户也并非将连接关闭,而是将连接放回连接池中,以供下一个请求访问使用。而连接的建立、断开都由连接池自身来管理。

同时,还可以通过设置连接池的参数来控制连接池中的初始连接数、连接的上下限数以及每个连接的最大使用次数、最大空闲时间等等。 也可以通过其自身的管理机制来监视数据库连接的数量、使用情况等。超出最大连接数会采用协程挂起,等到有连接关闭再恢复协程继续操作。

特性

  • 支持读写分离
  • 支持数据库连接池,能够有效解决 PHP 带来的数据库连接瓶颈
  • 支持 SQL92 标准
  • 采用协程调度
  • 支持多个数据库连接,多个数据库,多个用户,灵活搭配
  • 遵守 MySQL 原生协议,跨语言,跨平台的通用中间件代理
  • 支持 MySQL 事务
  • 支持 HandshakeV10 协议版本
  • 完美兼容 MySQL5.5 - 8.0
  • 兼容各大框架,无缝提升性能

设计初衷

PHP 没有连接池,所以高并发时数据库会出现连接打满的情况,Mycat 等数据库中间件会出现部分 SQL 无法使用,例如不支持批量添加等,而且过于臃肿。 所以就自己编写了这个仅支持连接池和读写分离的轻量级中间件,使用 Swoole 协程调度 HandshakeV10 协议转发使程序更加稳定,不用像 Mycat 一样解析所有 SQL 包体,增加复杂度。

SMProxy安装

环境

  • Swoole >= 2.1.3
  • PHP >= 7.0

直接下载(推荐)最新发行版的 PHAR 文件,解压即用:

https://github.com/louislivi/SMProxy/releases/latest

或者使用 Git 切换任意版本:

SMProxy运行

需要给予 bin/SMProxy 执行权限。

Options:

  • start 运行服务
  • stop 停止服务
  • restart 重启服务
  • status 查询服务运行状态
  • reload 平滑重启
  • -h --help 帮助
  • -v --version 查看当前服务版本
  • -c --config 设置配置项目录
  • --console 前台运行(SMProxy>=1.2.5)

SMProxy配置

  • 配置文件位于 smproxy/conf 目录中,其中大写 ROOT 代表当前 SMProxy 根目录。

database.json

  • maxConns,maxSpareConns,startConns
    • 推荐设置为server.json中配置的worker_num的倍数swoole_cpu_num()*N
  • 多个读库,写库
    • 目前采取的是随机获取连接,推荐将maxConnsstartConnsstartConns至少设置为max(读库,写库)*worker_num 的1倍以上
  • timeout
    • 设置2-5秒最佳。

server.json

  • user,password,port,host
    • SMProxy的账户|密码|端口|地址(非Mysql数据库账户|密码|端口|地址)
    • 可随意设置用于SMProxy登录验证
    • 例如默认配置登录为mysql -uroot -p123456 -P 3366 -h 127.0.0.1
    • SMProxy登录成功MySQL COMMIT会提示Server version: 5.6.0-SMProxy
  • worker_num
    • 推荐使用swoole_cpu_num() 或 swoole_cpu_num()*N

SMProxy路由

注解

  • smproxy:db_type=[read | write]
    • 强制使用读库/** smproxy:db_type=read */select * from user limit 1
    • 强制使用写库/** smproxy:db_type=write */select * from user limit 1

MySQL8.0

  • SMProxy1.2.4及以上可直接使用
  • SMProxy1.2.4以下需要做如下兼容处理:
    • MySQL-8.0默认使用了安全性更强的caching_sha2_password插件,其他版本如果是从5.x升级上来的, 可以直接使用所有MySQL功能, 如是新建的MySQL, 需要进入MySQL命令行执行以下操作来兼容:ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY 'password'; flush privileges;将语句中的 'root'@'%' 替换成你所使用的用户, password 替换成其密码.如仍无法使用, 应在my.cnf中设置 default_authentication_plugin = mysql_native_password

常见问题

  • SMProxy@access denied for user
    • 请检查serve.json中的账号密码与业务代码中配置的是否一致。
    • 数据库host请勿配置localhost
  • SMProxy@Database config dbname write is not exists!
    • 请将database.json中的dbname项改为你的业务数据库名。
  • Config serverInfo->*->account is not exists!
    • 请仔细比对database.jsondatabse->serverInfo->*->*->account是否在database->account下含有相对于的键值对。
  • Reach max connections! Cann't pending fetch!
    • 适当增加maxSpareConns或增加database.json中的timeout项。
  • Must be connected before sending data!
    • 检查MySQL是否有外网访问权限。
    • 检查MySQL验证插件是否为mysql_native_passwordcaching_sha2_password
    • 排查是否有服务冲突,推荐使用Docker进行运行排查环境问题。
  • Connection * waiting timeout
    • 检查MySQL是否有外网访问权限。
    • 启动出现数据库连接超时请检查数据库配置,若正常请降低startConns或增加database.json中的timeout项。
  • The server is not running
    • 查看SMProxy下的日志mysql.logsystem.log
    • 防止SMProxy异常退出,建议使用Supervisordocker进行服务挂载。
  • Supervisor || docker
    • 使用Supervisordocker时需要使用前台运行模式(v1.2.5+使用--console,否则使用daemonize参数)否则无法正常启动。
  • 502 Bad Gateway
    • MySQL异常崩溃后连接出现502或连接超时,请不要开启长连接模式。
    • SQL语句过大不要使用连接池,会导致连接阻塞,程序异常。
  • 启动SMProxy后CPU占用过高
    • 因Swoole4.2.12及以下未开启协程Client读写分离所以CPU占比会比较大。
    • 升级Swoole版本到4.2.13及以上并升级SMProxy版本到1.2.8及以上。

更多见文档:https://smproxy.louislivi.com/