设为首页 - 加入收藏 济南站长网(0531Zz.Com)- 致力服务于广大站长和网站的信息交流平台,第一时间呈现最新最快捷的互联网资讯!
热搜: Linu 手机 百度
当前位置: 首页 > 站长学院 > MySql教程 > 正文

MySQL云数据库服务的架构探索

发布时间:2016-08-06 13:24 所属栏目:[MySql教程] 来源:站长网
导读:MySQL作为一种低成本、高性能、可靠性良好而且开源的数据库产品,在互联网企业中应用非常广泛。例如,淘宝网就有数千台MySQL服务器。虽然近两年来NoSQL的发展很
MySQL作为一种低成本、高性能、可靠性良好而且开源的数据库产品,在互联网企业中应用非常广泛。例如,淘宝网就有数千台MySQL服务器。虽然近两年来NoSQL的发展很快,新产品层出不穷,但在业务中应用NoSQL对开发者来说要求比较高,而MySQL拥有成熟的中间件、运维工具, 已经形成一个良性的生态圈。因此,在现阶段的应用中仍然以MySQL为主,NoSQL为辅。

在过去一年里,我们在MySQL托管平台方向做了大量工作,设计和实现了一套UMP(Unified MySQL Platform)系统,提供低成本和高性能的MySQL云数据库服务。开发者从平台上申请MySQL实例资源,通过平台提供的单一入口来访问数据。UMP系统内部维护和管理资源池,以透明的形式提供主从热备、数据备份、迁移、容灾、读写分离和分库分表等一系列服务。平台通过在一台物理机上运行多个MySQL实例的方式来降低成本,并且实现了资源隔离,按需分配和限制CPU、内存和I/O资源,同时在不影响提供数据服务的前提下,支持根据用户业务的发展来动态扩容和缩容。

架构的演变

UMP系统第一版基于MySQL Proxy 0.8版修复了若干Bug,并对Proxy插件中管理用户连接和数据库连接的状态机流程进行了修改;编写了Lua脚本实现到中心数据库获取用户认证信息和后台数据库地址,来对用户进行验证;建立了到后台数据库的连接和转发数据包等逻辑(如图1所示)。

MySQL云数据库服务的架构探索

图1 UMP系统的第一版(当时称作RDS系统)采用MySQL Proxy

在开发和部署第一版的过程中,我们逐渐认识到几个问题。

首先,MySQL Proxy 0.8版对多线程的支持比较简单粗暴,多个工作线程共享同一个消息队列,同时监听着同一个socketpair通道。当有新事件进入消息队列后,socketpair会被写入一个字节,所有休眠中的线程都会被唤醒,去竞争一个互斥锁从消息队列中取任务。这种实现有几个问题:一是造成“惊群”现 象,多个线程被唤醒但只有一个线程需要去完成任务;二是任务的CPU亲缘性比较差,在同一个状态机上触发的事件会在多个处理器上来回切换执行。此外,MySQL Proxy中还使用了全局Lua锁,同时仅允许一个工作线程执行Lua脚本(计划在0.9版本中改进)。因此,在多线程模式下,MySQL Proxy的性能远不能同CPU核数保持线性增长,甚至在16核上的性能还不如4核。而使用单进程模式时,一台物理机上需要部署多个进程才能有效利用机器的处理能力,但给部署、监控和服务的升级带来麻烦。

其次,由于MySQL Proxy的框架在功能上不容易扩展,所以实现用户的连接数限制、QPS限制及主从切换、读写分离、分库分表等功能比较困难。

最后,MySQL Proxy的社区近些年并不活跃,且C语言对开发者功底的要求比较高,很难要求团队所有成员协同开发出兼顾优雅和正确性的代码。

因此,我们决定用Erlang语言重新编写Proxy服务器,替换了原有的MySQL Proxy模块。目前,整个项目拥有5万行Erlang源码,3万行C/C++源码,2万行其他语言源码。

为什么选择Erlang语言

Erlang是一个结构化的、动态的、函数式的编程语言。常见的一种说法是Erlang是面向并发的(Concurrent-Oriented),这主要指Erlang在语言中定义了Erlang进程的概念和行为(本文中提到的“Erlang进程”都是指Erlang语言中定义的进程,以区分于大家熟悉的操作系统进程)。与操作系统的进程/线程相比,Erlang进程同样是并发执行的单位,但特别轻量级,它是在Erlang虚拟机内管理和调度的“绿进程”, 即用户态进程(如图2所示)。举个例子,在关闭了HiPE和SMP支持的Erlang虚拟机中,一个新创建的进程占用的内存仅为309个字 (Word,64位服务器上为8个字节)。其中233个字为堆空间(包含栈),创建和结束一个进程约耗时1~3微秒,而一个Erlang虚拟机中可以同时支持几十万甚至更多个进程。

MySQL云数据库服务的架构探索

图2 Erlang的轻量级进程

(编辑:济南站长网 0531Zz.Com)

网友评论
推荐文章