注册 登录
> MySql

Amoeba For MySQL入门：实现数据库水平切分

系统 1708 0

      当系统数据量发展到一定程度后，往往需要进行数据库的垂直切分和水平切分，以实现负载均衡和性能提升，而数据切分后随之会带来多数据源整合等等问题。如果仅仅从应用程序的角度去解决这类问题，无疑会加重应用程度的复杂度，因此需要一个成熟的第三方解决方案。

Amoeba正是解决此类问题的一个开源方案，Amoeba位于应用程序和数据库服 务器之间，相当于提供了一个代理，使得应用程序只要连接一个Amoeba，相当于只是在操作一个单独的数据库服务器，而实际上却是在操作多个数据库服务 器，这中间的工作全部交由Amoeba去完成。

本文针对基于MySQL的水平切分的实现机制，讲解Amoeba For MySQL的简单应用。

 

一、背景介绍

使用数据库：MySQL

数据库节点1：127.0.0.1

数据库节点2：10.167.157.176

 

数据库名：yunzhu

切分的表：用户表（user_info）

切分的参数：用户ID（USERID）

 

切分规则：

用户ID小于等于100的数据存到数据库节点1，

用户ID大于100的数据存到数据库节点2

 

user_info表结构如下：

Sql代码  
  1. CREATE   TABLE  `user_info` (  
  2.     `USERID`  INT (10)  NOT   NULL   DEFAULT   '0' ,  
  3.     `USERNAME`  VARCHAR (50)  NULL   DEFAULT   NULL ,  
  4.      PRIMARY   KEY  (`USERID`)  
  5. )  

数据库节点1中user_info表中的数据：

+--------+-----------+ | USERID | USERNAME  | +--------+-----------+ |     73 | Chen Feng | |     88 | China     | +--------+-----------+

数据库节点1中user_info表中的数据：

+--------+----------+ | USERID | USERNAME | +--------+----------+ |    108 | Jiang Su | |    200 | NanJing  | +--------+----------+

 

Amoeba版本：

amoeba-mysql-binary-2.2.0

 

下载地址：

http://nchc.dl.sourceforge.net/project/amoeba/Amoeba%20for%20mysql/2.2.x/amoeba-mysql-binary-2.2.0.tar.gz

下载后直接解压即可使用

 

二、配置Amoeba

配置文件全部位于conf目录下

1、amoeba.xml

配置连接Amoeba程序的用户名和密码：

Xml代码  
  1. < property   name = "user" > root </ property >   
  2. < property   name = "password" > chenfeng123 </ property >   

2、dbServers.xml

先配置一个抽象的父节点，定义多个数据库节点的共通的信息，包括数据库节点的端口、schema、用户名和密码：

Xml代码  
  1. < dbServer   name = "abstractServer"   abstractive = "true" >   
  2.      < factoryConfig   class = "com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory" >   
  3.         ......  
  4.               
  5.          <!-- mysql port -->   
  6.          < property   name = "port" > 3306 </ property >   
  7.           
  8.          <!-- mysql schema -->   
  9.          < property   name = "schema" > yunzhu </ property >   
  10.           
  11.          <!-- mysql user -->   
  12.          < property   name = "user" > root </ property >   
  13.           
  14.          <!--  mysql password -->   
  15.          < property   name = "password" > chenfeng </ property >   
  16.      </ factoryConfig >   
  17.       ......  
  18. </ dbServer >   

  再配置两个数据库节点，继承上面的父节点，然后配置各自的IP地址即可：

Xml代码  
  1. < dbServer   name = "server1"    parent = "abstractServer" >   
  2.      < factoryConfig >   
  3.          <!-- mysql ip -->   
  4.          < property   name = "ipAddress" > 127.0.0.1 </ property >   
  5.      </ factoryConfig >   
  6. </ dbServer >   
  7.   
  8. < dbServer   name = "server2"    parent = "abstractServer" >   
  9.      < factoryConfig >   
  10.          <!-- mysql ip -->   
  11.          < property   name = "ipAddress" > 10.167.157.176 </ property >   
  12.      </ factoryConfig >   
  13. </ dbServer >   

3、rule.xml

  配置切分规则：

     1、schema指定数据库名，name指定表名，defaultPools指定关联的数据库节点（指定哪几个节点就从哪几个节点里面查数据）

     2、切分规则：

         1）用户ID小于100的数据存到数据库节点1

         2）用户ID大于100的数据存到数据库节点2

Xml代码  
  1. < amoeba:rule   xmlns:amoeba = "http://amoeba.meidusa.com/" >   
  2.      < tableRule   name = "user_info"   schema = "yunzhu"   defaultPools = "server1,server2" >   
  3.          < rule   name = "rule1" >   
  4.              < parameters > USERID </ parameters >   
  5.              < expression > <![CDATA[ USERID <= 100]]> </ expression >   
  6.              < defaultPools > server1 </ defaultPools >   
  7.              < readPools > server1 </ readPools >   
  8.              < writePools > server1 </ writePools >   
  9.          </ rule >   
  10.          < rule   name = "rule2" >   
  11.              < parameters > USERID </ parameters >   
  12.              < expression > <![CDATA[ USERID > 100 ]]> </ expression >   
  13.              < defaultPools > server2 </ defaultPools >   
  14.              < writePools > server2 </ writePools >   
  15.              < readPools > server2 </ readPools >   
  16.          </ rule >   
  17.      </ tableRule >         
  18. </ amoeba:rule >   

 

三、运行及验证

1、启动Amoeba

通过bin目录下的amoeba.bat启动：

 

Dos代码  
  1. amoeba start  

 

启动后控制台打印如下信息，可以看到：

Dos代码  
  1. log4j:WARN log4j config load completed from file:D:\JavaTools\amoeba-mysql-binar  
  2. y- 2.2 . 0 \bin\..\conf\log4j.xml  
  3. 2013 - 01 - 08   09 : 32 : 27 , 765  INFO  context.MysqlRuntimeContext - Amoeba for Mysql cur  
  4. rent versoin= 5.1 . 45 -mysql-amoeba-proxy- 2.2 . 0   
  5. log4j:WARN ip access config load completed from file:D:\JavaTools\amoeba-mysql-b  
  6. inary- 2.2 . 0 \bin\../conf/access_list.conf  
  7. 2013 - 01 - 08   09 : 32 : 27 , 921  INFO  net.ServerableConnectionManager - Amoeba for Mysql  
  8.  listening on  0.0 . 0.0 / 0.0 . 0.0 : 8066 .  
  9. 2013 - 01 - 08   09 : 32 : 27 , 921  INFO  net.ServerableConnectionManager - Amoeba Monitor S  
  10. erver listening on / 127.0 . 0.1 : 40170 .  

2、连接Amoeba

通过mysql客户端连接Amoeba，端口指定为8066，然后还像以前操作MySQL一样进行操作：

Dos代码  
  1. D:\>mysql -P8066 -uroot -pchenfeng123  
  2. Welcome to the MySQL monitor.  Commands end with ; or \g.  
  3. Your MySQL connection id is  21616774  to server version:  5.1 . 45 -mysql-amoeba-prox  
  4. y- 2.2 . 0   
  5.   
  6. Type  'help;'  or  '\h'  for help. Type  '\c'  to clear the buffer.  
  7.   
  8. mysql>  

3、验证数据的查询

查询yunzhu库下的user_info表的数据，如下：

Sql代码 
  1. mysql>  select  *  from  yunzhu.user_info;  
  2. + --------+-----------+   
  3. | USERID | USERNAME  |  
  4. + --------+-----------+   
  5. |    108 | Jiang Su  |  
  6. |    200 | NanJing   |  
  7. |     73 | Chen Feng |  
  8. |     88 | China     |  
  9. + --------+-----------+   
  10. 4  rows   in   set  (0.02 sec)  

可以看到，现在查到了两个数据库节点中的user_info表中的所有记录。

 

4、验证数据的插入

这里插入两条数据，一条USERID为55，另一条USERID为155，如下：

Dos代码  
  1. mysql> insert into yunzhu.user_info(USERID,USERNAME) values( 55 , 'test55' );  
  2. Query OK,  1  row affected ( 0.13  sec)  
  3.   
  4. mysql> insert into yunzhu.user_info(USERID,USERNAME) values( 155 , 'test155' );  
  5. Query OK,  1  row affected ( 0.05  sec)  

 

查询数据库节点1：

Dos代码  
  1. D:\>mysql -uroot -pchenfeng  
  2. Welcome to the MySQL monitor.  Commands end with ; or \g.  
  3. Your MySQL connection id is  33  to server version:  5.0 . 18 -nt  
  4.   
  5. Type  'help;'  or  '\h'  for help. Type  '\c'  to clear the buffer.  
  6.   
  7. mysql> select * from yunzhu.user_info;  
  8. +--------+-----------+  
  9. | USERID | USERNAME  |  
  10. +--------+-----------+  
  11. |      55  | test55    |  
  12. |      73  | Chen Feng |  
  13. |      88  | China     |  
  14. +--------+-----------+  
  15. 3  rows in set ( 0.00  sec)  

 

查询数据库节点2：

Dos代码  
  1. D:\>mysql -uroot -pchenfeng -h10. 167.157 . 176   
  2. Welcome to the MySQL monitor.  Commands end with ; or \g.  
  3. Your MySQL connection id is  34  to server version:  5.0 . 18 -nt  
  4.   
  5. Type  'help;'  or  '\h'  for help. Type  '\c'  to clear the buffer.  
  6.   
  7. mysql> select * from yunzhu.user_info;  
  8. +--------+----------+  
  9. | USERID | USERNAME |  
  10. +--------+----------+  
  11. |     108  | Jiang Su |  
  12. |     155  | test155  |  
  13. |     200  | NanJing  |  
  14. +--------+----------+  
  15. 3  rows in set ( 0.00  sec)  

可以发现USERID为55的记录插入到了数据库节点1中，USERID为155的记录插入到了数据库节点2中。

因为根据rule.xml中的切分规则，USERID小于等于100的的记录存在数据库节点1中，而大于100的则存在数据库节点2中。

 

四、注意一些限制

这是我在实践中发现的，刚开始不知道存在这样的限制，以致于浪费了很多时间，以为配置有问题，搞了很久才发现原来是因为这些限制才导致没有出现预期的结果，所以必须要注意：

1、不管是查询和插入，每条都必须显式地指定数据库名（yunzhu），否则只会从一个数据库节点中查询数据，或者所有数据全部会插入一个数据库节点中。

2、插入数据时，必须显式地指定列名，如“insert into yunzhu.user_info(USERID,USERNAME)”，否则切分规则不会生效，所有记录都会插入到一个数据库节点中。

Amoeba For MySQL入门：实现数据库水平切分


更多文章、技术交流、商务合作、联系博主

微信扫码或搜索：z360901061

微信扫一扫加我为好友

QQ号联系： 360901061

您的支持是博主写作最大的动力，如果您喜欢我的文章，感觉我的文章对您有帮助，请用微信扫描下面二维码支持博主2元、5元、10元、20元等您想捐的金额吧，狠狠点击下面给点支持吧，站长非常感激您！手机微信长按不能支付解决办法：请将微信支付二维码保存到相册，切换到微信，然后点击微信右上角扫一扫功能，选择支付二维码完成支付。

【本文对您有帮助就好】元

您的支持是博主写作最大的动力，如果您喜欢我的文章，感觉我的文章对您有帮助，请用微信扫描上面二维码支持博主2元、5元、10元、自定义金额等您想捐的金额吧，站长会非常 感谢您的哦！！！

发表我的评论
最新评论 总共0条评论