读写分离-MyCat分库分表
更新时间 2021-08-14 09:39:24    浏览 0   

TIP

本文主要是介绍 读写分离-MyCat分库分表 。

# MyCat使用教程

# 前言

本文以实际操作为主,理论性比较少,主要包含mycat安装,mysql主从复制,mycat垂直分库,mycat水平分表等系列操作,希望对有机会接触到mycat的朋友一些启发。

# mycat安装

1、安装mysql5.7并导入数据

使用Navicat导入以下数据。 shop_db.sql (opens new window)

2、下载并解压mycat

wget http://dl.mycat.io/1.6.7.4/Mycat-server-1.6.7.4-release/Mycat-server-1.6.7.4-release-20200105164103-linux.tar.gz

3、安装java7以上环境

此步骤各位可以网络搜索,此处略过。

4、新建mycat运行系统账号

adduser mycat
chown mycat:mycat -R mycat/

5、修改mycat启动参数

在mycat的conf目录下找到vi wrapper.conf

修改其中的运行内存为合适值,默认的是2G,最好是按照本机的情况来

wrapper.java.additional.4=-XX:MaxDirectMemorySize=512M

6、配置环境变量

vi /etc/profile  

## 添加:
MYCAT_HOME=/usr/local/mycat
export PATH=${MYCAT_HOME}/bin:${PATH}

## 最后:
source /etc/profile ## 使环境变量生效

# 【垂直分库】

# 1、分析数据表与业务之间的关系

首先对项目的业务需求要十分清晰,确定哪些模块哪些表是否需要分库,考虑表数据量是否很大,并发等问题,进而确定哪些表需要分库分表。 下面是一个例子:

wxmp

# 2、mysql主从数据库复制

项目一开始往往是一个数据库来弄的,随着业务量特别大的时候才会考虑分库分表。那么如何将原来的数据同步到另外一个新的数据库呢,这就是接下来要说的mysql主从复制

# 2.1、导出当前数据库的数据

mysqldump --master-data=2 --single-transaction --routines --triggers --events -uroot -p order_db > bak_shop_db.sql

其中--master-data=2是为了记录事务日志点。

如果遇到以下问题:

mysqldump: Error: Binlogging on server not active

解决方案:

vi /etc/my.cnf 在[mysqld]标签下添加:

[mysqld]
log-bin=mysql-bin
server-id=1

# 2.2、将bak_shop_db.sql复制到其他的服务器

scp bak_shop_db.sql root@192.168.56.11:/root
scp bak_shop_db.sql root@192.168.56.12:/root
scp bak_shop_db.sql root@192.168.56.13:/root

# 2.3、导入数据

现以订单order_db(192.168.56.11)为例: 在mysql命令行中导入

mysql -uroot -p -e"create database order_db"
mysql -uroot -p order_db < bak_shop_db.sql

# 2.4、创建同步用户

建议添加一个同步用的用户,这样子比较安全点。

create user 'im_repl'@'192.168.56.%' identified by '123456';
grant replication slave on . to 'im_repl'@'192.168.56.%'

# 2.5、 在从数据库服务建立复制链路

建立主从复制链路

change master to master_host='192.168.56.10',master_user='im_repl',master_password='123456',MASTER_LOG_FILE='mysql-bin.000002', MASTER_LOG_POS=154;

change replication filter replicate_rewrite_db=((shop_db,order_db))

其中的MASTER_LOG_FILE和MASTER_LOG_POS值在bak_shop_db.sql中,表示导出的时间点。因为你导出sql的时候,有可能主数据库一直有数据增加,那么从数据库开始复制应该从什么时候开始复制呢,所以这两个参数的作用就是解决这个问题的。(这一小节的第1点是关键。)

如果从数据库名和主数据库名不一样的话,可以考虑在从数据库中运行:

change replication filter replicate_rewrite_db=((主数据库名,从数据库名))

# 2.6、启动slave服务

在mysql命令行中输入

start slave;show slave status \G

可能遇到问题如下:

Slave_IO_Running: No  ### 此处应该是Yes,才代表成功。
Slave_SQL_Running: Yes

启动失败,如果是以下错误:
Last_IO_Error: Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work.

原因:检查发现他们的auto.cnf中的server-uuid是一样的。因为复制的mysql才会出现这种情况。

解决办法:

vi /var/lib/mysql/auto.cnf
修改它的id值.

然后重启mysql服务
systemctl restart mysqld

# 2.7、验证是否主从同步。

在主库(192.168.56.10)中修改数据,再看看从库是否已经同步修改了。

update order_detail set product_name='迪奥999' where order_detail_id = 1;

至此,mysql的主从同步已经成功了!!! _

# 3、mycat垂直分库配置

# 3.1、创建mycat用户并赋予增删改查的权限。

create user im_mycat@'192.168.56.%' identified by '123456';
grant select,insert,update,delete on . to im_mycat@'192.168.56.%';

# 3.2、配置schema.xml

关于配置文件的解析可以阅读我的上一篇文章或者《mycat权威指南》

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
    
    <schema name="shop_db" checkSQLschema="false" sqlMaxLimit="100">
        
        <table name="region_info" primaryKey="region_id" dataNode="orddb,custdb,prodb" type="global"/>
        
        <table name="order_cart" primaryKey="cart_id" dataNode="orddb" />
        <table name="order_customer_addr" primaryKey="customer_addr_id" dataNode="orddb" />
        <table name="order_detail" primaryKey="order_detail_id" dataNode="orddb" />
        <table name="order_master" primaryKey="order_id" dataNode="orddb" />
        
        <table name="customer_balance_log" primaryKey="balance_id" dataNode="custdb" />
        <table name="customer_inf" primaryKey="customer_inf_id" dataNode="custdb" />
        <table name="customer_level_inf" primaryKey="customer_level" dataNode="custdb" />
        <table name="customer_login" primaryKey="customer_id" dataNode="custdb" />
        <table name="customer_login_log" primaryKey="login_id" dataNode="custdb" />
        <table name="customer_point_log" primaryKey="point_id" dataNode="custdb" />
        
        <table name="product_brand_info" primaryKey="brand_id" dataNode="prodb" />
        <table name="product_category" primaryKey="category_id" dataNode="prodb" />
        <table name="product_comment" primaryKey="comment_id" dataNode="prodb" />
        <table name="product_info" primaryKey="product_id" dataNode="prodb" />
        <table name="product_supplier_info" primaryKey="supplier_id" dataNode="prodb" />
        
    </schema>

    <dataNode name="orddb" dataHost="mysql11" database="order_db" />
    <dataNode name="custdb" dataHost="mysql12" database="customer_db" />
    <dataNode name="prodb" dataHost="mysql13" database="product_db" />
    
    <dataHost name="mysql11" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1">
        <heartbeat>select user()</heartbeat>
        <writeHost host="192.168.56.11" url="192.168.56.11:3306" user="im_mycat" password="123456" />
    </dataHost>
    
    <dataHost name="mysql12" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1">
        <heartbeat>select user()</heartbeat>
        <writeHost host="192.168.56.12" url="192.168.56.12:3306" user="im_mycat" password="123456" />
    </dataHost>
    
    
    <dataHost name="mysql13" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1">
        <heartbeat>select user()</heartbeat>
        <writeHost host="192.168.56.13" url="192.168.56.13:3306" user="im_mycat" password="123456" />
    </dataHost>
    
</mycat:schema>

# 3.3、配置server.xml

关于配置文件的解析可以阅读我的上一篇文章或者《mycat权威指南》

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
    <system>
        <property name="serverPort">8066</property>
        <property name="managerPort">9066</property>
        <property name="nonePasswordLogin">0</property>
        <property name="bindIp">0.0.0.0</property>
        <property name="frontWriteQueueSize">2048</property>
        
        <property name="charset">utf8</property>
        <property name="txIsolation">2</property>
        <property name="processors">8</property> 
        <property name="idleTimeout">1800000</property> 
        <property name="useSqlStat">0</property> <!-- 1为开启实时统计、0为关闭 -->
        <property name="useGlobleTableCheck">0</property>  <!-- 1为开启全加班一致性检测、0为关闭 -->
        <property name="sqlExecuteTimeout">300</property>  <!-- SQL 执行超时 单位:秒-->
        <property name="sequnceHandlerType">2</property>
        <property name="defaultMaxLimit">100</property>
        <property name="maxPacketSize">104857600</property>
    </system>
    
    <user name="root" defaultAccount="true">
        <property name="password">123456</property>
        <!--只配置逻辑库与schema的name值对应,对外-->
        <property name="schemas">shop_db</property>
    </user>
</mycat:server>

# 4、通过mycat访问数据库

 mysql -uroot -p123456 -P8066 -h192.168.56.10

查看逻辑数据库中的表的数据是否存在

# 5、删除多余的数据表

# 5.1、需要停止原先的主从同步。

在mysql控制台命令行输入

show slave status \G
stop slave;
reset slave all;
show slave status \G

# 5.2、保留每个分库的表,删除其他多余的数据表。

比如:订单库可以删除用户和商品相关的表。

# 6、配置全局表

# 6.1、复制全局表到各个节点。

6.2、配置schema.xml

<table name="region_info" primaryKey="region_id" dataNode="orddb,custdb,prodb" type="global"/>

# 【水平分表】

# 1、确定需要水平切分的表

业务量特别大,数据随着时间会越来越多数据的表,比如订单表。

# 2、选择合适分片键和分片算法

分片键(主键)选择原则:

  • 1、尽可能均匀分布在各个节点(尽量是唯一性);
  • 2、查询时使用最频繁的或重要条件

分片算法选择:

  • 1、尽可能将数据均匀分布在各个节点

# 3、使用mycat水平分片

# 3.1、schema.xml配置逻辑库和逻辑表

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
    
    <schema name="shop_db" checkSQLschema="false" sqlMaxLimit="100">
        
        <table name="region_info" primaryKey="region_id" dataNode="orddb,custdb,prodb" type="global"/>
        
        <table name="order_cart" primaryKey="cart_id" dataNode="orddb" />
        <table name="order_customer_addr" primaryKey="customer_addr_id" dataNode="orddb" />
        <table name="order_detail" primaryKey="order_detail_id" dataNode="orddb" />
        
        <!-- 水平分片,分片规则(在rule.xml):order_master -->
        <table name="order_master" primaryKey="order_id" dataNode="orddb01,orddb02,orddb03,orddb04" rule="order_master" />
        
        <table name="customer_balance_log" primaryKey="balance_id" dataNode="custdb" />
        <table name="customer_inf" primaryKey="customer_inf_id" dataNode="custdb" />
        <table name="customer_level_inf" primaryKey="customer_level" dataNode="custdb" />
        <table name="customer_login" primaryKey="customer_id" dataNode="custdb" />
        <table name="customer_login_log" primaryKey="login_id" dataNode="custdb" />
        <table name="customer_point_log" primaryKey="point_id" dataNode="custdb" />
        
        <table name="product_brand_info" primaryKey="brand_id" dataNode="prodb" />
        <table name="product_category" primaryKey="category_id" dataNode="prodb" />
        <table name="product_comment" primaryKey="comment_id" dataNode="prodb" />
        <table name="product_info" primaryKey="product_id" dataNode="prodb" />
        <table name="product_supplier_info" primaryKey="supplier_id" dataNode="prodb" />
        
    </schema>

    <dataNode name="orddb" dataHost="mysql11" database="order_db" />
    <dataNode name="custdb" dataHost="mysql12" database="customer_db" />
    <dataNode name="prodb" dataHost="mysql13" database="product_db" />
    
    <!-- 水平分片 -->
    <dataNode name="orddb01" dataHost="mysql11" database="orddb01" />
    <dataNode name="orddb02" dataHost="mysql11" database="orddb02" />
    <dataNode name="orddb03" dataHost="mysql12" database="orddb01" />
    <dataNode name="orddb04" dataHost="mysql13" database="orddb01" />


    
    
    
    <dataHost name="mysql13" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1">
        <heartbeat>select user()</heartbeat>
        <writeHost host="192.168.56.13" url="192.168.56.13:3306" user="im_mycat" password="123456" />
    </dataHost>
    
    <dataHost name="mysql11" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1">
        <heartbeat>select user()</heartbeat>
        <writeHost host="192.168.56.11" url="192.168.56.11:3306" user="im_mycat" password="123456" />
    </dataHost>
    
    
    <dataHost name="mysql12" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1">
        <heartbeat>select user()</heartbeat>
        <writeHost host="192.168.56.12" url="192.168.56.12:3306" user="im_mycat" password="123456" />
    </dataHost>
    
</mycat:schema>

# 3.2、rule.xml配置分片规则

<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License"); 
    - you may not use this file except in compliance with the License. - You 
    may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 
    - - Unless required by applicable law or agreed to in writing, software - 
    distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT 
    WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the 
    License for the specific language governing permissions and - limitations 
    under the License. -->
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://io.mycat/">
    <tableRule name="order_master">
        <rule>
                        <!-- 分片键customer_id -->
            <columns>customer_id</columns>
            <algorithm>mod-long</algorithm>
        </rule>
    </tableRule>

    <function name="mod-long" class="io.mycat.route.function.PartitionByMod">
        <!-- how many data nodes -->
        <property name="count">4</property>
    </function>
    
</mycat:rule>

至此水平分表已经完成了80%,但是这里会有2个问题:

1、order_id如果是自增长的,那么现在就无法保证整体的order_id是唯一的。

2、如果order_master表与其他关联表order_detail进行join操作是没法实现的。

# 4、 配置全局自增长id

1、创建一个mycat数据库,找到mycat的配置目录中的dbseq.sql 然后导入

 mysql -uroot -p mycat < dbseq.sql

2、接着需要修改server.xml中的sequnceHandlerType=1

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
    <system>
        <property name="serverPort">8066</property>
        <property name="managerPort">9066</property>
        <property name="nonePasswordLogin">0</property>
        <property name="bindIp">0.0.0.0</property>
        <property name="frontWriteQueueSize">2048</property>
        
        <property name="charset">utf8</property>
        <property name="txIsolation">2</property>
        <property name="processors">8</property> 
        <property name="idleTimeout">1800000</property> 
        <property name="useSqlStat">0</property> <!-- 1为开启实时统计、0为关闭 -->
        <property name="useGlobleTableCheck">0</property>  <!-- 1为开启全加班一致性检测、0为关闭 -->
        <property name="sqlExecuteTimeout">300</property>  <!-- SQL 执行超时 单位:秒-->
        <property name="sequnceHandlerType">1</property> <!-- 全局id生成规则,1指的是使用数据库的方式 -->
        <property name="defaultMaxLimit">100</property>
        <property name="maxPacketSize">104857600</property>
    </system>
    
    <user name="root" defaultAccount="true">
        <property name="password">123456</property>
        <!--只配置逻辑库,对外-->
        <property name="schemas">shop_db</property>
    </user>
</mycat:server>

3、找到mycat的配置文件sequence_db_conf.properties,增加配置如下:

#sequence stored in datanode
GLOBAL=mycat
ORDER_MASTER=mycat

4、需要在mycat数据库的MYCAT_SEQUENCE表中增加一条记录

INSERT INTO ``MYCAT_SEQUENCE`(`name`, `current_value`, `increment`) VALUES ('ORDER_MASTER', 1, 1);

5、修改schema.xml中逻辑表的自增长属性autoIncrement=true

<table name="order_master" primaryKey="order_id" dataNode="orddb01,orddb02,orddb03,orddb04" rule="order_master" autoIncrement="true"/>

6、重启mycat插入数据即可。

如果遇到以下问题:

ERROR 1003 (HY000): mycat sequnce err.java.lang.RuntimeException: can't fetch sequnce in db,sequnce :ORDER_MASTER detail:execute command denied to user 'im_mycat'@'192.168.56.%' for routine 'mycat.mycat_seq_nextval'

表示im_mycat用户没有权限使用函数,所以要给他有权限执行。

grant execute on *.* to im_mycat@'192.168.56.%';
flush privileges;
show grants for im_mycat@'192.168.56.%';

重启mycat,执行插入数据。

# 5、 ER分片表操作

ER是什么东西?通俗来说就是一个表跟另外一个表有外键关联关系或者密切关系。

主要是当sql中有join操作的时候,需要将相关数据分到同一个分片中

1、在相应的分片节点都要加上数据表,如order_detail

2、修改schema.xml中的配置

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
    
    <schema name="shop_db" checkSQLschema="false" sqlMaxLimit="100">
        
        <table name="region_info" primaryKey="region_id" dataNode="orddb,custdb,prodb" type="global"/>
        
        <table name="order_cart" primaryKey="cart_id" dataNode="orddb" />
        <table name="order_customer_addr" primaryKey="customer_addr_id" dataNode="orddb" />
        <!--
        <table name="order_detail" primaryKey="order_detail_id" dataNode="orddb" />
        -->
        <!-- 水平分片 -->
        <table name="order_master" primaryKey="order_id" dataNode="orddb01,orddb02,orddb03,orddb04" rule="order_master" autoIncrement="true"/>
        
        <!-- ER分片表-->
        <table name="order_master" primaryKey="order_id" dataNode="orddb01,orddb02,orddb03,orddb04" rule="order_master" autoIncrement="true">
            <childTable name="order_detail" primaryKey="order_detail_id" joinKey="order_id" parentKey="order_id" autoIncrement="true" />
        </table>

        <table name="customer_balance_log" primaryKey="balance_id" dataNode="custdb" />
        <table name="customer_inf" primaryKey="customer_inf_id" dataNode="custdb" />
        <table name="customer_level_inf" primaryKey="customer_level" dataNode="custdb" />
        <table name="customer_login" primaryKey="customer_id" dataNode="custdb" />
        <table name="customer_login_log" primaryKey="login_id" dataNode="custdb" />
        <table name="customer_point_log" primaryKey="point_id" dataNode="custdb" />
        
        <table name="product_brand_info" primaryKey="brand_id" dataNode="prodb" />
        <table name="product_category" primaryKey="category_id" dataNode="prodb" />
        <table name="product_comment" primaryKey="comment_id" dataNode="prodb" />
        <table name="product_info" primaryKey="product_id" dataNode="prodb" />
        <table name="product_supplier_info" primaryKey="supplier_id" dataNode="prodb" />
        
    </schema>

    <dataNode name="orddb" dataHost="mysql11" database="order_db" />
    <dataNode name="custdb" dataHost="mysql12" database="customer_db" />
    <dataNode name="prodb" dataHost="mysql13" database="product_db" />
    
    <!-- 水平分片 -->
    <dataNode name="orddb01" dataHost="mysql11" database="orddb01" />
    <dataNode name="orddb02" dataHost="mysql11" database="orddb02" />
    <dataNode name="orddb03" dataHost="mysql12" database="orddb01" />
    <dataNode name="orddb04" dataHost="mysql13" database="orddb01" />

    <!-- 全局自增id-->
    <dataNode name="mycat" dataHost="mysql10" database="mycat" />
    
    
    
    <dataHost name="mysql10" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1">
        <heartbeat>select user()</heartbeat>
        <writeHost host="192.168.56.10" url="192.168.56.10:3306" user="im_mycat" password="123456" />
    </dataHost>
    
    <dataHost name="mysql11" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1">
        <heartbeat>select user()</heartbeat>
        <writeHost host="192.168.56.11" url="192.168.56.11:3306" user="im_mycat" password="123456" />
    </dataHost>
    
    
    <dataHost name="mysql12" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1">
        <heartbeat>select user()</heartbeat>
        <writeHost host="192.168.56.12" url="192.168.56.12:3306" user="im_mycat" password="123456" />
    </dataHost>
    <dataHost name="mysql13" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1">
        <heartbeat>select user()</heartbeat>
        <writeHost host="192.168.56.13" url="192.168.56.13:3306" user="im_mycat" password="123456" />
    </dataHost>
</mycat:schema>

3、因为配置了order_detail的是配置自增长,所以需要参考配置全局自增id的操作即可。

4、重启mycat即可。

# 参考文章

  • https://www.jianshu.com/p/32e0f2dfcaf5
更新时间: 2021-08-14 09:39:24
  0
手机看
公众号
讨论
左栏
全屏
上一篇
下一篇
扫一扫 手机阅读
可分享给好友和朋友圈