Mycat分库策略 2019-12-07 程序之旅 暂无评论 926 次阅读 ## Mycat分库策略 ### 数据库集群产生的问题 1. 自增id问题 2. 数据库关联查询问题(水平拆分) 3. 数据同步问题 避免自增id重复的解决方法，1、UUID形式。2、设置数据库的步长。 > - UUID 不适合使用在id，比较适合使用在token(令牌)的使用场景，所以不推荐使用 > > - 查询当前数据库步长 > > ```sql > show VARIABLES LIKE 'auto_inc%' > -- auto_increment_offset 起始值 > -- auto_increment_increment 步长 > set @@auto_increment_increment =1 -- 设置步长 > > set @@auto_increment_offset = 1 -- 设置id起始值 > ``` > > 但是使用步长来避免数据库集群id自增的问题也会有缺陷，在开始设计集群的时候就得定好数据库的节点数量，确定好数量之后，使用中就不能进行扩展新的数据库节点， 不然生成的步长规则会被改变。 ### 分库策略 数据库分表分库原则遵循：垂直拆分和水平拆分 简单的理解，垂直拆分是把不用的表拆到不同的数据库中，而水平拆分是把同一个表拆到不同的数据库中。 #### 垂直拆分 根据不同的业务，拆分成不同的数据，比如会员数据库、订单数据库、支付数据库等。适用于大型互联网电商平台、微服务项目框架。 #### 水平拆分 按照数据行的切分，把一张表的内容分别的切分到不同的数据库中，主要是用于提升和突破数据库的性能瓶颈。 > 针对数据库的集群问题，Mycat的分库策略有很多，比如取模分片、枚举分片、范围分片、范围求模算法、固定分片hash算法等等，不同的分片算法需要根据实际情况使用而选择，例如枚举分片，适用于按照省份或区县来拆分数据类业务；一致性hash算法分片适用于分布式数据等。 ### 枚举分片 分片枚举算法就是根据不同的枚举(常量)，进行分类存储。 应用场景：可以使用分片枚举实现根据地区进行分片存储到不同数据库进行存放。 分片的规则由`rule.xml`进行配置，使用的过程中可以灵活的使用不同的算法，或者同一算法使用不同的参数，它让分片过程变为可配置化。该文件包含两个重要标签：Function和tableRule。 #### Function标签 举例 ```xml <function name="hash-int" class="io.mycat.route.function.PartitionByFileMap"> <property name="mapFile">partition-hash-int.txt</property> <property name="type">1</property> <property name="defaultNode">1</property> </function> ``` - name 执行算法的名称，在`rule.xml`文件中唯一 - class 对应具体的分片算法，执行算法的具体类 - property 算法类中指定的配置项 #### tableRule标签 举例 ```xml <tableRule name="rule2"> <rule> <columns>name</columns> <algorithm>hash-int</algorithm> </rule> </tableRule> ``` - name 唯一算法的名称 - rule 分片算法的具体内容，包含columns和algorithm两个标签 - columns 分片的列名 - algorithm 算法名称，也就是指向function标签中的name #### 环境的配置 准备好三个不同的数据库和一个包含字段`name`的表`region`  ##### 配置`schema.xml` ```xml <?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <!-- TESTDB1 是mycat的逻辑库名称，链接需要用的 --> <schema name="mycat_testdb" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"> <table name="region" dataNode="dn1,dn2,dn3" rule="rule2" /> </schema> <!-- database 是MySQL数据库的库名 --> <dataNode name="dn1" dataHost="localhost1" database="user_db1" /> <dataNode name="dn2" dataHost="localhost1" database="user_db2" /> <dataNode name="dn3" dataHost="localhost1" database="user_db3" /> <!-- dataNode节点中各属性说明： name：指定逻辑数据节点名称； dataHost：指定逻辑数据节点物理主机节点名称； database：指定物理主机节点上。如果一个节点上有多个库，可使用表达式db$0-99， 表示指定0-99这100个数据库； dataHost 节点中各属性说明： name：物理主机节点名称； maxCon：指定物理主机服务最大支持1000个连接； minCon：指定物理主机服务最小保持10个连接； writeType：指定写入类型； 0，只在writeHost节点写入； 1，在所有节点都写入。慎重开启，多节点写入顺序为默认写入根据配置顺序，第一个挂掉切换另一个； dbType：指定数据库类型； dbDriver：指定数据库驱动； balance：指定物理主机服务的负载模式。 0，不开启读写分离机制； 1，全部的readHost与stand by writeHost参与select语句的负载均衡，简单的说，当双主双从模式(M1->S1，M2->S2，并且M1与 M2互为主备)，正常情况下，M2,S1,S2都参与select语句的负载均衡； 2，所有的readHost与writeHost都参与select语句的负载均衡，也就是说，当系统的写操作压力不大的情况下，所有主机都可以承担负载均衡； balance=”3” : 所有的读分发到readHost上，writeHost负责写 --> <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <!-- 可以配置多个主从 --> <writeHost host="hostM1" url="localhost:3306" user="root" password="root"> </writeHost> </dataHost> </mycat:schema> ``` ##### 配置`rule.xml` ```xml <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE mycat:rule SYSTEM "rule.dtd"> <mycat:rule xmlns:mycat="http://io.mycat/"> <tableRule name="rule2"> <rule> <columns>name</columns> <algorithm>hash-int</algorithm> </rule> </tableRule> <function name="hash-int" class="io.mycat.route.function.PartitionByFileMap"> <property name="mapFile">partition-hash-int.txt</property> <property name="type">1</property> <property name="defaultNode">1</property> </function> </mycat:rule> ``` ##### 配置`server.xml` ```xml <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE mycat:server SYSTEM "server.dtd"> <mycat:server xmlns:mycat="http://io.mycat/"> <!-- 读写都可用的用户 --> <user name="root" defaultAccount="true"> <property name="password">123456</property> <property name="schemas">mycat_testdb</property> <!-- 表级 DML 权限设置 --> <!-- <privileges check="false"> <schema name="TESTDB" dml="0110" > <table name="tb01" dml="0000"></table> <table name="tb02" dml="1111"></table> </schema> </privileges> --> </user> <!-- 只读用户 --> <user name="user"> <property name="password">user</property> <property name="schemas">mycat_testdb</property> <property name="readOnly">true</property> </user> </mycat:server> ``` ##### 枚举配置文件 ```xml shangcheng=0 yuhang=1 binjiang=2 ``` ### 结果展示 以下是mycat虚拟数据库下插入的数据  以下是不同数据库中插入的数据    PS：其他的分片策略也大同小异，这里就只简单的了解分片策略概念和实现了枚举分片策略。 打赏: 微信, 支付宝 标签: mysql, mycat 本作品采用 知识共享署名-相同方式共享 4.0 国际许可协议 进行许可。
微信
支付宝