-
1.3万亿条数据查询怎样做到毫秒级响应?
所属栏目:[MySql教程] 日期:2022-03-28 热度:199
作为中国最大的知识共享平台,我们目前拥有 2.2 亿注册用户,3000 万个问题,网站答案超过 1.3 亿。 随着用户群的增长,我们的应用程序的数据大小无法实现。我们的 Moneta 应用程序中存储了大约 1.3 万亿行数据(存储用户已经阅读过的帖子)。 由于每月累[详细]
-
CSS-T Mysql Client 任何文件读取攻击链拓展
所属栏目:[MySql教程] 日期:2022-03-28 热度:190
这应该是一个很早以前就爆出来的漏洞,而我见到的时候是在TCTF2018 final线下赛的比赛中,是被 Dragon Sector 和 Cykor 用来非预期h5x0rs club这题的一个技巧。 在后来的研究中,和@Dawu的讨论中顿时觉得这应该是一个很有趣的trick,在逐渐追溯这个漏洞的[详细]
-
python运作mysql数据库
所属栏目:[MySql教程] 日期:2022-03-28 热度:96
问题描述: 今天下午跑某项目db需求,百库百表清脏数据,然后自己写了个python脚本,跑完之后通知项目,然后项目给玩家发奖励了,结果悲催了,所有的mysql操作没有执行成功(没有报错,因而以为执行成功)。 以下是我的python脚本,传两个文件作为参数,host[详细]
-
MYSQL CLENT SERVER数据包传输及net packet buffer用途解析
所属栏目:[MySql教程] 日期:2022-03-28 热度:150
水平有限再加上源码的复杂性,难免出现错误,请共同研究予以纠正 本文参考源码: Net_serv.cc(主要参考) Mysql.h.pp Mysql_socket.h Violite.h Viosocket.c Vio.c 参考书籍: 深入理解MYSQL核心技术 MYSQL核心内幕 internals-en MYSQL官方手册 LINUX系统编[详细]
-
mysql 大事物commit慢造成全库堵塞难题
所属栏目:[MySql教程] 日期:2022-03-28 热度:64
原创转载请注明出处 本文使用引擎INNODB版本MYSQL5.7.13 sync_binlog = 1 innodb_flush_log_at_trx_commit = 1 也就是双1设置, 1、问题由来 在线上环境一次同事删除了1000W的数据,在commit的时候,整个数据库 大约有几十秒的全部hang住的情况,本文就是[详细]
-
如何确认Single-Primary模式下的MGR主节点
所属栏目:[MySql教程] 日期:2022-03-28 热度:158
MySQL 5.7 可以通过global status group_replication_primary_member 确定 root@db20:59: [mgr] SELECT VARIABLE_VALUE - FROM performance_schema.global_status - WHERE VARIABLE_NAME = group_replication_primary_member; +--------------------------[详细]
-
MySQL执行计划explain的key_len剖析
所属栏目:[MySql教程] 日期:2022-03-28 热度:178
当用Explain查看SQL的执行计划时,里面有列显示了 key_len 的值,根据这个值可以判断索引的长度,在组合索引里面可以更清楚的了解到了哪部分字段使用到了索引。下面演示中,表结构的合理性这边暂且不说,只是证明一下索引长度的计算方法。目前大部分博文是[详细]
-
mysql之 MySQL 主从基于 GTID 复制原理阐述
所属栏目:[MySql教程] 日期:2022-03-28 热度:122
mysql之 MySQL 主从基于 GTID 复制原理概述: 一、 什么是GTID ( Global transaction identifiers ): MySQL-5.6.2开始支持,MySQL-5.6.10后完善,GTID 分成两部分,一部分是服务的UUid,UUID保存在mysql数据目录的auto.cnf文件中, 这是一个非常重要的文[详细]
-
MySQL 最容易忽视的常识
所属栏目:[MySql教程] 日期:2022-03-28 热度:146
开发反馈一个表的数据大小已经130G,对物理存储空间有影响,且不容易做数据库ddl变更。咨询了开发相关业务逻辑,在电商业务系统中,每笔订单成交之后会有一条对应的订单物流信息,因此需要设计一个物流相关的表用来存储该订单的物流节点信息,该表使用text字[详细]
-
MySQL数据库数据文件路径迁移过程
所属栏目:[MySql教程] 日期:2022-03-28 热度:64
MySQL数据库数据文件路径迁移步骤: 一、关闭mysql. $ service mysqld stop 二、将/data/mysql下的mysql目录mv(移动)到data目录。 mysql show variables like datadir; +---------------+-----------------+ | Variable_name | Value | +---------------[详细]
-
MySQL5.7+MHA+Keepalived failover自动更换
所属栏目:[MySql教程] 日期:2022-03-28 热度:100
数据库架构:一主两从 master:192.168.8.57 slave1:192.168.8.58 slave2:192.168.8.59 manager:192.168.8.60 MHA工具包: mha4mysql-manager-0.58.tar.gz mha4mysql-node-0.58.tar.gz keepalived-1.4.5.tar.gz 一、环境配置过程如下: http://blog.itp[详细]
-
MySql入门基本知识
所属栏目:[MySql教程] 日期:2022-03-28 热度:72
MySql入门--基础知识: 一、Mysql 物理文件组成 (一)日志文件 1、错误日志:Error Log 错误日志记录了MyQL Server 运行过程中所有较为严重的警告和错误信息,以及MySQLServer 每次启动和关闭的详细信息。在默认情况下,系统记录错误日志的功能是关闭的,[详细]
-
MySQL案例--磁盘空间不够 MTS Group recovery失败
所属栏目:[MySql教程] 日期:2022-03-28 热度:77
线上业务,最后一次内测阶段; 背景:MySQL-5.7.12 问题发生的现象: 收到报警信息,业务主库A的心跳检测失败,将备库B升级为业务主库; 问题发生的原因: 业务主库A的数据文件目录的磁盘空间剩余量为0%; 与此同时,不管是start slave还是change master都[详细]
-
关于mysql5.6 的排序问题
所属栏目:[MySql教程] 日期:2022-03-28 热度:182
mysql 5.6 的排序进行了优化. 同样的sql , 在5.5 跟5.6 上可能得到不同的结果: CREATE TABLE `TestCase2` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `aValue` decimal(19,2) NOT NULL, `accuracyClassType_id` bigint(20) NOT NULL, `productType_id` b[详细]
-
cmake源码编译安装mysql-5.5.32 多实例遇到的坑
所属栏目:[MySql教程] 日期:2022-03-28 热度:143
授人以鱼,我是怎么找到的? 坑2:cmake配置报错因为后面有空格导致的,cmake编译参数正确的为如下: cmake . -DCMAKE_INSTALL_PREFIX=/application/mysql-5.5.32 -DMYSQL_DATADIR=/application/mysql-5.5.32/data -DMYSQL_UNIX_ADDR=/application/my[详细]
-
生产mysql在线配置主从
所属栏目:[MySql教程] 日期:2022-03-28 热度:157
生产mysql在线配置主从: 一、将主库数据导出 mysqldump -uuser -ppassword -S /tmp/mysql.sock --single-transaction --master-data=2 --all-databases --triggers --routines --events /root/master_dump.sql 二、在主库创建主从复制用户 mysqlgrant rep[详细]
-
mysql加快alter操作
所属栏目:[MySql教程] 日期:2022-03-28 热度:181
mysql的alter table 操作的性能对大表来说是个大问题.mysql执行大部分修改表结构的操作方法是用新的结构创建一个空表,从旧表中查出所有数据插入新表,然后删除旧表.这样操作可能花费很长时间,如果内存不足而表又很大,而且还有很多索引的情况下,此种情况更甚[详细]
-
计算mysql buffer的命中率及使用率
所属栏目:[MySql教程] 日期:2022-03-28 热度:64
MyISAM Key buffer命中率: 100 - ( (Key_reads * 100) / Key_read_requests ) MyISAM Key buffer的使用率: 100 - ( (Key_blocks_unused * key_cache_block_size) * 100 / key_buffer_size ) InnoDB Buffer Pool 的命中率 (Innodb_buffer_pool_read_reque[详细]
-
MySQL5.7新版本的运维,性能和新特性介绍
所属栏目:[MySql教程] 日期:2022-03-28 热度:137
运维 在线启停GTID 在线配置Replication Filter,无需重启 Change Master到另外一个主库无需停止apply线程 Change Master修改一些日志apply属性(例如master_delay)无需停止IO线程 增加大量Performance Schema表用于监控复制 性能 更好的复制性能(logical[详细]
-
MySQL 5.6对大表做归档
所属栏目:[MySql教程] 日期:2022-03-28 热度:124
环境:MySQL 5.6 主从环境(Keepalived架构) 4000W行大表进行历史数据归档。 方案:为尽量降低对业务影响,决定采取下列方案。 1、在主库建立 2016、2017、2018、2019的4个历史表结构。 2、在从库建立test库,并建立 2016、2017、2018、2019的4个历史表结[详细]
-
关于mysql中root权限丢失的问题
所属栏目:[MySql教程] 日期:2022-03-28 热度:155
听说执行了一条语句:revoke all on *.* from root@localhost; --呵呵,当时到底是怎样的心理活动,这是怎样的恨。。。 于是小菜就做了一个实验,心里感觉应该和密码丢失后跳过权限重新设置密码的解决方法是一样的,当然这只是思路,试试才知道。 首先停止[详细]
-
MySQL 5.7中新增sys schema后,会有什么变化
所属栏目:[MySql教程] 日期:2022-03-28 热度:126
MySQL 5.7中引入了一个新的sys schema,sys是一个MySQL自带的系统库,在安装MySQL 5.7以后的版本,使用mysqld进行初始化时,会自动创建sys库,sys库里面的表、视图、函数、存储过程可以使我们更方便、快捷的了解到MySQL的一些信息,比如哪些语句使用了临时[详细]
-
mysql慢查询和错误日志剖析
所属栏目:[MySql教程] 日期:2022-03-28 热度:62
mysql慢查询和错误日志分析和告警查看比较麻烦,目前的慢查询告警都是仅仅反应慢查询数量的。 我们做了一个慢查询日志告警和分析的程序 后台使用filebeat日志文件托运工具,将日志传输到redis数据库。filebeat默认使用es。定时器1分钟执行一次。 vi /etc/f[详细]
-
mysql忘记root密码解决方式 linux
所属栏目:[MySql教程] 日期:2022-03-28 热度:177
mysql忘记root密码解决方式: 1.强制关闭mysql # pkill mysql 2.向配置文件添加 [mysqld] skip-grant-tables 3.重启mysql 点击(此处)折叠或打开 # /usr/local/mysql/bin/mysqld_safe --defaults-file=/etc/my.cnf --user=mysql [1] 29335 [root@mysql5 log[详细]
-
mysql innodb 主键INT、BIGINT、VARCHAR并发插入性能比较
所属栏目:[MySql教程] 日期:2022-03-28 热度:177
10个并发共插入10万行 总耗时(s) 第一次 第二次 第三次 NT(-2147483648-2147483647) 198.13 197.25 197.56 BIGINT(-9223372036854775808-9223372036854775807) 195.83 197.75 197.85 VARCHAR[0-65535] 203.95 205.37 202.87 INT与BIGINT相差不大,VARCHAR[详细]