MySQL系列教程（四）
本文共 14562 字，大约阅读时间需要 48 分钟。
文件打开数(open_files)
我们现在处理MySQL故障时，发现当Open_files大于open_files_limit值时，MySQL数据库就会发生卡住的现象，导致Nginx服务器打不开相应页面。这个问题大家在工作中应注意，我们可以用如下命令查看其具体情况：
show global status like 'open_files'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | Open_files | 1481 | +---------------+-------+ mysql> show global status like 'open_files_limit'; +------------------+-------+ | Variable_name | Value | +------------------+--------+ | Open_files_limit | 4509 | +------------------+--------+比较合适的设置是：Open_files / Open_files_limit * 100% < = 75%
InnoDB_buffer_pool_cache合理设置
InnoDB存储引擎的缓存机制和MyISAM的最大区别就在于，InnoDB不仅仅缓存索引，同时还会缓存实际的数据。此参数用来设置InnoDB最主要的Buffer的大小，也就是缓存用户表及索引数据的最主要缓存空间，对InnoDB整体性能影响也最大。 无论是MySQL官方手册还是网络上许多人分享的InnoDB优化建议，都是简单地建议将此值设置为整个系统物理内存的50%~80%。这种做法其实不妥，我们应根据实际的运行场景来正确设置此项参数。很多时候我们会发现，通过参数设置进行性能优化所带来的性能提升，并不如许多人想象的那样会产生质的飞跃，除非是之前的设置存在严重不合理的情况。我们不能将性能调优完全依托与通过DBA在数据库上线后进行参数调整，而应该在系统设计和开发阶段就尽可能减少性能问题。(重点在于前期架构合理的设计及开发的程序合理)。
MYSQL监控管理工具介绍
MySQL越来越被更多企业接受，随着企业发展，MySQL存储数据日益膨胀，MySQL的性能分析、监控预警、容量扩展议题越来越多。“工欲善其事，必先利其器”，那么我们如何在进行MySQL性能分析、监控预警、容量扩展问题上得到更好的解决方案，就要利用各种工具来对MySQL各种指标进行分析。本文是读书笔记，下面提及的工具，读者可能都用过，或打算准备是使用。MySQL服务器的发布包没有包含那些能完成许多常见任务的工具，例如监控服务器的工具、比较服务器间数据的工具。我们把这些工具分成以下几类：界面、监控、分析和辅助工具。带界面的工具
1、MySQL可视化工具
这些工具都可以免费使用: a、MySQL查询浏览器（MySQL Query Browser）：这个不用说了…b、MySQL管理员（MySQL Administrator）：功能集中在服务器管理上，所以它最适合DBA使用，而不是开发人员和分析人员。它可以帮助DBA把创建备份 、创建用户并分配权限、显示服务器日志和状态信息等过程进行自动化处理。它还包括了一些基本的监控功能，例如图形化的状态变量显示，但是它没有下文里会提到的交互式监控工具那么灵活。c、MySQL迁移工具箱（MySQL Migration Tookit）：可以帮你把数据从别的数据库系统迁移到MySQL里。d、MySQL工作台（MySQL Workbench）：MySQL的建模工具。2、SQLyog
SQLyog是最常用的MySQL可视化工具，只能用于win下。
3、phpMyAdmin
phpMyAdmin是一款很流行的管理工具，它基于Web界面来管理MySQL服务器。有很多支持者，但反对者也不少。监控工具
Zenoss
Zenoss是用Python编写的，拥有基于浏览器的用户界面，并使用了Ajax使操作更加快捷而富有效率。它将监控、报警、趋势显示、图表显示和记录历史数据等功能合成在一个统一的工具里，它还能在网上自动发现资源，在默认情况下，Zenoss使用SNMP从远程机器上收集数据，但它也可以使用SSH，并且支持Nagios插件。
Hyperic HQHyperic HQ是一款基于Java的监控系统，它的目标跟其他同类别的软件不太一样，它要成为企业级的监控系统。跟Zenoss一样，它也能自动发现资源，支持Nagios插件，但是它的逻辑组织和架构很不一样，显得有点庞大。至于它是不是合适你的需求，那要看你的参数设置和监控的方式了。 OpenNMSOpenNMS是由Java编写的，拥有一个活跃的开发者社区。它具备了常规的功能，例如监控和报警，也加入了图表和趋势显示的功能。它的目标是高性能、伸缩性、自动化以及良好的兼容性。跟Hyperic一样，它也企图成为一款企业级的监控软件，可以用于大型的关键系统上。 Groundwork Open SourceGroundwork Open Source实际上是基于Nagios的，它把Nagios和其他几个工具集成为一个系统，并安上一个统一的门户界面。描述它的最好方法可能就是：如果你对Nagios、Cacti及其他工具很熟悉，并且能够花大量的时间把它们无缝地集成在一起的话，你也能在家庭作坊里做一个出来。 ZabbixZabbix是一个开源监控系统，在许多方面跟Nagios很相像，但是也有一些关键的不同点。例如：它把所有配置信息和其他数据都存放在一个数据库里，而不是放在配置文件里；它比Nagios存储了更多类型的数据，这样可以生成更好的趋势图和历史报告。它的网络图表和可视化功能也优于Nagios。很多使用它的人发现它更易配置，更具有兼容性。说起来它也能比Nagios少，它的报警功能也不够高级。MySQL监控和建议服务
基于RRDTool的系统
严格地说，RRDTool不算是一个监控系统，但是，它很重要，有必要在此提到一下。很多组织里都是使用几种脚本或程序–这些一般都是自制的–从服务器那里读取信息，然后再保存到循环数据库（Round-robin database，RRD）文件里。在许多要获取记录生成图表的环境下，RRD文件是一个很合适的解决方案。它们能聚合输入的数据，如果输入数据值没有按期在随后提交进行时，还能在随后插入这些丢失的数据。它们还都带有强大的图表工具，能够生成漂亮的与众不同的图表。现在已经有一些基于RRDTOOL的系统可供使用了。 a、Muti Router Traffic Grapher，或者叫MRTG就是一款典型的基于RRDTOOL的系统。它真正的设计初衷是记录网络数据流，但是它也被扩展用来记录和图表化表示其他一些东西。 b、Munin是一个能为你采集数据的系统，将它放入RRDTool后，就会根据数据生成不同粒度的图表。它能从配置信息里生成静态的HTML文件，这样你就可以轻松地浏览，查看趋势情况。 c、Cacti是另外一个常用的图表和趋势显示系统。它的工作方式是：从系统里获取数据，然后保存在RRD文件里，然后用PHP Web界面的形式，使用RRDTool把数据以图表的形式展示出来。这个显示界面也是配置和管理界面（配置信息存储在一个MySQL服务器里）。它是模板驱动的，因此，你可以自己定义模板，并放到你的系统里使用。 d、Cricket是一个用Perl编写的跟Cacti类似的系统，使用的是基于文件的配置系统。Ganglia也跟Cacti类似，但它的设计初衷是永远监控群集和系统网络，因此，你可以查看到由许多服务器信息聚合得到的结果，也可以按照你的意愿，查看单独某台服务器的信息。（Cacti和Cricket无法显示聚合数据。）以上这些系统都可以被用作MySQL系统信息的收集、记录、图表化数据和报告，它们在用途方面差异较小，都具备了不同程度的兼容性。但是，它们缺乏真正意义上的兼容性，比如当某些东西出错时，它要能够有针对性地发送报警信息给某些人。它们中的一些甚至没有“错误”的概念。所以，有些人把这一点看作是此类系统的一大缺点，觉得最好还是把记录、图表化表示、报警这几项功能都独立开来。事实上，Munin特地设计了使用Nagios来作为它的报警系统。然而，对于其他几个来说，这的确是缺点。另外还有一个缺点就是安装和配置这样一个系统，使其能完全满足你需求，须投入很多时间和努力，不过，这一点也并不是这样。 最后，RRD文件无法让你使用SQL或其他标准方法来查询它里面的数据。而且，在默认情况下，它永远会以一种恰好的粒度来存储数据，许多MySQL管理员就不愿意接受这种限制，转而选择一个关系数据库来存储这些历史数据。交互性工具
innotop
innotop是一个通过文本模式显示MySQL和InnoDB的监测工具。它有很多特点，快速的配置的，易于使用等。它吸取了MYTOP的精华这使它变得更加强大。innotop是用PERL语言写成的，这是它能更加灵活的使用在各种操作平台之上，它能详细的的监控出当前MYSQL和INNODB运行的状态，以便维护人员根据结果合理的优化MYSQL，让MYSQL更稳定更高效的运行。安装INNOTOP工具非常的简单，既然是由PERL写的，当然需要PERL环境和相关的工具包。在安装之前先要确定你的系统安装了Time::HiRes,Term::ReadKey,DBI,DBD::mysql这四个包。安装可以把包下载下来通过编译安装完成也可以用PERL模块安装方式来完成。mtop
是一个显示MySQL服务器查询状态的监视器。功能包括显示完成的查询进程，显示查询优化的信息及杀死一个查询。附加功能包括服务器性能统计，配置信息和调整技巧提示。mytop
mytop就是類似top的MySQL監察工具。執行mytop後，它會每隔幾秒更新一次，而且也可以針對性地監察某一個資料庫。分析工具
HackMySQL 工具（这个很出名，可惜已停止更新）
1、Mysqlreport
2、Mysqlsla3、Maatkit分析工具MySQL的辅助工具
MySQL里有几个工具是为了消除MySQL提供的功能与它自带的命令行工具之间的隔阂。a、MySQL Proxyb、Dormando的MySQL代理phpMyAdmin安装详细步骤
安装nginx
Nginx需要依赖下面3个包 1. gzip 模块需要 zlib 库 ( 下载: http://www.zlib.net/ ) zlib-1.2.8.tar.gz2. rewrite 模块需要 pcre 库 ( 下载: http://www.pcre.org/ ) pcre-8.21.tar.gz3. ssl 功能需要 openssl 库 ( 下载: http://www.openssl.org/ ) openssl-1.0.1.tar.gz注意：
如果用源码安装的话，后面nginx安装的时候需要指定 --with-pcre 对应的压缩包路径，如果用二进制包安装则不需指定依赖包一键安装： yum -y install zlib zlib-devel openssl openssl--devel pcre pcre-devel
采用源码包安装命令
openssl： tar -xzvf openssl-1.0.1.tar.gz cd openssl-1.0.1 ./config(注意) && make && make install pcre: tar -xzvf pcre-8.21.tar.gz cd pcre-8.21 ./configure && make && make install zlib: tar -xzvf zlib-1.2.8.tar.gz cd zlib-1.2.8 ./configure && make && make install
nginx安装命令
./configure --sbin-path=/usr/local/nginx/nginx --conf-path=/usr/local/nginx/nginx.conf --pid-path=/usr/local/nginx/nginx.pid --with-http_ssl_module --with-pcre=../pcre-8.38 --with-zlib=../zlib-1.2.8 --with-openssl=../openssl-1.0.2g--with-http_stub_status_module --user=nginx --group=nginx
安装后的配置
本文主要讲mySQL对于nginx的优化和基本操作不作描述，读者可以自行参考相关文档。
按照上述过程nginx会被安装在 /usr/local/nginx目录。
因此在更改了nginx的核心配置文件nginx.conf后可以使用如下命令进行启动
/usr/local/nginx/nginx –c /usr/local/nignx/nginx.conf
安装FCGI组件
Nginx不像apache，默认支持php功能具有php相关的模块。Nginx是通过fcgi套件结合php来实现支持解析php功能的。安装fcgi
yum install –y spawn-fcgi fcgi-devel fcgi以上步骤执行完毕后，我们安装了：
spawn-fcgi
这个东西特别有意思，因为nginx默认是不支持cgi的，而gitweb是用cgi写的，因此我们才安装fastcgi，而fastcgi又要通过spawn-fcgi来启动。。。因此。。。必须要装spawn-fcgi。
fcgi-devel 和 fcgi它们都属于fastcgi运行时的lib库。从以下网址下载该组件：
运行以下命令cd fcgiwrapautoreconf –I configuremakemake install全部安装完后注意检查以下必要文件是否存在
- /etc/init.d 目录下有一个spawn-fcgi程序
- /usr/bin 目录下有一个spawn-fcgi程序
- /var/www/git目录下是gitweb所有的文件（网页版git）
- /etc/目录下有一个gitweb.conf文件
- /etc/sysconfig/目录下有一个spawn-fcgi文件
修改/etc/sysconfig/spawn-fcgi文件
# You must set some working options before the "spawn-fcgi" service will work.# If SOCKET points to a file, then this file is cleaned up by the init script.## See spawn-fcgi(1) for all possible options.## Example :#SOCKET=/var/run/php-fcgi.sock#OPTIONS="-u apache -g apache -s $SOCKET -S -M 0600 -C 32 -F 1 -P /var/run/spawn-fcgi.pid -- /usr/bin/php-cgi"
以上是原来文件的内容
修改后的内容如下显示：# You must set some working options before the "spawn-fcgi" service will work.# If SOCKET points to a file, then this file is cleaned up by the init script.## See spawn-fcgi(1) for all possible options.## Example :#SOCKET=/var/run/php-fcgi.sock#OPTIONS="-u apache -g apache -s $SOCKET -S -M 0600 -C 32 -F 1 -P /var/run/spawn-fcgi.pid -- /usr/bin/php-cgi"FCGI_SOCKET=/var/run/fcgiwrap.socketFCGI_PROGRAM=/usr/local/sbin/fcgiwrapFCGI_USER=nginxFCGI_GROUP=nginxFCGI_EXTRA_OPTIONS="-M 0700"OPTIONS="-u $FCGI_USER -g $FCGI_GROUP -s $FCGI_SOCKET -S $FCGI_EXTRA_OPTIONS -F 1 -P /var/run/spawn-fcgi.pid -- $FCGI_PROGRAM"
启动spawn-fcgi
chkconfig --levels 2345 spawn-fcgi onchkconfig --levels 2345 php-fpm on/etc/init.d/spawn-fcgi startservice php-fpm start
把spawn-fcgi设为开机启动，并启动该服务，该服务成功启动后会在：
/var/run目录下生成一个fcgiwrap.socket文件。
安装php5模块
我这边使用的是php-5.6.2，下载地址为：使用命令：wget http://cn2.php.net/distributions/php-5.6.2.tar.gz
安装libmcrypt
yum install php-mcrypt libmcrypt libmcrypt-devel
编译和安装php5
./configure --prefix=/usr/local/php --with-config-file-path=/usr/local/php/etc --enable-fpm --with-fpm-user=php-fpm --with-fpm-group=php-fpm --with-mysql=mysqlnd --with-mysql-sock=/var/lib/mysql/mysql.sock --with-libxml-dir --with-gd --with-jpeg-dir --with-png-dir --with-freetype-dir --with-iconv-dir --with-zlib-dir --with-mcrypt --enable-soap --enable-gd-native-ttf --enable-ftp --enable-mbstring --enable-exif --disable-ipv6 --with-pear --with-curl --with-opensslMake && make install
测试php5与nginx的结合
编写一个测试php文件为test.php，内容如下：
把它放于/var/www.php目录内
配置nginx
server { error_log logs/php.error.log; access_log logs/php.access.log; listen 82; server_name 192.168.0.101; root /var/www/php; index index.php; location ~ .php$ { gzip off; #fastcgi_pass unix:/var/run/fcgiwrap.socket; fastcgi_pass 127.0.0.1:9000; fastcgi_index index.php; fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name; include fastcgi_params; fastcgi_connect_timeout 300; fastcgi_send_timeout 300; fastcgi_read_timeout 300; } location = /favicon.ico { log_not_found off; access_log off; } location ~ /\.ht { deny all; } } 运行测试.php
我们打开一个ie使用如：http://192.168.0.101:82/test.php来访问我们的测试页，如果你得到下面类似的界面，那就说明你的php已经和nginx结合成功了，如果你遇到下面这几个错误，本文将给出解决方法（网上的基本都是不对的）。
Nginx在访问时IE出现502 bad gateway错误解决方法
nginx出现502有很多原因，但大部分原因可以归结为资源数量不够用,也就是说后端php-fpm处理有问题，nginx将正确的客户端请求发给了后端的php-fpm进程，但是因为php-fpm进程的问题导致不能正确解析php代码，最终返回给了客户端502错误。
服务器出现502的原因是连接超时 我们向服务器发送请求 由于服务器当前链接太多，导致服务器方面无法给于正常的响应,产生此类报错因此如果你服务器并发量非常大，那只能先增加机器，然后按以下方式优化会取得更好效果;但如果你并发不大却出现502，一般都可以归结为配置问题，脚本超时问题。php-fpm进程数不够用
使用 netstat -napo |grep "php-fpm" | wc -l 查看一下当前fastcgi进程个数，如果个数接近conf里配置的上限，就需要调高进程数。
但也不能无休止调高，可以根据服务器内存情况，可以把php-fpm子进程数调到100或以上，在4G内存的服务器上200就可以。我们的php是安装在/usr/local/php目录下，更改/usr/local/php/php-fpm.conf文件，找到下面这一行。pm.max_children = 10也有可能这一行是被注释掉的，把它放开后改动如下：
pm.max_children = 100调高调高linux内核打开文件数量
echo 'ulimit -HSn 65536' >> /etc/profileecho 'ulimit -HSn 65536' >> /etc/rc.localsource /etc/profile脚本执行时间超时
如果脚本因为某种原因长时间等待不返回 ，导致新来的请求不能得到处理，可以适当调小如下配置。
nginx.conf里面主要是如下fastcgi_connect_timeout 300;fastcgi_send_timeout 300;fastcgi_read_timeout 300;php-fpm.conf里如要是如下
request_terminate_timeout = 10s缓存设置比较小 修改或增加配置到nginx.conf
proxy_buffer_size 64k;proxy_buffers 512k;proxy_busy_buffers_size 128k;
报ERROR: cannot get uid for user '@php_fpm_user@'错
修改php的配制文件（此例我们在/usr/local/php/etc/目录下的php-fpm.conf文件）
user = php-fpmgroup = php-fpm在文件中加入上述两行，同时在centos中加入相应的用户和组重启php-fpm服务即可。
安装phpMyAdmin
注：
phpMyAdmin版本和mySql版本有对应关系，目前较高版的phpMyAdmin支持的是mySql5.x及以上版本。因为我安装的是mySQL5.1.x，因此我只能用phpMyAdmin4.0.x。我们把phpMyAdmin-4.0.4.2-all-languages.zip解压后的内容全部copy进/var/www/php/目录下的/myadmin目录内。配置config文件
mysql主机信息
$cfg['Servers'][$i]['host'] $cfg['Servers'][$i]['port'] $cfg['Servers'][$i]['user'] $cfg['Servers'][$i]['password']把这些值按照你需要管理的mysql的主机信息一一填写完整，user和password你可以使用mysql的root用户信息。
认证方式
短语密码(blowfish_secret)的设置
$cfg['blowfish_secret'] = '';
如果认证方法设置为cookie，就需要设置短语密码，置于设置为什么密码，由您自己决定 ，但是不能留空，否则会在登录phpmyadmin时提示错误，如：我设置的就是secret。初始化phpMyAdmin
一切就绪后你可以使用http://192.168.0.101:82/myadmin/这样的网址登录你的phpMyAdmin了，第一次登录会要求你输入“短语密码”，我们输入事先配置好的secret，然后在用户名和密码处输入你要管理的mysql实例的root用户名和密码即可以通过phpMyAdmin来管理你的mySQL实例了。
通过phpMyAdmin你可以感受到相当强大的图形化mySQL管理功能。
mySQL 的批量操作-rewriteBatchedStatements参数
默认mySQL的驱动是不支持批量操作的即使用了addBatch
使用 jdbc的批量操作，就是PreparedStatement 类上的addBatch(),executeBatch()方法。
在这里要提醒一下大家，MySql的JDBC驱动，是不支持批量操作的，就算你在代码中调用了批量操作的方法，MySql的JDBC驱动，也是按一般insert操作来处理的。 同样Fetch Size特性MySql的JDBC驱动也不支持。而Oracle的JDBC驱动是都支持的。 如果你以前使用的是Mysql数据库， 不要指望通过批处理来提高性能了。因此这才有了rewriteBatchedStatements参数的用法。mySQL的批量操作设置
MySql的JDBC连接的url中要加rewriteBatchedStatements参数，并保证5.1.13以上版本的驱动，才能实现高性能的批量插入。
例如：String connectionUrl="jdbc:mysql://192.168.1.100:3306/test?rewriteBatchedStatements=true" ;还要保证Mysql JDBC驱的版本相匹配。
Mysql JDBC驱动，各个版本测试结果
通过一个例子来作对比
Java核心代码-非批量（非addBatch）
try { PreparedStatement prest = conn.prepareStatement(sql); long a=System.currentTimeMillis(); for(int x = 1; x <= count; x++){ prest.setInt(1, x); prest.setString(2, "张三"); prest.execute(); if(x%point==0){ conn.commit(); } } long b=System.currentTimeMillis(); print("MySql非批量插入10万条记录",a,b,point); } catch (Exception ex) { ex.printStackTrace(); }finally{ close(conn); } Java核心代码-批量（addBatch）
try { PreparedStatement prest = conn.prepareStatement(sql); long a=System.currentTimeMillis(); for(int x = 1; x <= count; x++){ prest.setInt(1, x); prest.setString(2, "张三"); prest.addBatch(); if(x%point==0){ prest.executeBatch(); conn.commit(); } } long b=System.currentTimeMillis(); print("MySql批量插入10万条记录",a,b,point); } catch (Exception ex) { ex.printStackTrace(); }finally{ close(conn); } 运行结果对比（插入10万条记录）
不加rewriteBatchedStatements的情况下进行对比
这里通过一个点也可以看出来：
- Mysql批量与非批量性能是一样。
- oracle的JDBC实现的批量操作的性能十分优秀。
给mySQL加上rewriteBatchedStatements的情况下进行对比
String connectionUrl="jdbc:mysql://192.168.1.100:3306/test?rewriteBatchedStatements=true" ;笔者在使用mysql jdbc驱动5.1.13版的基础上 加了rewriteBatchedStatements参数， 并配合使用addBatch方法，10万条记录的一次性插入速度提高到了1.6秒左右。 以下是使用了rewriteBatchedStatements后再配合使用addBatch的统计结果，供对比：
你可能感兴趣的文章
Handbook of Constraints Programming——Chapter4 Backtracking Search Algorithms-Preliminaries
查看>>
[转载] 信息系统项目管理师视频教程——14 项目进度管理
查看>>
linux 解压文件
查看>>
区块链学习指南
查看>>
LINUX-软件安装（四）
查看>>
JavaScript学习总结（5）——Javascript面向(基于)对象编程
查看>>
Ansible入门
查看>>
Spring常用注解
查看>>
SVN学习总结（1）——SVN简介及入门使用
查看>>
浅谈linux性能调优之五:调优软raid
查看>>
Android sdk下载缓慢解决方式
查看>>
Q+无法启动？启动后立即退出？折腾……
查看>>
SQL2008不能删除过期备份
查看>>
IBM TPC强化中国建设银行存储管理能力
查看>>
exchange2013恢复数据库
查看>>
flume收集tomcat日志保存到本地目录
查看>>
常用ftp子命令的总结
查看>>
IOS 集成 ijkplayer遇到的问题
查看>>
正则表达式
查看>>
在 JS 中使用 fetch 更加高效地进行网络请求
查看>>