40W并发处理惩罚规划
添加时间:2013-7-9 点击量:
以前都是采取csdn和google的博客，比来看到伴侣都在用博客园，索性申请了一个，本人是菜鸟不喜勿喷。大师多多指导。
本文是和别的一个石友处理惩罚一个项目时辰写的解决规划。
说忠诚话40W数据不大，然则处理惩罚的办法差不久不多类似吧。空话不久不多说直接上解决办法。
一、数据库布局的设计
起首设计一个公道的数据库模型，不仅会削减客户端和办事器段法度的编程和保护的难度，并且将会大大增长体系实际运行的机能。所以，在一个体系开端实验之前，必须完全的数据库模型的设计。
二、查询的优化
包管在实现功能的根蒂根基上，尽量削减对数据库的接见次数；经由过程搜刮参数，尽量削减对表的接见行数，最小化成果集，从而减轻收集肩负；可以或许分隔的操纵尽量分隔处理惩罚，进步每次的响应速度；在数据窗口应用SQL时，尽量把应用的索引放在选择的首列；算法的布局尽量简单；在查询时，不要过多地应用通配符如SELECT FROM T1语句，要用到几列就选择几列如：SELECT COL1，COL2 FROM T1；在可能的景象下尽量限制尽量成果集行数如：SELECT TOP 300 COL1，COL2，COL3 FROM T1，因为某些景象下用户是不须要那么多的数据的。
在没有建索引的景象下，数据库查找某一条数据，就必须进行全表扫描了，对所稀有据进行一次遍历，查找出合适前提的记录。
三、算法的优化
尽量避免应用游标，因为游标的效力较差，若是游标操纵的数据跨越1万行，那么就应当推敲改写。.应用基于游标的办法或姑且表办法之前，应先寻找基于集的解决规划来解决题目，基于集的办法凡是更有效。与姑且表一样，游标并不是不成应用。对小型数据集应用 FAST_FORWARD 游标凡是要优于其他逐行处理惩罚办法，尤其是在必须引用几个表才干获得所需的数据时。在成果集中包含“合计”的例程凡是要比应用游标履行的速度快。若是开辟时候容许，基于游标的办法和基于集的办法都可以测验测验一下，看哪一种办法的结果更好。
游标供给了对特定凑集中逐行扫描的手段，一般应用游标逐行遍历数据，按照取出的数据不合前提进行不合的操纵。尤其对多表和大表定义的游标（大的数据凑集）轮回很轻易使法度进入一个漫长的等特甚至死机。
在有些场合，有时也非得应用游标，此时也可推敲将合适前提的数据行转入姑且表中，再对姑且表定义游标进行操纵，可时机能获得明显进步。封装存储过程
四、建树高效的索引
创建索引一般有以下两个目标：保护被索引列的独一性和供给快速接见表中数据的策略。大型数据库有两种索引即簇索引和非簇索引，一个没有簇索引的表是按堆布局存储数据，所有的数据均添加在表的尾部，而建树了簇索引的表，其数据在物理上会遵守簇索引键的次序存储，一个表只容许有一个簇索引，是以，按照B树布局，可以懂得添加任何一种索引均能进步按索引列查询的速度，但会降落插入、更新、删除操纵的机能，尤其是当填充因子（Fill Factor）较大时。所以对索引较多的表进行频繁的插入、更新、删除操纵，建表和索引时因设置较小的填充因子，以便在各数据页中留下较多的空间，削减页分别及从头组织的工作。
索引是从数据库中获取数据的高效体式格式之一。95％ 的数据库机能题目都可以采取索引技巧获得解决。作为一条规矩，我凡是对逻辑主键应用独一的成组索引，对体系键（作为存储过程）采取独一的非成组索引，对任何外键列[字段]采取非成组索引。不过，索引就象是盐，太多了菜就咸了。你得推敲数据库的空间有多大，表如何进行接见，还有这些接见是否首要用作读写。
其他重视事项
“水可载舟，亦可覆舟”，索引也一样。索引有助于进步检索机能，但过多或不当的索引也会导致体系低效。因为用户在表中每加进一个索引，数据库就要做更多的工作。过多的索引甚至会导致索引碎片。
所以说，我们要建树一个“恰当”的索引体系，希罕是对聚合索引的创建，更应不断改进，以使您的数据库能获得高机能的阐扬
解决规划：建树中心表，经由过程DTS调剂天天共步数据。
中心表设计原则
记录数同原表一样，削减多表连接，保存运算好的值，若是记录批改，按照批改日记，从头策画中心值
增量同步数据（DTS）
直接从天天的数据库更改日记读取记录，更新中心表，按照办事器空间程度公道调剂DTS，削减数据同步时候。
对中心数据进交运算
查询不作字段运行，所以运算在生成中心表的过程中已经策画
按照查询，优化索引设计
按照数据查询特点，对where ，GROUP BY等操纵字段进行索引设计，进步查询速度
优化数据类型
多量采取Int进步查询、统计速度
优化中心表关键字
采取Int，进步插入速度
数据文件优化设计，一个首要营业，一个数据文件，建数据文件时，估计数据量，一次建一个斗劲大的文件，如许所分派的文件就是一个连气儿文件块。
五、JVM调优
体系采取的是Java+Tomcat+Mysql，可以对Java虚拟机JVM进行设备优化。JVM一般如今的垃圾收受接管都是采取的分代收受接管的体式格式实现的。设备Java –Xmx3800m –Xms3800m –Xmn2g –Xss128k –XX:+UseParallelGC –XX:ParallelGCThreads=20 设备内存和并发才能。具体设备不做描述了。JVM调优要现场运维测试调优。
六、缓冲池技巧
对于40万的用户量体系是不克不及避免的会承载程度40万同时在线估计是最多40万同时在线参与投票。对于三个流程是花费资料最多的时辰进行缓冲池处理惩罚，一个流程是用户登录时，用户名暗码的验证；第二个流程就是用户投票的时候段体系承受的接见的量，第三个流程就是消息推送，采取多线程对于要推送的用户进行列队推送。
七、页面静态化技巧和负载均衡技巧
用户提交数据是采取局部刷新，即只提交用户须要用到的，一些不改变的数据就不须要进行提交和。
（1） 采取负载均衡处理惩罚客户端的恳求，可以或许解决上切切的恳求并发处理惩罚。
该章描述一些处理惩罚体系大并发的概要规划，经由过程测试的数据申明规划的可行性。Mysql数据库采取SELECT 全查询50万条查询时候1.130秒的时候。
在数据库直接运行sql语句查询id须要0.564秒，而java中采取数据库连接查询52万条数据花费的时候是2.776秒时候。
数据库采取sql语句用时图
采取java操纵数据库查询全部id用时
采取优化后登录验证只须要1.070秒的时候，如许大用户量登录底子就不是题目。
八、ehcache缓存技巧+LRU等镌汰算法
因为本体系是高并发，大数据量，高机能的体系。所以cache（缓存）起到了很是首要的感化，ehcache是一个纯Java的过程内缓存框架，具有快速、精壮等特点。本来应用过多种基于Java的开源Cache组件，此中包含OSCache、JBossCache、EHCache。OSCache功能强大，应用灵活，可用于对象缓存、Filter缓存以及在JSP中直接应用cache标签。在比来的应用过程中发明，在并发量较高时，OSCache会呈现线程梗阻和数据错误，经由过程解析源代码发明是其内部实现的缺点。JBossCache大长处是支撑基于对象属性的集群同步，不过JBossCache的设备应用都较错杂，在并发量较高的景象下，对象属性数据在集群中同步也会加大体系的开销。EHCache是来自sourceforge（http://ehcache.sourceforge.net/）的开源项目，也是纯Java实现的简单、快速的Cache组件。EHCache支撑内存和磁盘的缓存，支撑LRU、LFU和FIFO多种镌汰算法，支撑分布式的Cache，可以作为Hibernate的缓存插件。同时它也能供给基于Filter的Cache，该Filter可以缓存响应的内容并采取Gzip紧缩进步响应速度。
九、commons-pool
创建新的对象并初始化的操纵，可能会消费很多的时候。在这种对象的初始化工作包含了一些费时的操纵（例如，从一台位于20，000千米以外的主机上读出一 些数据）的时辰，尤其是如许。在须要多量生成如许的对象的时辰，就可能会对机能造成一些不成忽视的影响。要缓解这个题目，除了选用更好的硬件和更棒的虚拟 机以外，适本地采取一些可以或许削减对象创建次数的编码技能，也是一种有效的对策。对象池化技巧（Object Pooling）就是这方面的有名技能，而Jakarta Commons Pool组件则是处理惩罚对象池化的得力外援。
容易发怒的意思就是： 别人做了蠢事， 然后我们代替他们， 表现出笨蛋的样子。—— 蔡康永
以前都是采取csdn和google的博客，比来看到伴侣都在用博客园，索性申请了一个，本人是菜鸟不喜勿喷。大师多多指导。
本文是和别的一个石友处理惩罚一个项目时辰写的解决规划。
说忠诚话40W数据不大，然则处理惩罚的办法差不久不多类似吧。空话不久不多说直接上解决办法。
一、数据库布局的设计
起首设计一个公道的数据库模型，不仅会削减客户端和办事器段法度的编程和保护的难度，并且将会大大增长体系实际运行的机能。所以，在一个体系开端实验之前，必须完全的数据库模型的设计。
二、查询的优化
包管在实现功能的根蒂根基上，尽量削减对数据库的接见次数；经由过程搜刮参数，尽量削减对表的接见行数，最小化成果集，从而减轻收集肩负；可以或许分隔的操纵尽量分隔处理惩罚，进步每次的响应速度；在数据窗口应用SQL时，尽量把应用的索引放在选择的首列；算法的布局尽量简单；在查询时，不要过多地应用通配符如SELECT FROM T1语句，要用到几列就选择几列如：SELECT COL1，COL2 FROM T1；在可能的景象下尽量限制尽量成果集行数如：SELECT TOP 300 COL1，COL2，COL3 FROM T1，因为某些景象下用户是不须要那么多的数据的。
在没有建索引的景象下，数据库查找某一条数据，就必须进行全表扫描了，对所稀有据进行一次遍历，查找出合适前提的记录。
三、算法的优化
尽量避免应用游标，因为游标的效力较差，若是游标操纵的数据跨越1万行，那么就应当推敲改写。.应用基于游标的办法或姑且表办法之前，应先寻找基于集的解决规划来解决题目，基于集的办法凡是更有效。与姑且表一样，游标并不是不成应用。对小型数据集应用 FAST_FORWARD 游标凡是要优于其他逐行处理惩罚办法，尤其是在必须引用几个表才干获得所需的数据时。在成果集中包含“合计”的例程凡是要比应用游标履行的速度快。若是开辟时候容许，基于游标的办法和基于集的办法都可以测验测验一下，看哪一种办法的结果更好。
游标供给了对特定凑集中逐行扫描的手段，一般应用游标逐行遍历数据，按照取出的数据不合前提进行不合的操纵。尤其对多表和大表定义的游标（大的数据凑集）轮回很轻易使法度进入一个漫长的等特甚至死机。
在有些场合，有时也非得应用游标，此时也可推敲将合适前提的数据行转入姑且表中，再对姑且表定义游标进行操纵，可时机能获得明显进步。封装存储过程
四、建树高效的索引
创建索引一般有以下两个目标：保护被索引列的独一性和供给快速接见表中数据的策略。大型数据库有两种索引即簇索引和非簇索引，一个没有簇索引的表是按堆布局存储数据，所有的数据均添加在表的尾部，而建树了簇索引的表，其数据在物理上会遵守簇索引键的次序存储，一个表只容许有一个簇索引，是以，按照B树布局，可以懂得添加任何一种索引均能进步按索引列查询的速度，但会降落插入、更新、删除操纵的机能，尤其是当填充因子（Fill Factor）较大时。所以对索引较多的表进行频繁的插入、更新、删除操纵，建表和索引时因设置较小的填充因子，以便在各数据页中留下较多的空间，削减页分别及从头组织的工作。
索引是从数据库中获取数据的高效体式格式之一。95％ 的数据库机能题目都可以采取索引技巧获得解决。作为一条规矩，我凡是对逻辑主键应用独一的成组索引，对体系键（作为存储过程）采取独一的非成组索引，对任何外键列[字段]采取非成组索引。不过，索引就象是盐，太多了菜就咸了。你得推敲数据库的空间有多大，表如何进行接见，还有这些接见是否首要用作读写。
其他重视事项
“水可载舟，亦可覆舟”，索引也一样。索引有助于进步检索机能，但过多或不当的索引也会导致体系低效。因为用户在表中每加进一个索引，数据库就要做更多的工作。过多的索引甚至会导致索引碎片。
所以说，我们要建树一个“恰当”的索引体系，希罕是对聚合索引的创建，更应不断改进，以使您的数据库能获得高机能的阐扬
解决规划：建树中心表，经由过程DTS调剂天天共步数据。
中心表设计原则
记录数同原表一样，削减多表连接，保存运算好的值，若是记录批改，按照批改日记，从头策画中心值
增量同步数据（DTS）
直接从天天的数据库更改日记读取记录，更新中心表，按照办事器空间程度公道调剂DTS，削减数据同步时候。
对中心数据进交运算
查询不作字段运行，所以运算在生成中心表的过程中已经策画
按照查询，优化索引设计
按照数据查询特点，对where ，GROUP BY等操纵字段进行索引设计，进步查询速度
优化数据类型
多量采取Int进步查询、统计速度
优化中心表关键字
采取Int，进步插入速度
数据文件优化设计，一个首要营业，一个数据文件，建数据文件时，估计数据量，一次建一个斗劲大的文件，如许所分派的文件就是一个连气儿文件块。
五、JVM调优
体系采取的是Java+Tomcat+Mysql，可以对Java虚拟机JVM进行设备优化。JVM一般如今的垃圾收受接管都是采取的分代收受接管的体式格式实现的。设备Java –Xmx3800m –Xms3800m –Xmn2g –Xss128k –XX:+UseParallelGC –XX:ParallelGCThreads=20 设备内存和并发才能。具体设备不做描述了。JVM调优要现场运维测试调优。
六、缓冲池技巧
对于40万的用户量体系是不克不及避免的会承载程度40万同时在线估计是最多40万同时在线参与投票。对于三个流程是花费资料最多的时辰进行缓冲池处理惩罚，一个流程是用户登录时，用户名暗码的验证；第二个流程就是用户投票的时候段体系承受的接见的量，第三个流程就是消息推送，采取多线程对于要推送的用户进行列队推送。
七、页面静态化技巧和负载均衡技巧
用户提交数据是采取局部刷新，即只提交用户须要用到的，一些不改变的数据就不须要进行提交和。
（1） 采取负载均衡处理惩罚客户端的恳求，可以或许解决上切切的恳求并发处理惩罚。
该章描述一些处理惩罚体系大并发的概要规划，经由过程测试的数据申明规划的可行性。Mysql数据库采取SELECT 全查询50万条查询时候1.130秒的时候。
在数据库直接运行sql语句查询id须要0.564秒，而java中采取数据库连接查询52万条数据花费的时候是2.776秒时候。
数据库采取sql语句用时图
采取java操纵数据库查询全部id用时
采取优化后登录验证只须要1.070秒的时候，如许大用户量登录底子就不是题目。
八、ehcache缓存技巧+LRU等镌汰算法
因为本体系是高并发，大数据量，高机能的体系。所以cache（缓存）起到了很是首要的感化，ehcache是一个纯Java的过程内缓存框架，具有快速、精壮等特点。本来应用过多种基于Java的开源Cache组件，此中包含OSCache、JBossCache、EHCache。OSCache功能强大，应用灵活，可用于对象缓存、Filter缓存以及在JSP中直接应用cache标签。在比来的应用过程中发明，在并发量较高时，OSCache会呈现线程梗阻和数据错误，经由过程解析源代码发明是其内部实现的缺点。JBossCache大长处是支撑基于对象属性的集群同步，不过JBossCache的设备应用都较错杂，在并发量较高的景象下，对象属性数据在集群中同步也会加大体系的开销。EHCache是来自sourceforge（http://ehcache.sourceforge.net/）的开源项目，也是纯Java实现的简单、快速的Cache组件。EHCache支撑内存和磁盘的缓存，支撑LRU、LFU和FIFO多种镌汰算法，支撑分布式的Cache，可以作为Hibernate的缓存插件。同时它也能供给基于Filter的Cache，该Filter可以缓存响应的内容并采取Gzip紧缩进步响应速度。
九、commons-pool
创建新的对象并初始化的操纵，可能会消费很多的时候。在这种对象的初始化工作包含了一些费时的操纵（例如，从一台位于20，000千米以外的主机上读出一 些数据）的时辰，尤其是如许。在须要多量生成如许的对象的时辰，就可能会对机能造成一些不成忽视的影响。要缓解这个题目，除了选用更好的硬件和更棒的虚拟 机以外，适本地采取一些可以或许削减对象创建次数的编码技能，也是一种有效的对策。对象池化技巧（Object Pooling）就是这方面的有名技能，而Jakarta Commons Pool组件则是处理惩罚对象池化的得力外援。
