做家简介：吴国泉
结业于华中科技大学，钻研生阶段即发端从事数据库及大数据手艺的钻研做事，曾到差于去哪儿网DBA团队、百度及时推算团队、小米智能云HBase团队；别离从事HBase、Hadoop和及时推算平台的运维研发做事。专一于散布式保存、推算周围。
很少写手艺博客，一是感触本人手艺有限，怕误人后辈；二是文笔较差，对照排斥写稿之类的做事。话说不琢磨，哪会有超过呢，由于生疏而抵牾，通常会堕入恶性轮回，生涯中其余事又未尝不是如许呢（俄然就感叹人生了...）。明日复明日，明日何其多，工夫不等人，有主意就要立马举动。有句话说的好：种一棵树最佳的工夫是十年前，其次是如今……共勉。
互联网期间种种保存框架屡见不鲜，目眩缭乱，好比保守的相关型数据库：Oracle、MySQL；新兴的NoSQL：HBase、Cassandra、Redis；全文检索框架：ES、Solr等。如做甚本人的营业拔取适宜的保存计划，确信众人都推敲过这个题目，本文简捷聊聊我对MySQL、HBase、ES的了解，指望能和众人一同钻研超过，有错误的地点还请指出。
MySQL：相关型数据库，首要面向OLTP，扶助工做，扶助二级索引，扶助SQL，扶助主从、groupreplication架构模子（本文全体以InnoDB为例，不触及其它保存引擎）。
HBase：基于HDFS，扶助海量数据读写（特为是写），扶助上亿列、上百万行的，面向列的散布式NoSQL数据库。自然散布式，主从架构，不扶助工做，不扶助二级索引，不扶助SQL。
ElasticSearch：ES是一款散布式的全文检索框架，底层基于lucene实行，尽管ES也供应保存，检索本能，但我一贯不以为ES是一款数据库，不过跟着ES本能越来越强壮，与数据库的边界也越来越朦胧。自然散布式，P2P架构，不扶助工做，采取倒排索引供应全文检索。
上面别离从数据保存方法、读写方法以及索引、散布式容灾等方面临它们举办相比。
数据保存方法
MySQL采取行保存，HBase是面向列的NoSQL数据库，至于ES，呃~我也说不了解它是甚么保存方法，权且叫它索引保存吧。
栗子
假使有如许一张人员音信表：
MySQL中要提早界说表布局，也便是说表国有几多列（属性）须要提早界说好，并且同时须要界说好每个列所占用的保存空间。数据以举动单元布局在一同的，要是某一行的某一列没稀有据，也须要占用保存空间。
HBase则因而列为单元保存数据，每一列便是一个key-value，HBase的表列（属性）不必提早界说，并且列能够动态扩充，好比人员音信表中须要增加一个新的“address”字段，MySQL须要提早alter表，HBase的话直接插入便可。
ES对照矫捷，索引中的field表率能够提早界说（界说mapping），也能够未必义，倘使未必义，会有一个默许表率，不过出于可控性思考，关键字段最佳提早界说好。（solr中务必提早界说好schema.xml文献）
上图简捷的展现了数据在MySQL和HBase中保存差别（和可靠的景况再有差别），能够看到即便第二笔纪录的sex字段为空，MySQL仍旧会为该字段保存空间，由于后续有大概会有update语句来革新该纪录，补上sex实质。而HBase则是把每一列都看做是一笔纪录，row+列名做为key，data做为value，顺序寄存。要是某一行的某一个列没稀有据，则直接跳过该列。对于稀少矩阵的大表，HBase能俭省空间。
看到这边，众人能否会有一个疑难：哄骗HBase保存时，假这样时须要增加第二行的sex实质，怎样实行呢，数据能否赓续？反面讲解读写过程会表明。
不相同的ES说完MySQL、HBase，这边要中心说一下ES，ES的保存方法和上头两个都不相同，MySQL和HBase是将数据按不同的方法举办保存，好歹它们存的照样数据，而ES则存的是倒排索引。咱们先来了解一下甚么是倒排索引，以及为甚么须要倒排索引（invertedindex）：
咱们肯建都邑如许的经验：偶尔看到一段很好的文字，不过却不了解由来，这光阴去典籍馆，一个一个翻找，无疑是海底捞针，这个光阴肿么办呢，因而便有了全文检索这项手艺，而它最中心的便是倒排索引。要是犹以下文档：
咱们想要了解有哪些文档含有“you”这个关键字，首先能够缔造一个倒排索引，格式以下：
咱们把前方的部份叫做dictionary（字典），内部的每个单词叫做term，反面的文档列表叫做posting-list，list中纪录了一齐含有该term的文档id，两个组合起来便是一个终了的倒排索引（invertedindex）。能够看出，要是须要探寻含有“you”的文档时，遵循dictionary而后找到对应的posting-list便可。
而全文检索中，缔造invertedindex是最关键也是最耗时的过程，并且真实的invertedindex布局也远比图中展现的繁杂，不光须要对文档举办分词（ES里华文能够自界说分词器），还要推算TF-IDF，便利评分排序（当探寻you时，评分决计哪个doc显示在前方，也便是所谓的探寻排名），紧缩等职掌。每接管一个document，ES就会将其音信革新在倒排索引中。
从这边咱们就能够看出ES和MySQL、HBase的保存照样有很大的差别。并且ES不光包括倒排索引，默许可时还会把文档doc保存起来，因而当咱们哄骗ES时，也能拿到完全的文档音信，因而某种程度上，感到就像在哄骗数据库相同，不过也能够摆设不保存文档音信，这时只可遵循盘诘前提获得文档id，并不能拿到完全的文档实质。
归纳：MySQL行保存的方法对照合适OLTP营业。列保存的方法对照合适OLAP营业，而HBase采取了列族的方法均衡了OLTP和OLAP，扶助程度扩充，倘使数据量对照大、对本能请求没有那末高、并且对工做没有请求的话，HBase也是个不错的思考。ES默许对一齐字段都建了索引，因而对照合适繁杂的检索或全文检索。
读写方法
保存方法和读写方法很大程度上决计了系统的含糊，本节首要讲解MySQL、HBase、ES各自是怎样读写数据的。
MySQL先说说MySQL，MySQL的InnDB中的数据是按主键的按次顺序寄存，主键即为聚簇索引，索引采取B+树布局举办布局。
从图中能够看出，数据是按聚簇索引按次顺序寄存，假使上面一些场景：
1.盘诘InnoDB中主键即为聚簇索引，要是遵循主键盘诘，聚簇索引的叶子节点寄存便是真实的数据，能够直接查到响应的纪录。
要是是二级索引盘诘，那末须要先经过二级索引找到该纪录的主键，而后遵循主键经过聚簇索引找到对应的纪录，这边多了一个索引探寻的过程。
对于索引的详细叙述，请参考《DBAce》以前连载的文章：
诳言InnoDB索引旨趣（一）
诳言InnoDB索引旨趣（二）
诳言InnoDB索引旨趣（三）
2.插入按次插入：由于InnDB的数据是按聚簇索引的按次顺序寄存的，倘使是遵循主键索引的按次插入，即插入的数据的主键是赓续的，由因而按次IO，因而插入效率会较高。
随机插入：要是屡屡插入的数据主键是不赓续的，MySQL须要掏出每笔纪录对应的物理block，会引发大批的随机io，随机io职掌温按次io的本能差别很大，特为是呆板盘。
（kafka