农企新闻网

大数据实时剖析范畴的黑马ClickHouse中国区第一次Meetup

发布者:王悦一
导读初识ClickHouse还是在易观2017年下半年举行的OLAP大赛上,事先以转化漏斗的实践使用场景,在40多支国际顶尖参赛队伍中,在竞赛的众多苛刻软硬件环境下,开源组第一名运用的ClickHouse以速度惊人的成果最终摘得了此次大赛桂冠,博得了10万奖金,ClickHouse“一战成名”,易观CTO郭炜同时发起了ClickHouse中国区用户组社区“ClickHouse User Group i

初识 ClickHouse还是在易观2017年下半年举行的OLAP大赛上,事先以转化漏斗的实践使用场景,在40多支国际顶尖参赛队伍中,在竞赛的众多苛刻软硬件环境下,开源组第一名运用的ClickHouse以速度惊人的成果最终摘得了此次大赛桂冠,博得了10万奖金,ClickHouse“一战成名”,易观CTO郭炜同时发起了ClickHouse中国区用户组社区“ClickHouse User Group in China”,越来越多的对ClickHouse感兴味的同伴参加了该社区,社区地址: ClickHouse 中文社区  (www.clickhouse.com.cn), 但仍然有很多对 ClickHouse不甚熟习的同伴(这也是撰写该文的重要缘由),普及吸收先进技术是技术人的孜孜追求,欢送各位小同伴参与2018年1月27日Clickhouse中国第一次线下Meetup,本次Meetup是ClickHouse官方支持的Meetup,yandex团队现场分享。上面先对ClickHouse做个引见,希望对大家熟习ClickHouse有所协助。

ClickHouse是 “战役民族”俄罗斯搜索巨头Yandex公司开源的一个极具"战役力"的实时数据剖析数据库,是面向 OLAP 的散布式列式DBMS,圈内人戏称为“喀秋莎数据库”。ClickHouse有一个简称"CK",与Hadoop、Spark这些巨无霸组件相比,ClickHouse很轻量级,其特点:

  1. 列式存储数据库,数据紧缩
  2. 关系型、支持SQL
  3. 散布式并行计算,把单机功能压榨到极限
  4. 高可用
  5. 数据量级在 PB级别
  6. 实时数据更新
  7. 索引

ClickHouse最大的特点就是快,快,快,重要的话说三遍。为啥这样快呢?

  1. 优秀的代码编写,强⼤的底层优化,严厉的单元测试,内置 300多个函数
  2. A vector engine & Code generation
  3. CPU底层指令集的使⽤
  4. C++新特性

其实关于功能,可以参考这两篇:

CK出众的缘由也跟其引擎有关,兼并树 (MergeTree)系列的引擎经过主键停止字典序陈列. 主键可以是列或表达式的恣意 tuple。数据依照主键顺序存储数据,主键本身是稀疏的,它不定位到每一行,而是一些数据范围,当我们从MergeTree引擎中读取数据时,首先定位了能够包括恳求数据的范围,要留意的兼并树不是一个LSM树,由于它不包括内存表 和日志,拔出的数据直接写入到文件零碎,在消费环境中,写入的话次要以批量拔出数据为主。在查询进程中,数据经过数组来处置(向量或许列Chunk),查询时,操作被转发到数组上,而不是在特定的值上。因而被称为”向量化查询执行”,绝对于实践的数据处置本钱,向量化处置具有更低的转发本钱。

据悉,目前曾经有新浪、 verta、percona、品友、电信等公司在运用,为了更好的传达优秀的ClickHouse技术,欢送各位小同伴参与2018年1月27日Clickhouse线下Meetup。活动报名链接: http://www.huodongxing.com/event/5418742362800Meetup地点在中关村创业大街,海置创投大厦7层创业邦DemoSpace,详细更新请大家关注 ClickHouse 中文社区。

  • 官方Benchmark
  • Mark Litwintschik 的压测文章