rally测试方案
在体验完 Elasticsearch 便捷的操作后,下一步一定会碰到的问题是:数据写入变慢了,机器变卡了,是需要做优化呢?还是需要扩容设备了?如果做扩容,索引的分片和副本设置多少才合适?如果做优化,某个参数能造成什么样的影响?
而 ES 集群性能,受服务器硬件、数据结构和长度、请求接口复杂度等各种环节影响颇大。这些问题,都需要有一个标准的测试流程给出答案。
由于 ES 是近乎线性扩展的分布式系统,所以对上述需求我们都可以总结成同一个测试模式:
使用和线上集群相同硬件配置的服务器搭建一个单节点集群。
使用和线上集群相同的映射创建一个 0 副本,1 分片的测试索引。
使用和线上集群相同的数据写入进行压测。
观察写入性能,或者运行查询请求观察搜索聚合性能。
持续压测数小时,使用监控系统记录 eps、requesttime、fielddata cache、GC count 等关键数据。
测试完成后,根据监控系统数据,确定单分片的性能拐点,或者适合自己预期值的临界点。这个数据,就是一个基准数据。之后的扩容计划,都可以以这个基准单位进行。
需要注意的是,测试是以分片为单位的,在实际使用中,因为主分片和副本分片都是在各自节点做 indexing 和 merge 操作,需要消耗同样的写入性能。所以,实际集群的容量预估中,要考虑副本数的影响。也就是说,假如你在基准测试中得到单机写入性能在 10000 eps,那么开启一个副本后所能达到的 eps 就只有 5000 了。还想写入 10000 eps 的话,就需要加一倍机器。
另外,测试中我们使用的配置都尽量贴合当前现状。事实上,很多配置可能其实并不合理。在确定基准线并开始扩容之前,还是要认真调节配置,审核请求使用的接口是否最优,然后反复测试。然后取一个最终的基准值。
审核请求,更是一个长期的过程,就像 DBA 永远需要关注慢查询一样。ES 的慢查询请求处理,请阅读稍后性能日志一节。
esrally 测试工具
esrally 是 Elastic.co 开源的专门做 Elasticsearch 压测的工具。我们在官网上看到的 nightly benchmark 结果就是用这个工具每晚运行生成的报告。用这个工具,可以很方便的验证自己的代码修改、配置调整对性能的影响效果。
安装运行
esrally 依赖 python3.4+,所以需要先安装好 python 3.5。然后直接 pip3 install esrally
即可。
被压测的 Elasticsearch 有两种来源:
本机有 gradle 工具的,可以从最新的 GitHub master 代码编译
没有 gradle 工具的,可以按官方提供的标签,下载对应版本的二进制分发包。
esrally 在压测完毕后,可以把指标数据写入到另一个 ES 索引中,可以很方便的用 Kibana 做图表可视化。这就需要另外配置一下 ~/.rally/rally.ini
里 reporting 部分的参数:
不用担心这个 ES 会跟一会儿压测运行的 ES 冲突,因为压测启动的 ES 会监听在其他端口上。
我们先简单测试一下标准的运行::
默认情况下压测采用的数据集叫 geonames,是一个 2.8GB 大的 JSON 数据。ES 也提供了一系列其他类型的压测数据集。如果要切换数据集采用 --track 参数:
重复运行的时候可以修改 ~/.rally/rally.ini
里的 tracks[default.url]
,改为第一次运行时下载的地址:~/.rally/benchmarks/tracks/default 。然后采用离线参数重复运行:
静静等待程序运行完毕,就会给出一个漂亮的输出结果了。
调整压测任务
默认一次压测运行会是一个很漫长的时间,如果你其实只关心部分的性能,比如只关心写入,不关心搜索。其实可以自己去修改一下 track 的任务定义。
track 的定义文件在 ~/.rally/benchmarks/tracks/default/geonames/track.json
。如果你改动较大,建议直接新建一个 track 目录,比如叫 mytest/track.json
。
对照 geonames 里的定义,一个 track 包括以下部分:
meta:定义数据来源 URL。
indices:定义索引名称、索引 mapping 的文件位置、数据的存放位置和校验信息。
operations:定义一个个操作的名称、类型、索引和请求参数。如果操作类型是 index,可用的索引参数有:client 并发量、bulk 大小、是否强制 merge 等;如果操作类型是 search,可用的请求参数就是一个 queries 数组,按序放好一个个 queryDSL。
challenges:定义好名称和调用哪些 operation,调用顺序如何。
最后运行命令的时候通过 --challenge= 参数来指定执行哪个任务。
比如我们只关心写入不关心搜索,打开 track.json 可以看到有这么几个 challenges:
我们就知道了,默认的 append-no-conflicts
是要测完写入再测搜索的,而 append-fast-no-conflicts
是只测写入的。那么我们这么运行就行:
调整压测数据
如果要用自己的数据集呢,也一样是在自己的 track.json 里定义,比如:
这里就是用的一份 splunkd 的 internal 日志,JSON 导出。字节数大小为 938012996。压缩后为 19149532。
Last updated