测试方法
TPC-H是业界常用的一套Benchmark,由TPC委员会制定发布,用于评测数据库的分析型查询能力。TPC-H查询包含8张数据表、22条复杂的SQL查询,大多数查询包含若干表Join、子查询和Group-by聚合等。
本次测试基于TPC-H 100G数据进行,其中主要表数据量如下:LINEITEM表约6亿行,ORDERS表1.5亿行,PARSUPP表8000万行。
测试环境
机器1台master阿里云主机3台core阿里云主机CPU8Core32Core内存32G128G带宽2.5 Gbit/s10 Gbit/s
软件部署
节点类型Impala?3.4.0StarRocks 2.2emr-header-1impala-catalog/impala-state-storeFEemr-worker-1impala-serverBEemr-worker-2impala-serverBEemr-worker-3impala-serverBE
测试配置
Impala配置
EMR上默认Impala是访问local hive cluster, 为了跨网络访问HDFS,需要:
修改配置文件
# /etc/ecm/impala-conf
<property>
<name>hive.metastore.uris</name>
<!-- <value>thrift://emr-header-1.cluster-49146:9083</value> -->
<value>thrift://192.168.1.11:9083</value>
</property>
将域名添加到所有机器的/etc/hosts下面重启所有的impala组件
优化参数如下:
num_remote_hdfs_io_threads = 48
num_hdfs_worker_threads = 48
coordinator_rpc_threads = 48
StarRocks配置
在StarRocks中按照如下方式创建外表,以外表形式访问Hive数据:
CREATE EXTERNAL TABLE `orders` (
`o_orderkey` int(11) NULL COMMENT "",
`o_custkey` int(11) NULL COMMENT "",
`o_orderstatus` varchar(1) NULL COMMENT "",
`o_totalprice` double NULL COMMENT "",
`o_orderdate` date NULL COMMENT "",
`o_orderpriority` varchar(15) NULL COMMENT "",
`o_clerk` varchar(15) NULL COMMENT "",
`o_shippriority` int(11) NULL COMMENT "",
`o_comment` varchar(79) NULL COMMENT ""
) ENGINE=HIVE
COMMENT "PARTITION BY ()"
PROPERTIES (
"database" = "tpch_100g_zlib",
"table" = "orders",
"resource" = "emr_test",
"hive.metastore.uris" = "thrift://192.168.1.11:9083"
);
使用默认配置(下面都是默认值):
cbo_max_reorder_node_use_dp = 10cbo_enable_dp_join_reorder = truecbo_max_reorder_node_use_exhaustive = 4enable_global_runtime_filter = truedoris_scanner_thread_pool_thread_num = 48
测试结果
Impala在运行Q18的时候出现过OOM,Q11不支持Having子句,因此在统计总体时间时不将这两个查询计算在内。分别测试并发为4,8,16的情况。
C = 4
QueryimpalastarRocksImapa/StarRocksQ0112615170200.741186839Q02707515484.570413437Q031954582242.376580739Q041916381932.338947882Q0533196208081.595347943Q06752355171.363603408Q075523382656.682758621Q0824650101212.435530086Q0943989236071.863387978Q101504273212.054637345Q11014100Q121580074152.130815914Q1328044142351.970073762Q141109975941.461548591Q1519330136871.412289033Q16633424022.636969192Q174614297584.728632917Q180331760Q191447275831.908479494Q201895876672.472675101Q2177373268972.876640518Q22720936881.954718004Total4827922115502.282164973
??C = 8
QueryimpalaStarRocksImapa/StarRocksQ0116664225430.739209511Q02876623413.74455361Q032547198692.58090992Q0425564109662.331205544Q0540461285651.416453702Q0614471114831.260210746Q0773645167384.399868563Q0836240197431.835587297Q0958073291321.993443636Q1021039106021.984436899Q11027090Q1223967124661.922589443Q1337570186112.018698619Q1420287151131.342354265Q1538694274511.409566136Q16790327922.830587393Q1754877194492.821584657Q180398030Q1924556161461.520872043Q2025949169731.528839922Q2199201393762.519326493Q22964751281.88124025Total6630453354871.976365701
?C = 16
QueryimpalaStarRocksImapa/StarRocksQ0133109430320.769404164Q021408446753.012620321Q0343767166522.628332933Q0444760183092.444699328Q0559935454991.317281698Q0629002236641.225574713Q07119317331333.601152929Q0870404392551.793504012Q0992872418682.218209611Q1038625194631.984534758Q11057310Q1243914232691.887231939Q1369355304712.276098586Q1440873306781.332322837Q1577504549671.410009642Q161169638953.002824134Q1779944394282.027594603Q180570300Q1946156310541.486314162Q2047937304301.575320407Q21163101780612.08940444Q221463784471.732804546Total11409926162501.851508316
测试结论
通过以上测试结果可以看到,不同并行度下,StarRocks的性能表现都优于Impala,有近2倍的性能优势。
1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,会注明原创字样,如未注明都非原创,如有侵权请联系删除!;3.作者投稿可能会经我们编辑修改或补充;4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。
|
标签: #StarRocks测试 #StarRocks #VS #impala #性能对比