性能测试

  • 上游UKafka,下游是UHadoop的HDFS
连接器节点数 分区数 broker 数 消息大小/bytes kafka 机型 hadoop master hadoop core 速度(消息数/s)
1 3 3 1024 2核8G C1-large F1-large 11658
1 3 3 1024 2核8G C1-large F1-large 11830
3 3 3 1024 2核8G C1-large F1-large 31618
3 3 3 1024 2核8G C1-large F1-large 31562
1 3 3 512 2核8G C1-large F1-large 18773
1 3 3 512 2核8G C1-large F1-large 17156
3 3 3 512 2核8G C1-large F1-large 46183
  • 上游UKafka,下游是UES
连接器节点数 分区数 broker 数 消息大小/bytes kafka 机型 es 版本 es 机型 es 节点数 分片数 副本数 速度(消息数/s)
1 3 3 1024 2核8G 6.5.4 M1ES-large 3 5 1 6429
1 3 3 1024 2核8G 6.2.1 M1ES-large 3 5 1 6349
1 3 3 1024 2核8G 5.5.1 M1ES-large 3 5 1 4995
1 3 3 1024 2核8G 5.5.1 M1ES-large 3 5 1 4902
3 3 3 1024 2核8G 6.5.4 M1ES-large 3 5 1 11801
3 3 3 1024 2核8G 6.2.1 M1ES-large 3 5 1 12129
3 3 3 1024 2核8G 5.5.1 M1ES-large 3 5 1 7540
1 3 3 512 2核8G 6.5.4 M1ES-large 3 5 1 8902
1 3 3 512 2核8G 6.2.1 M1ES-large 3 5 1 9800
1 3 3 512 2核8G 5.5.1 M1ES-large 3 5 1 7952
3 3 3 512 2核8G 6.5.4 M1ES-large 3 5 1 17183
3 3 3 512 2核8G 6.2.1 M1ES-large 3 5 1 18216
3 3 3 512 2核8G 5.5.1 M1ES-large 3 5 1 11538