产品简介

UKafka简介

UKafka是AutoAI平台中的一款专门用于处理流式数据的分布式消息产品。通过以创建集群的方式创建UKafka,能够快速实现Kafka以及所依赖的服务的部署,为用户提供快速部署、易于管理、弹性伸缩的流式数据处理系统。

快速部署 分钟级创建,节点分配、服务部署、性能优化全面自动化

易于管理 硬件与软件的结合部署,无需担心整个服务的维护

高性能 继承云主机的性能优势,并对Kafka服务的每项配置进行优化,提高了服务的整体表现,远远高于自建集群

弹性伸缩 可根据性能与容量,通过调整节点配置对整个集群进行配置调整,支持动态伸缩,有效避免资源浪费

安全稳定 集群方式部署在多个独立的物理服务器上,保证了无资源抢占以及服务的高可用

全面兼容 与开源社区的Kafka版本完全兼容,用户无需更改代码,即可直接使用标准API进行开发作业

UKafka的服务架构

UKafka服务主中主要包含以下组件:

  1. 消息主题 (Topic)
  2. 消息生产者 (Producer)
  3. 消息消费者 (Consumer)
  4. 消息代理 (Broker)

其结构如图所示:

image

名词 含义 说明
Topic 消息主题 即特定的消息流或类消息队列。其中,消息即为有效字节,而主题即为消息的属类或所标注消息来源
Producer 消息生产者 即能够发布任何消息的任何服务或系统
Consumer 消息消费者 对单个或多个消息进行订阅,并从Broker中获取已发布消息数据的消息接收者或处理者
Broker 消息节点 能够保存消息的一组服务器,即为UKafka集群中的服务节点
Partition 消息分区 即为Topic分区,能够将一个消息主题分布在多个Broker中,以实现服务的分布式与高可用

UKafka使用场景

UKafka作为一款分布式消息处理系统,主要负责处理在高吞吐量环境下与消息发布、订阅相关的所有动作流数据。

  1. 基础监控:将基础资源作为消息发布者,发送与系统和应用相关的监控数据指标,然后对这些数据收集处理并通过自建系统进行收录以实现对基础资源的监控。
  2. 消息推送:作为应用程序间消息及信令的传递系统,进行统一的消息发布和订阅管理,以提供搜索管理或内容管理。
  3. 实时数据分析:UKafka能够提供数据的同步分析,通过对用户网站行迹进行跟踪,实时分析用户行为,改善用户体验。并能够生成数据存储到UHadoop集群中,以进行数据的异步处理。
  4. 日志收集:可作为分布式应用程序或平台的日志系统,为分析型数据库提供核心数据,以便对服务日志的统一收集处理。