消息队列 CKafka 版结合流计算 Oceanus , 用于实时/离线数据处理及异常检测，满足不同场景需要

消息队列 CKafka 版结合无服务器云函数 SCF , 可用于日志消费处理、微服务以及大数据分析等场景。同时支持自定义数据处理，满足不同场景下的消息转储需求。

CKafka 连接器可应用在需要进行数据上报的场景。如手机 App 的操作行为分析、前端页面的 Bug 日志上报、业务数据的上报等等。一般情况下，这些上报的数据都需要转储到下游的存储分析系统里面进行处理（如 Elasticsearch，HDFS 等）。在常规操作中，我们需要搭建 Server、购买存储系统、并在中间自定义代码进行数据接收、处理、转储等。流程繁琐，长期系统维护成本高。

CKafka 连接器支持基于 CDC(Change Data Capture)机制订阅多款数据库的变更数据。如订阅MySQL 的 Binlog，MongoDB 的 Change Stream，PostgreSQL 的行级的数据变更(Row-level Change)，SQL Server 的行级的数据变更(Row-level Change)等。例如，在实际业务使用过程当中，业务经常需要订阅 MySQL 的 Binlog 日志，获取 MySQL 的变更记录(Insert、Update、Delete、DDL、DML 等)，并针对这些数据进行对应的业务逻辑处理，如查询、故障恢复、分析等。

CKafka 连接器支持将不同环境(腾讯公有云、用户自建 IDC、跨云、混合云等)的不同数据源（数据库、中间件、日志、应用系统等）的数据集成到公有云的消息队列服务中，以便进行数据的处理和分发。在实际业务过程中，用户经常需要将多个数据源的数据汇总到消息队列中，例如同一个应用业务客户端数据、业务 DB 的数据、业务的运行日志数据汇总到消息队列中进行分析处理。正常情况下，需要先将这些数据进行清洗格式化后，再做统一的转储、分析或处理。

有一些客户的场景中，数据已经存在作为缓存层的消息队列(例如 Kafka)中了，需要进行清洗格式化(ETL)处理后，存储到下游(例如 Kafka，Elasticsearch、COS)等。常见的情况下，用户需要使用 Lostash、Flink 或自定义编码进行数据的清洗，并维护这些组件的稳定运行。当数据只需要简单的处理的情况下，学习数据处理组件的语法、规范、技术原理，维护数据处理组件就显得比较繁琐，额外增加了研发和运维的成本。