时间:2022-6-14来源:本站原创作者:佚名
北京皮炎哪家医院好 http://pf.39.net/bdfyy/bdfjc/180416/6171978.html

文章作者:葛凯文

车好多

内容来源:作者授权

导读:在年中旬,车好多集团(瓜子二手车毛豆新车)开始引入Kafka技术栈,起初的目标是作为大数据系统的数据输入,随着使用范围的推广,逐步成为集团数据链路的核心组件。文主要介绍车好多集团围绕Kafka生态搭建的大数据链路技术发展历程。从第一阶段作为大数据系统文本数据导入工具,到第二阶段承接数据库binlog数据解耦应用间消息传递,到当下作为整个数据链路核心中转站承接数据同步输入输出工作,会着重讲解过程中遇到的挑战,并展望本领域技术的未来。

01

消息队列

1.Kafka简介

Kafka的官方的介绍:

ApacheKafka?是一个开源的分布式的事件流平台,有成千上万的公司将Kafka作为高性能数据流通道、流式分析和数据整合工具的至关重要的应用来使用。

ApacheKafkaisanopen-sourcedistributedeventstreamingplatformusedbythousandsof
转载请注明原文网址:http://www.coolofsoul.com/phpys/phpys/24155.html
------分隔线----------------------------