datasax今天宣布推出Astra Streaming的测试版,这是一项新的Astra云独立服务,将独立于Astra DB(以前称为datasax Astra)运行并与之集成。这项新服务基于阿帕奇脉冲星,发布/订阅(PubSub)消息https://www.google.com/search?q=apache+pulsar+vs+kafka&rlz=1CHBF\U enUS880US880&;oq=apche&;aqs=铬.1.69i57j0i67l2j0i10j0i67i433l2j0i67l2j0i67i433j0i10i433.3123j0j7&;sourceid=chrome&;ie=UTF-8“target=”\u blank“rel=”noopener noreferrer“data component=”externalLink“>经常与更广为人知的Apache Kafka。事实上,DataStax承诺该服务将通过与Kafka兼容https://pulsar.apache.org/docs/en/adaptors-kafka/“target=”\u blank“rel=”noopener noreferrer nofollow“data component=”externalLink“>现有包装器;虽然在beta版中还没有发布,但我们预计该功能将在产品发布时上线。
Pulsar,比如Kafka,遵循一系列消息传递技术,这些技术可以追溯到大型机时代https://www.tibco.com/products/tibco-enterprise-message-service“target=”\u blank“rel=”noopener noreferrer nofollow“data component=”externalLink“>Tibco和IBM,在互联网时代https://www.oracle.com/java/technologies/java-message-service.html“target=”\u blank“rel=”noopener noreferrer nofollow“data component=”externalLink“>JMS和RabbitMQ。在当代人中,卡夫卡是在LinkedIn开发的,而Pulsar是在Yahoo开发的,两者都是顶级的Apache项目。
Pulsar和卡夫卡有很多相似之处;两者都是为扩展而设计的;提供长期耐久性保证;支持跨地域复制;拥有广泛的操作设施;而且(目前)在存储元数据方面相互依赖于apachezookeeper。
但是Pulsar和Kafka之间也有重要的架构差异。其中最基本的区别是Pulsar将消息推送到订户,而Kafka则要求订户将消息拉下来。在建筑上,卡夫卡更简单;它将消息代理和消息持久性结合在同一层中,而Pulsar将它们分开。这导致了无数的争论和激烈的竞争,争论哪一种方法是最好的方法。
例如,Pulsar的支持者声称三层结构(也包括Zookeeper)更灵活和可扩展。消息处理负载平衡是自动的,并且具有独立的持久性层,允许代理工作在不丢失数据的情况下被重新分配和分布到更多的节点上。卡夫卡的支持者反驳说,他们的方法导致了一个更简单的架构,服务器数量减少了一半,因此更经济。他们还计划进一步简化架构https://www.confluent.io/blog/removing-zookeeper-dependency-in-kafka/“target=”\u blank“rel=”noopener noreferrer nofollow“data component=”externalLink“>通过删除Zookeeper,但这仍然是https://issues.apache.org/jira/browse/KAFKA-9119“target=”\u blank“rel=”noopener noreferrer nofollow“data component=”externalLink“>正在进行的工作
有进一步争论在哪些子系统上更有效地复制数据只存储一次数据;支持一次交易;对消息队列提供更深入的支持;配置更简单;以及IBM的混合云启动板在哪里?