大数据和云计算技术周报（第104期)

2024-04-02 20:55:01

导语
“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：**kafka、flink、MongoDB、消息队列、GNN、Spark

、redis、Tedis、数**据。全是干货，希望大家喜欢！！！

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学，在技术的道路上一定会日益精进！感谢编辑们的长期坚持！也请同学们继续打赏，支持社区，支持编辑们持续奉献高质量知识！

#大数据和云计算技术社区#长期招募有兴趣参与社区编辑和运营的同学，欢迎扫描文末二维码联系（参与社区工作，收获知识和进步，还有红包哦）。

特别提醒，文末有惊喜！

以下是正文，限于众编辑水平有限，不保证大家都喜欢。（如果链接不能点开请用二维码谢谢）

1Kafka

Kafka 是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的 Kafka 集群甚至可以做到每秒几十万、上百万的超高并发写入。如何实现每秒上百万的超高并发写入？本文详细介绍下。

2flink

随着新技术的发展，促使着企业数据架构的演进，由最初的传统数据基础架构过渡到如今的大数据架构，以及最近的状态流架构。

https://mp.weixin.qq.com/s/VtuZA7dx6nEornG-B5uayQ

3MongoDB

本文讲述了MongoDB的currentOp命令和killOp命令，分别列出当前操作opid和调用killOp()中止操作，并说明了负数opid原因以及killOp原理；

4消息队列

介绍了Kafka、RabbitMQ、ZeroMQ、RocketMQ、ActiveMQ 17 个方面综合对比作为消息队列使用时的差异

https://mp.weixin.qq.com/s/Htn8i0JMMnaQ1iTxgjngoA

5spark

spark structured streaming 介绍

https://mp.weixin.qq.com/s/xtBQQFfqZKCyETzWaN4AWA

6redis

关于redis如何保证高并发以及高可用，主要从以下8个方面进行讲解

主要 1、从reids通过读写分离来承载读请求qps

    2、redis replication以及master持久化对主从架构的安全意义

    3、redis主从复制原理、断点续传、无磁盘化复制、过期key处理

    4、redis replication的完整流运行程和原理的再次深入剖析

    5、redis主从架构下如何才能做到99.99%的高可用性

    6、redis哨兵架构的相关基础知识的讲解

    7、redis哨兵主备切换的数据丢失问题：异步复制、集群脑裂

    8、redis哨兵的多个核心底层原理的深入解析（包含slave选举算法）

7GNN

图神经网络(Graph NN)是近来的一大研究热点，尤其是DeepMind提出的“Graph Networks”，号称有望让深度学习实现因果推理。但这篇论文晦涩难懂，复星集团首席AI科学家、大数医达创始人邓侃博士，在清华俞士纶教授团队对GNN综述清晰分类的基础上，解析DeepMind“图网络”的意义。

https://mp.weixin.qq.com/s/YNSAKFRz1v6qAoqhrSqJ6w

8Tedis

Tedis （https://github.com/eleme/tedis）是基于开源 TiKV 的兼容 Redis 协议的强一致性的 NoSQL 数据库开源项目。本文介绍一下 Tedis 开源项目的架构设计和特性，以及架构背后的一些思考（包括为何选择 TiKV 和 Redis 协议）。

https://mp.weixin.qq.com/s/kDhx8dhZcMjTpQAevkc11Q

9github

推荐了一些程序员要知道的法则，可以看看

https://mp.weixin.qq.com/s/MGov5wfkF6WB4Z02zsezCQ

10数据

数据是一种永不贬值的有形资产，使用有价值的见解是一种面向未来的战略。因此，竞争是一个不断变化的目标，企业必须随时进行分析

https://mp.weixin.qq.com/s/hg93slLJVEpsFJ2E1Z4EDQ

11开心一刻

码农公寓

相关文章