云原生分布式 PostgreSQL+Citus 集群在 Sentry 后端的实践 _生活百科

文章插图
优化一个分布式系统的吞吐能力，除了应用本身代码外，很大程度上是在优化它所依赖的中间件集群处理能力。如：kafka/redis/rabbitmq/postgresql/分布式存储(CephFS,JuiceFS,C urve,Longhorn)等集群的处理能力。
分布式存储集群(Longhorn)这里主要用于 Citus 集群的协调器(coordinator)和工作器(worker) 节点的数据持久化。
具体文档，请参阅：

https://longhorn.io/

文章插图

文章插图
分布式 PostgreSQL 集群(Citus)这里主要用于对 Sentry 事件源数据大表 nodestore_node 的分片。
具体文档，请参阅：

https://docs.citusdata.com/en/v11.1/

文章插图
读写分离和高可用(PgPool+Repmgr)这里主要用于对 Citus 节点(协调器/工作器)进行读写分离和主备高可用。
具体文档，请参阅：

https://www.pgpool.net/docs/pgpool-II-4.2.3/en/html/example-kubernetes.html
https://repmgr.org/

文章插图

文章插图
管理集群节点(PgAdmin)具体文档，请参阅：

https://www.pgadmin.org/

文章插图
nodestore_node 大表分片选择分布式 key，并将表转换分布式表，这里将表划分为 64 个分片，数据平均分配到 6 台 worker 节点：

# 创建分布式表SELECT create_distributed_table('nodestore_node', 'id', colocate_with => 'none', shard_count => 64);# 平衡分片SELECT rebalance_table_shards();# 查询分片SELECT * FROM citus_shards;