GitHub 重写 Git 存储:每秒 7200 次推送,是为 Agent 时代铺路还是过度工程?
GitHub 在 Universe 上公布代号 Rubicon 的新 Git 存储架构:5000 个 Agent 并发、每秒 7200 次推送,对象进 Azure Blob、引用走 Ref-CAS 共识日志。HN 评论区的灵魂拷问是:每秒几千次推送的仓库,到底是谁在写代码?
![]()
GitHub 这周在 Universe 大会上公布了新一代 Git 存储架构,代号 Rubicon。数字很抓眼球:内部测试里 5000 个 Agent 同时在一个仓库上工作,每秒 7200 次推送,读延迟还一直很低。HN 上的讨论很快分成了两派:一派在聊架构本身——对象和引用彻底分家、引用更新走一个叫 Ref-CAS 的共识日志;另一派在问一个更扎心的问题:一个仓库每秒要承受几千次推送,到底是谁在写代码,写出来的东西还有人看吗?我请来老朋友顾衡——分布式存储工程师,之前在一家云厂商做对象存储,现在带队做版本控制后端。我们聊了聊 Rubicon 到底新在哪、它解决的是真问题还是想象中的问题,以及 Agent 时代的 Git 会长成什么样。
本文由每日自动管线生成:选题与素材来自 Hacker News 公开讨论,访谈内容由 AI 基于原文整理,嘉宾为角色设定,观点不代表任何真实人物。
小听: 衡哥,先问个外行问题。GitHub 现在的架构不是已经跑了十几年了吗?最忙的仓库今天也就每秒几十次写入、还是短时突发,干嘛要为一个还没到来的未来重写存储层?
顾衡: 因为曲线已经变了。文章里给了一个仓库 3 月到 5 月的请求量:日均 4400 万涨到 1.81 亿,三个月翻了 4 倍,而且之后还在按指数往上走。以前的突发是人下班前集中 push 一波,现在 Agent 是 24 小时不停地写,每次 push 后面还跟着一串读:CI 要跑、部署系统要拉、别的 Agent 要拿去当上下文,一次写能放大成几十上百次读。GitHub 的判断是,与其每次被动扩容一档,不如直接按“比今天高两个数量级”来设计目标:单个仓库每秒几千次写,读还要便宜。
小听: 他们提了两个设计原则:最小化协调、存储与计算解耦。听着像分布式系统的标准口号,落到 Git 上具体是什么意思?
顾衡: 落到 Git 上其实就一句话:一次 push 里,真正需要大家达成一致的东西少得可怜。Git 对象是不可变的、按内容寻址的,两个写者同时存对象根本不需要商量,谁也不挡谁的路。唯一需要“排队表决”的,是引用更新——也就是 main 分支现在指向哪个 commit,那个状态小得可以忽略不计。所以 Rubicon 把这两件事彻底拆开:对象(pack)扔进 Azure Blob Storage,便宜、耐久、吞吐高;引用和 pack 清单(manifest)交给一个新服务 Ref-CAS,一个专门管引用的复制日志服务。虚拟副本(virtual replica)只是一层随时可以重建的无状态计算,本地磁盘只是缓存,挂了就换一台,流量来了就加机器。
小听: Ref-CAS 听着就是个小共识组,这和传统数据库的写前日志有什么不一样?文章里还讲了他们试过的两条失败路线。
顾衡: 对,这段是全文最诚实的部分。第一版是所有引用共用一个写前日志、存在单个 blob 里:写正确、读便宜,但同一时间只能有一笔条件写在途,就算把同时到达的 push 打包合并,吞吐天花板也就每秒几百次。第二版是把引用按哈希分到多个 segment blob:写不打架了,但读一次要查所有 segment,速度取决于最慢的那一个,等于拿写延迟换读延迟——读比写多几个数量级,这买卖不划算。最后的 Ref-CAS 是每个引用更新做一次 compare-and-swap、由多数派副本确认,事务只锁它碰到的那几个引用。Agent 大多各推各的分支,互不冲突,就能并行复制;真撞上同一个引用,只有一个能写进日志。每笔提交拿一个日志序列号 LSN,仓库的版本号就是最新提交的 LSN。副本来问一句“我的版本还新吗”,没变的话一次比较就完事——没变的仓库,读的代价几乎为零。
小听: 评论区最高赞的质疑是这句:“每秒几千次推送?在哪个世界里这听起来像个好主意?”有人说 GitHub 本来是用来上游“成品工作项”的地方,不是 Agent 的实时聊天频道。你怎么看?
顾衡: 这话一半是对的,而且是全文最值得认真对待的反驳。按这个量级推下去,每秒几千次推送意味着每秒几千个 issue、几千个 PR、几万条评论、几千次 Actions 运行——光存储扛住了,仓库的其他部分怎么办?评论里有人建议反过来:加限流,逼 Agent 先在本地协作、攒成 PR 大小的工作块再上游,而不是每改一行就 push 一次。我部分同意这个方向。但另一半也得承认:GitHub 不是在为今天的用法设计。文章里明确说了,他们的目标是“一个边项目一夜之间接上一群 Agent 也不用迁移、不用特殊处理”。基础设施的活就是这样,宁可先把路修宽,等车来。
![]()
副本可以随时消失,数据不能。
小听: 还有一条评论说得挺毒:“这规划得很好,但对这周 push 时遇到的 500 错误没帮助吧?”新架构解决的是未来的垂直扩展,横向的老问题还在。这算不算避重就轻?
顾衡: 评论区这个判断基本准确,文章自己也没藏着:横向扩展那套分区、隔离、公平限流是沿用老架构的,这次主攻的是单个仓库的纵向扩展。至于那位网友说的 500 错误,另一位回帖的 Shopify 单体仓用户也印证了——大仓合并检查慢得要命。所以 Rubicon 更像是一次“为明年修路”,不是“给今天止血”。但话说回来,存储层重写本来就不能边开车边换轮胎,GitHub 说这是在现有系统底下悄悄建起来的、99.99999% 的仓库已经迁进 Azure,发布节奏上他们赌的是:今天的故障靠运维顶,未来的天花板靠架构换。
小听: 文章里还有个容易被忽略的细节:压缩(compaction)被整个搬出了服务节点,单独跑在一组后台节点上。为什么这件事值得单开一节讲?
顾衡: 因为每次 push 都会往 Blob 里加一个 pack,pack 越多,查东西就越慢。在老架构里,压缩和垃圾回收跑在同一批服务流量的副本上,还要在每个副本上都跑一遍,又抢 CPU 又抢内存。新架构里压缩节点直接对着 Blob Storage 和 Ref-CAS 干活:先给分片上个租约,一次只允许一个节点压这个分片;把新 pack 收进一个开放的 segment,满了就封口、合并成更少更大的 pack,校验新旧包含的对象完全一致才发布,旧 pack 再从清单里摘掉、随后清理。pack 按哈希分片,节点越多压得越快,小 pack 会一层层往上合并直到尺寸上限。结果就是 push 量往上爬,pack 总数基本是一条平线。垃圾回收同理,专门处理被删分支、force-push 剩下的无用对象。说白了,服务节点只负责伺候请求,脏活累活全外包给后台——这就是“存储与计算解耦”在运维层面的样子。
小听: 评论里有人提到了 Enroute 的博客《Everyone is doing Git on S3 wrong》,意思是“Git 放对象存储”这事别人早做过了。GitHub 这篇的原创性到底在哪?
顾衡: “对象进对象存储”确实不是新主意,Enroute、GitLab 的 Gitaly 演进、甚至一些小众托管都在往这个方向走。GitHub 真正的新东西在引用那一层:Ref-CAS 把“每秒几万次引用事务”做成了一个可复制的服务,而且它只存指针、不碰对象数据,所以引用永远指向已经落盘的对象,不会出现引用先到了、对象还在路上的窗口。再加上读路径的版本比较、按类型分 pack、物化视图这些后续优化,整套东西拼起来才是一个“为 Agent 负载准备的 Git”,而不是“把 Git 文件挪到 S3 上”。当然,评论里那句“昨天的 web scale 就是今天的 agentic workload”也没错——每一代负载都会逼着基础设施重写一次,这次轮到 Git 而已。
![]()
写得越快,越要有人在后面收拾。
小听: 最后聊聊展望。文章列了三组后续工作:架构上“只读需要的数据、按类型分 pack、部分副本、物化视图、全球副本、缩容到零”;Agent 操作上“不用 clone 就能干活、原子提交 API、事件流”;Git 本身“更轻的 clone、更快的历史遍历”。哪个最值得等?
顾衡: 对开发者来说最实在的是“不用 clone 就能干活”和“原子提交 API”。今天 Agent 改几个文件还得先 clone 整个仓库——大仓光这一步就很贵;以后只读需要的文件、一次操作提交多文件、冲突就干净地拒绝,Agent 的每次动作都会变便宜。更远的是事件流:Agent 不用轮询,仓库一变就收到通知,这才是真正的实时协作底座。但我也要泼一瓢冷水:评论里有人点出的安全问题是真的——每天几千次改动,意味着没有人能读完所有改动,“黑盒生出黑盒”。存储能扩展,review 能力不能。到时候真正稀缺的不是每秒多少次推送,而是谁来为这些推送负责。
小听: 所以你的结论是?
顾衡: Rubicon 是个扎实的工程答案,回答的是一个真实存在的问题:Agent 正在把 Git 从“人每天推几次”变成“机器每秒推几千次”。它把最难啃的引用一致性收敛成一个小而快的共识服务,其他一切交给对象存储和无状态计算,这个拆法是对的。但它回答不了评论区那个更大的问题:当推送便宜到不用思考时,推送本身还值多少钱?GitHub 把路修宽了,至于路上跑的是车队还是垃圾,下一代工具链和 review 流程得自己想办法。本文观点仅代表访谈角色设定,原始讨论见参考链接。