---
title:"一场假火警,差点淹了 Jane Street 唯一的纽约机房"date:2026.11.12category:[编程, 行业观察]tags:[datacenter, jane-street, infrastructure, reliability, ocaml, incident]status:published
---

一场假火警,差点淹了 Jane Street 唯一的纽约机房

这周 HN 首页最热的不是 AI,而是一段机房惊魂记。Jane Street 前系统工程师 Michael Bacarella 写了一篇亲身经历:《How a false smoke alarm almost drowned Jane Street's only NYC datacenter》——一场假火警,差点淹了

2026.11.12·6 min read·11.1KB
// tl;dr: generating summary...

一场假火警,差点淹了 Jane Street 唯一的纽约机房

这周 HN 首页最热的不是 AI,而是一段机房惊魂记。Jane Street 前系统工程师 Michael Bacarella 写了一篇亲身经历:《How a false smoke alarm almost drowned Jane Street's only NYC datacenter》——一场假火警,差点淹了 Jane Street 在纽约唯一的机房。399 分、196 条评论,评论区从哈龙气体聊到核潜艇,从应急断电按钮聊到飓风桑迪,热闹得像一场老运维的茶话会。

我请来老朋友老周——在金融公司管过十几年机房,拉过电闸、扛过柴油、半夜被报警电话叫醒过无数次。我们聊了聊这场“差点被水淹”的事故:为什么一家顶级交易公司的机房要放在写字楼里,为什么烟雾报警会停掉制冷,以及最后救场的为什么是一行 OCaml。

本文由每日自动管线生成:选题与素材来自 Hacker News 公开讨论,访谈内容由 AI 基于原文整理,嘉宾为角色设定,观点不代表任何真实人物。

小听: 老周,先从最反直觉的地方说起。Jane Street 是顶级量化交易公司,它的机房居然就放在交易大厅隔壁的写字楼里——曼哈顿南端一栋普通办公楼的 33 层。这决定是怎么来的?

老周: 两个理由,一个比一个“老派”。第一是怕偷:他们不想把服务器放进第三方机房,担心有人偷走机器、反推出交易策略。第二是怕失控:万一哪个自动交易系统发疯,最可靠的刹车就是跑过走廊、亲手拔掉电源线。文章里说得很直白,Jane Street 对这事“移动得慢得令人恼火”,哪怕已经有软件层面的熔断手段,他们还是想要最后一道物理防线。顺带一提,这种风险文化据说来自一位在核潜艇上服役过的合伙人——在潜艇上,你不信任任何没有一根大红机械拉杆兜底的自动化。

小听: 所以机房就这么在写字楼里长大了:在线 UPS、机房空调 CRAC、冰箱那么大的网络交换机、地下一台柴油发电机,十排机柜、每排十个,全塞进 1 New York Plaza 的中间楼层。作者本人还因为住得近——步行 9 分钟的 200 平方英尺小单间——成了全公司的“应急联系人”。评论区有人现身说法:自己也干过这蠢事,告诉所有人“我从公寓就能看见办公室”,结果半夜全是让他跑回去关服务器的电话。

老周: 这就是“住得近”的代价,运维圈的老笑话了:你离机房越近,你的私人时间就越不属于你。作者自己也承认,他到处吹嘘自己 9 分钟就能到公司,等于给全公司发了一张“紧急情况请打这个电话”的名片。而那天晚上,这张名片真的被打了——香港办公室打来的电话:纽约机房的烟雾报警响了。

小听: 事情的起因其实很小:隔壁准备间有施工队在切割东西,扬起的灰尘触发了烟雾探测器。没有火,没有烟,只有一点灰。但接下来是一连串设计上各自合理、合起来要命的联动。老周,你给我们拆一下这条链。

老周: 这条链有三环。第一环,喷淋系统平时是干管,管里没水——为了防止年久漏水。烟雾报警一响,管道立刻充水加压,但喷头还不会喷;每个喷头都有一个热敏塞,要等周围空气热到 150°F(约 65.5°C)才会打开。第二环,烟雾报警会联动关掉 CRAC 机房空调,逻辑是别让气流给火势供氧。第三环,机房里全是发热的机柜,没了制冷,温度只会一路往上爬。合起来就是:管道已经充水,制冷已经停了,温度正在冲向 150°F——而一旦冲过去,喷头打开,整间机房就被水淹了。没有火,照样灭顶。

昏暗的机房走廊里,一排排机柜指示灯闪烁,头顶的喷淋管道泛着冷光,空气里有种无声的紧张

各自合理的设计,合起来就是一场事故。

小听: 作者的任务就此明确:在温度冲过 150°F 之前,跑回公司,拔掉机房里每一台设备的电源线。他沿着讽刺地名叫 Water Street(水街)的路一路狂奔,电梯爬上 33 层,刷卡冲进机房,一排一排、一柜一柜地双手拔线。然后盯着温度监控:141°F、142、143、143.5、143.6——停住了。离喷淋触发只差 6.4°F。

老周: 这就是这篇文章最动人的地方:最后的防线不是什么高科技,是一双手和一身汗。作者自己也说了,机房放在交易厅隔壁的初衷,是让人能跑进来拔电源——但谁也没想到,拔电源是为了防喷淋,不是防失控的交易系统。好在那天纽约市场已经收盘,停机损失很小,第二天早上就恢复了。事后开了几次会,没有《华尔街之狼》式的追责场面,作者形容更像大学生宿舍里讨论事故复盘。结论是:喷淋留着,流程收紧,继续把服务器放在办公室隔壁——直到几年后飓风桑迪狠狠抽了他们一记,那是另一个故事了。

小听: 评论区最热的一条追问是:为什么不直接重启制冷,而要去拔所有服务器的电?作者本人在评论区亲自回答了:他是当晚唯一能联系上、又离得够近的人,而他不知道 CRAC 的控制开关在哪,只知道电源线在哪。这回答你怎么看?

老周: 太真实了,这就是故障现场的真相:最优解属于事后复盘,现场只有“你会什么、你够得着什么”。还有一条评论问得更狠:这么大的机房,怎么连个应急断电按钮(EPO)都没有?按一下就能全断电,不用一根一根拔。有人翻了美国国家电气规范,2020 年版确实有 EPO 的要求,但事故发生在桑迪之前(2012 年以前),那时的规范和今天不一样。历史的教训总是这样:每一条规范背后,都是一次差点出大事的事故。

小听: 另一条高赞讨论是灭火方式:机房为什么不用哈龙气体,而要用喷淋?评论区很快列出了现实约束:哈龙(以及替代品)释放时的声压会震坏机械硬盘;二氧化碳倒是能灭火,但人在里面就是生死问题;更关键的是,这栋楼是租来的写字楼,建筑规范和管理方根本不允许你大改消防系统。作者也回了一句:后来建的其他机房确实装了气体灭火,“说实话,那东西也让我害怕”。

老周: 对,机房消防从来没有完美答案,只有取舍。气体灭火怕人、怕硬盘;喷淋怕水、怕误报;什么都不装怕真火。Jane Street 选了喷淋加干管,本来是个折中——干管防漏水、热敏塞防误喷——偏偏漏算了“报警停制冷”这个联动。单个系统都按规范设计,系统之间的相互作用没人算过账。这也是为什么评论区有人说,这故事和“屋顶泳池漏水”那个梗只差一线:灾难片的剧本,往往就是几个合理设计叠加出来的。

小听: 事故第二天,作者做了一件很“Jane Street”的事:他打开 Emacs,用 OCaml 写了一个监控程序——每分钟直接问每台 Linux 服务器的板载温度,取平均值,偏高就给全系统团队发警报。他还特意解释:Bash 不行,Perl 也不行,这么重要的活,得用“最可靠、最类型安全的语言”。

老周: 这段我最喜欢。首先是他对监控哲学的选择:不去监听 CRAC 的状态、不去读机房里某个专用温度传感器,而是直接问服务器 fleet 本身——因为那些遥测“远没有那么可靠”,而未知因素(unknown unknowns)总会坑你。最耐用的办法,就是问一堆 Linux 盒子“你们热不热”,平均值一高就大喊。其次是选 OCaml 的理由,带着点工程师的幽默和固执:这活太重要了,必须用类型系统兜底。评论区有人调侃:他那年奖金肯定拿到了。我倒觉得,真正的奖励是这个监控思路本身——别只监控你以为会坏的部件,要监控“坏了会要命”的那个物理量。

深夜机房里一台老显示器亮着绿色的温度曲线,键盘旁放着一只杯子,一双手正在敲键盘

别只监控你以为会坏的部件。

小听: 最后聊聊评论区里另一条线:飓风桑迪。很多人一看到“纽约机房”就想起 2012 年桑迪淹了曼哈顿一堆机房,有人扛着 55 加仑柴油桶爬 17 层楼给发电机续命。作者也承认,桑迪的故事更惨烈,同事 Brett 还有另一段亲身经历。这两件事放在一起,你看到什么共同点?

老周: 同一个教训的两面:基础设施的脆弱性,永远不在你写进风险登记册的那几行里。假火警这事,风险登记册上写的是“火灾”,没人写“没有火灾但制冷停了、喷淋充水了”;桑迪那次,写的是“停电”,没人写“发电机在 17 楼、柴油得用人手搬上去”。Jane Street 的文化里有一条是对的:永远留一根人能亲手拉的刹车。但这篇文章提醒我们另一面:刹车本身也得有人能拉得动——作者那晚能救场,一半靠住得近,一半靠运气。要是那通电话晚半小时打来,温度冲过 150°F,故事的结局就是另一篇讣告了。

小听: 一句话总结今天这期?

老周: 保护系统的联动,比它要防的灾难更值得审计。喷淋、报警、制冷,单拎出来全是好设计,但没人问过一句:当它们同时启动,机房会发生什么?下次你给自己的系统加一道“安全联动”的时候,先画一张图,看看这道联动会不会在某个安静的夜晚,亲手把温度推过那条红线。

这场事故最值得带走的不是惊险,而是作者第二天写的那个 OCaml 监控:别只盯着你以为会坏的部件,去盯那个“坏了会要命”的物理量——对机房是温度,对你的系统,可能是队列深度、磁盘水位,或者某个你从来没设过报警的平均值。本文观点仅代表访谈角色设定,原始讨论见参考链接。

参考链接

// related: searching nearest posts...
# comments