从零搭建CV平台：日均处理10万图的实战进阶

　　掘金这地方，老熟人多，一开口就是“你那个CV平台跑通了没”，问得我筷子都停在半空——食堂打饭窗口刚关，剩的番茄炒蛋盖在米饭上，油汪汪浮着三粒冷掉的豌豆，我捏着餐盘站在那儿，手机又震了一下：告警群99+，不是红的，是灰的，因为全员已读不回。

　　两个月之前，从零搭CV平台，日均处理十万图。不是PPT里“支持”十万，是实打实压测过七轮，第三轮GPU显存泄漏卡在七万六千张就崩，第四轮切了镜像缓存后扛到九万八，第五轮……算了，第五轮是王工蹲在机房角落用对讲机喊“UPS嗡鸣变调了”，我们没人理他，全盯着Prometheus面板里那条绿色请求曲线——它弯下去那一刻，我原以为是调度器丢了心跳，结果是k8s节点label写错了，把cuda:enabled标成了cuda:enable。这个我敢打包票，翻了四百二十七次commit记录，就那一行少了个d。

　　优胜劣汰站得住？站得住。不是算法赢，是活下来的infra赢。训练集群和推理集群硬生生掰成两套，因为某天凌晨三点十七分，张婷——就是穿黑羽绒服总叼根没点的烟那个——在Jenkins里误点了全量重推，训练流水线把推理服务的模型热更目录覆盖了。我们没报警，连告警规则都没配，因为监控根本没覆盖model-version-link软链层。所以当天早上八点用户投诉“识别结果全变成猫”，运维查日志看到的是一串404，而AI组还在复现loss跳变……这个我说不准是不是SLA破了，反正SRE说MTTR算四十分钟，可那四十分钟里有十八秒我在找谁动了Ansible inventory，还有三分钟我盯着冷风出风口发呆：风速1.2m/s，吹得机柜侧板微微震，低频噪音57Hz，像老式CRT显示器待机时的底噪。

　　失败案例？三个。第一个是用NVIDIA Device Plugin直接挂卡，结果某节点GPU突然离线三次，日志只留一行“device removed”，查了三天才发现主板BIOS里CSM兼容模式开着；第二个是把ONNX Runtime当标准件硬塞进istio-proxy sidecar，结果gRPC头里塞了二进制tensor metadata，Envoy直接丢包不报错；第三个最逗——我们给图像预处理写了个超时兜底，设的是三百七十二毫秒，结果实际运行中ImageMagick resize一张12MP JPEG常驻在373ms卡住不动，整整一秒，然后才吐结果。不是bug，是libjpeg-turbo在特定内存页对齐下的毛刺。最后改成信号量劫持，但没人敢上线，怕影响trace上下文传递。所以现在还在用if-else绕，if耗时>370ms就走备选分支，else走主干。这事儿没写进周会纪要，只记在我私人Notion里，标题叫“临时方案永不过期”。

　　上周五下午，李总监带客户来巡检，站在我工位后面看Kiali拓扑图，指着一个边说“这个latency抖动为什么这么大”，我顺手切到Jaeger，拉出span详情，发现是PyTorch DataLoader prefetch线程在某个batch触发了GC暂停……话说到一半，食堂阿姨开始收餐具了，哐当哐当叠不锈钢盆的声音撞在玻璃墙上反弹回来。我抬头看了眼李总监，他正低头回微信，手指在屏幕上划了三下，没再抬起来。我就没继续讲下去。

文章配图，仅供参考

　　说实话，现在每天看那个十万图的吞吐报表，心里不是成就感，是条件反射数failover次数：昨天两次，前天一次，大前天零次——但大前天是周日，流量跌到日常三成，数据作废。真正让我后怕的是上个月18号，那个凌晨电话，响第一声我就醒了，听筒里只有呼吸声，五秒后王工说“北区制冷机组主路断了”，我没问哪一路，直接拔了笔记本电源冲下楼。电梯里看见自己倒影，眼睛下面挂着两坨青，像被谁用拇指抹过。但跑到机房，其实什么事都没有，只是温感告警虚报。可那晚之后，我把所有pod的livenessProbe timeout全从十秒改成了十五秒——多出来的五秒，够我喝半杯咖啡、喘匀气、再决定要不要按重启按钮。

　　所以别跟我说什么“平台能力边界”，我只认一件事：当你删掉一个sidecar，整个pipeline latency降四十毫秒；当你禁用一个metric collector，CPU占用跌八个点；当你手动把某台worker节点从集群摘掉，反而提升整体成功率——那你就知道，所谓架构，不过是所有妥协堆出来的、刚好没塌的雪坡。现在它没塌，不代表明天不会。下周我准备试试eBPF trace TensorRT kernel launch时间，但先得等机房把那台嗡嗡响的UPS换了再说。对了，新备件上周就到了，搁在库房第三排铁皮柜顶上，贴着“易碎勿压”标签——标签底下粘着半片干掉的番茄皮，也不知道谁蹭上的。

（编辑：汽车网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!