Article
29229 discoveries · Hand-picked discoveries from the open web, newest first.
-
DeepSeek-V4.1 模型结构(4):深度维度,Single-Pass mHC
mHC 的计算量很小,开销在读写残差流。这一篇从一个子层边界上最少要读写多少个数推出访存量的下界 (2n+2)d,算出 V4 的实现是下界的两倍,再一步步合并 kernel:先把归一化挪到投影之后,再让读算子改用上一个子层算好的权重。最后对照官方代码看这个改动落在哪三处。
Java不加糖's Blog · ZH
-
DeepSeek-V4.1 模型结构(5):记忆,Engram
Transformer 认出一个固定搭配要花掉前几层的计算。Engram 换一条路:按当前 token 结尾的 2、3、4-gram 做哈希,从一张 3.84 亿行的表里取出向量,经过一个门加进残差流。这一篇从「直接建 n-gram 表为什么不行」推到哈希的具体形式,用中国剩余定理说明 8 个头为什么足以区分不同的 n-gram,再讲门的公式、V4.1 去掉的卷积,以及 196B 参数怎么分配、训练和存放。
Java不加糖's Blog · ZH
-
DeepSeek-V4.1 模型结构(6):解码,DSpark
主干一次前向只出一个 token。DSpark 是挂在主干后面的三层草稿模块:一次前向给出 5 个位置的 logits,用一个秩 256 的 Markov head 补上草稿 token 之间的依赖,再由 confidence head 和调度器按当前负载决定送几个给主干验证。这一篇从投机解码的接受规则讲起,推出并行草稿为什么越往后越不准,调度器的阈值为什么随负载变,以及按置信度截断在什么条件下不改变输出分布。
Java不加糖's Blog · ZH
-
DeepSeek-V4.1 模型结构(7):输入端与优化器
主干之外的两头。输入端:从零训练的 DeepSeek-ViT,一张 1302 × 1302 的图怎么变成 994 个位置,文本和图像 token 为什么要各用一套负载均衡偏置。优化器:head-wise Muon 把 query 权重按头切开再正交化,用一个秩 1 的例子说明它改变了什么;Sinkhorn-balanced update 用行列交替归一化代替 Adam,只存一份动量就能训练 196B 参数的 Engram 表。
Java不加糖's Blog · ZH
-
DeepSeek-V4.1 模型结构(8):KV cache 的管理与 SWA Bounded Replay
连载收尾。890 字节是显存里的全局 KV,磁盘上的缓存还要再减一半:办法是滑窗 KV 不再存盘。这一篇讲滑窗 KV 为什么不适合放在保留 72 小时的磁盘缓存里,V4.1 把它挪到了哪,丢了之后怎么只用 128 个 token 的回放重建,这个近似的代价是什么;再讲 CSA2 的跨层共享在流水线并行下怎么训练,以及多模态训练的三处系统改动。
Java不加糖's Blog · ZH
-
用 Docker 部署 UniVPN,让多个 VPN 连接共存
把 UniVPN 放进独立容器,终端输入短信;默认选 Full 按原始 IP 使用 SSH 和浏览器,Lite 则通过 SOCKS5 逐应用接入。
Java不加糖's Blog · ZH
-
DeepSeek Super-agent 拆解:架构设计与开源插件的实现边界
对照 DeepSeek Harness 团队的 Super-agent 文章与开源代码,拆解 Router/Worker、事件订阅、任务授权和故障恢复:哪些已经实现,实验测到了什么,以及长期运行还缺什么。
Java不加糖's Blog · ZH
-
残障人士遭强迫劳动再引关注,网约车司机疲劳驾驶平台被定责|工劳小报 #86 新闻刊
编者按 本期小报按照 细化行业分类 呈现,同时继续更新“劳动絮语”板块,推送一线劳动者的声音。 本期收录了近
工劳小报 · ZH
-
三地摊贩登车顶抗议城管暴力执法,聊城幼师被逼签“自愿离职”|工劳小报 #87 新闻刊
编者按 本期小报按照 细化行业分类 呈现,同时继续更新“劳动絮语”板块,推送一线劳动者的声音。 本期小报继续
工劳小报 · ZH
-
晋江鞋厂大火28工人殒命,桔子数科裁员多地员工维权|工劳小报 #88 新闻刊
编者按 本期小报按照 细化行业分类 呈现,同时继续更新“劳动絮语”板块,推送一线劳动者的声音。 本期小报持续
工劳小报 · ZH
-
多地暴雨工人被困高空吊篮,美团试点“等灯停表”|工劳小报 #89 新闻刊
编者按 这个夏天,极端天气依旧,高温、暴雨、洪水轮番轰炸。小报第一期 主题刊 曾提到:极端天气对劳动环境暴
工劳小报 · ZH
-
华特集团工人连日罢工,“耻辱合影”折射教师职业困境|工劳小报 #91 新闻刊
编者按 近期,多起劳动者维权事件集中暴露出薪酬拖欠、社保缺失、工伤认定受阻及用工责任逃避等问题。上海华
工劳小报 · ZH
-
邓煜、王虹:获奖理由、人物短片与记者问答翻译
本文整理自 2026 年国际数学家大会开幕式及获奖者新闻发布会的英文自动字幕,只收录邓煜和王虹的获奖理由、人物短片内容与现场问答。记者问答按新闻发布会中的出现顺序排列。本文仅保留中文译文,属于依据校订后英文字幕制作的非官方翻译,并非主办方审定的正式逐字稿。邓煜获奖理由菲尔兹奖授予邓煜,以表彰他在偏微分方程领域的工作,其中包括:从稀薄气体的硬球动力学严格推导玻
一派胡言 · ZH
-
Windows 的 HEVC 扩展收费跟苹果无关
今天在某个群里看到这样的言论:不由得感慨苹果真冤啊。因为很多 HEIC 照片来自 iPhone,所以有些蠢人会把这笔钱理解成苹果的格式授权费。然而实际上,这个费用并不是苹果收的。HEIC 通常是使用 HEVC 压缩的 HEIF 图片。Windows 上的 HEIF 图像扩展负责识别文件结构,HEVC 视频扩展负责解码里面的图像数据。即使只是看照片,也可能同时
一派胡言 · ZH