$ grep -r "quantization" posts/
你的 bf16 模型，有 5 個 bit 是廢的
bf16 的 16 個 bit 不是都「實在」——指數欄位 8 個 bit 只承載約 2.65 bit 真實資訊。DFloat11 靠熵編碼把 bf16 無損壓到 11 bit（省 31% VRAM），bit-for-bit 完全還原。但為什麼 int8 通常還是贏？這篇把浮點結構、無損 vs 有損、以及它為什麼進不了正統一次講清楚。
四張 3090 塞一顆 180B：家庭伺服器的 MoE 塞入記
180B 參數、96GB 顯存、47.7GB 放不進 VRAM 的查表——consumer 3090 怎麼跑 256K context 的 MoE，計算與陷阱全公開。