如你所见这只是一个日记本而已
@stvlynn
@stvlynn
NSFW😭
via Arkheis
via Arkheis
https://huggingface.co/AngelSlim/Hy4-preview-GGUF
HY4 轻量版
Sherry 稀疏三值量化(路由专家压到约 1.25 bit/权)加上 MIX-STQ1_0 逐层混合精度,把模型压到约 214 GB
省流:一台 4090 笔记本(16 GB 显存 + 32 GB 内存)加上一台 四卡 A4000(合计 80 GB 显存 + 64 GB 内存),用 prima.cpp 跨机器跑 214 GB 版,大约 1.02 token/s,比笔记本单机往内存/硬盘卸权重要快约 6 倍。
会更轻量,但是想要消费级设备跑还是洗洗睡了
HY4 轻量版
Sherry 稀疏三值量化(路由专家压到约 1.25 bit/权)加上 MIX-STQ1_0 逐层混合精度,把模型压到约 214 GB
省流:一台 4090 笔记本(16 GB 显存 + 32 GB 内存)加上一台 四卡 A4000(合计 80 GB 显存 + 64 GB 内存),用 prima.cpp 跨机器跑 214 GB 版,大约 1.02 token/s,比笔记本单机往内存/硬盘卸权重要快约 6 倍。
会更轻量,但是想要消费级设备跑还是洗洗睡了


