极限量化， 把每个参数占用空间压缩到1.1bit ！
IEEE Spectrum专栏，一种名为的训练后量化（PTQ）方法火了。
通俗来讲，随着LLM参数规模越来越大，模型计算的内存和资源也面临着更大的挑战。 如何把模型变得小巧经济实惠，能塞进手机等设备中？
BiLLM解决的正是这样的一个问题。它使用1bit来近似网络中的大多数参数，使用2bit来表示一些对性能最有影响的权重。
实验测试中，研究人员对OPT模型、Llama系列进行了二值化。
在OPT模型家族上，BiLLM以1.1bit的平均权重大小实现了目前最极限的LLM训练后压缩；在Llama系列模型上，BiLLM在1.08bit下的表现甚至超过了使用全精度的OPT-66B模型。
效率方面，BiLLM能够在单个GPU上半小时内完成7B LLM的二值化。
BiLLM发布当天，便引发了网友对大模型优化的热议，有网友就表示：
这项研究由香港大学、苏黎世联邦理工学院、北京航空航天大学联合推出，目前已被ICML 2024接收。
量子位也联系到了作者，给大伙儿解读一下。
LLM权重分布探究
为了应对超低位宽下大语言模型的能力崩溃问题，研究人员对多个预训练大语言模型的权重和其Hessian矩阵（损失的二阶梯度）分布情况进行了初步研究，得到以下观察：
首先，研究人员发现大语言模型的 Hessian矩阵表现出极端的长尾分布特性 。
这也意味着大多数位置权重的变化对模型的输入输出并不敏感，而少部分元素对于权重的输出非常敏感。
其次，大语言模型中的 权重密度遵循不均匀的钟形分布形式 。
这种钟形分布在特征方面与高斯分布或拉普拉斯分布非常相似，即大多数权重集中在0附近，整体呈现非均匀的钟形分布。
上述观察表明大多数权重在LLM当中是冗余的，而少部分权重发挥着极其重要的作用；同时，在极端的二值化压缩场景下，这种非均匀钟形分布会产生更大的量化误差。
对此，研究人员对少部分显著权重和大部分非显著权重分别提出了二阶残差逼近和最优钟形分组方法进行量化，在1.1bit的权重下首次实现了LLM的性能保证。
△LLM权重分布现象
显著权重：二阶残差逼近
研究人员发现，显著权重往往积聚在特定的通道当中。
因此， BiLLM采用一种通道级别的分组方式来区分显著权重和非显著权重。这种结构化划分相比于非结构化处理引入的开销可以忽略不计，对硬件部署十分友好。
△显著通道权重二阶残差逼近示意图
由于显著权重的重要性，先前工作往往直接将这部分权重保存为原精度或量化到8-bit来保证LLM的性能。然而，这种方式会导致整体位宽的增加。
为此，研究人员开发了一种用二值化残差逼近方法作用于显著通道的权重。
这一方法通过直接二值化和残差二值化有效降低了显著权重的极端量化误差。与直接保留显着权值为16位或者8位相比，该方法仅通过2位开销存储显着权值，同时有效保护了权重中的重要元素。
非显著权重：最优钟形划分
由于显着通道数量极低，剩余的大部分权重仍然保持着钟形分布。
同时，在排除显着权重影响的情况下变得更加对称。由于二进制量化代表均匀量化的极端形式，直接将钟形分布下的权重舍入到二值权重会带来巨大的的量化误差。
因此研究人员对这部分权重采用了分组二值化的方式，通过自动搜索策略寻找最优的分割点。
此外，研究结果表明，尽管非显着权重并非理想的高斯分布或拉普拉斯分布，但搜索函数的误差曲线仍然表现出凸性，证实了最佳分割点的存在。
△非显著权重分布搜索（左），搜索误差曲线的凸性（右）
同时由于外侧分组的数值方差较大，搜索中总是以较小的比例出现（0.5%～3%）。可以进一步采用稀疏行压缩的策略来进行分组标识，进一步提升细粒度分组方案下的硬件友好性。
实验结果
研究团队在OPT和Llama系列模型上验证了BiLLM性能。此外，考虑到LLM通常需要基于指令进行微调以适应不同的应用环境，实验还报告了Vicuna-7B和Vicuna-13B的量化结果。
BiLLM在平均1.1bit权重时，在多个评价指标上实现了超过GPTQ，PB-LLM等方法在2-bit时的性能，同时在部分模型体积上接近3-bit权重的性能。
结果表明， BiLLM 率先在接近1位的平均比特率下实现了LLM性能保证，推动了LLM无训练量化的边界。
△opt系列困惑度对比结果
△Llama系列困惑度对比结果
△Zero-Shot评测数据集对比结果
BiLLM在Llama-13B和Vicuna-7B上实现了更好对话效果。
论文链接：https://arxiv.org/abs/2402.04291
参考链接：[1]https://spectrum.ieee.org/1-bit-llm[2]https://news.ycombinator.com/item?id=40529355
如果qq号被盗怎么找回
上QQ官网``登陆你的QQ去申诉``再嘛``教你几招放倒号称全球第一杀毒软件BitDefender简体版BitDefender Internet Security 2008 简体版(0306)下载地址:注册码：18C3B166D9F1CD8银奖：Kaspersky（卡巴斯基)铜奖:卡巴斯基(KIS) V6.0卡巴斯基 KIS 7.0.1.325 简体中文免激活版 【正版KEY】下载地址:key下载地址:第四名：Pc-Cillin（趋势）趋势科技网络安全专家 (PC-Cillin) 2008 90天试用简体中文版下载地址:趋势科技杀毒软件2008注册机下载地址:第五名： ESET Nod32NOD32 反病毒系统 V2.70.39 简体中文正式版下载地址:升级帐号获取器下载地址:第六名：McAfeeMcAfee VirusScan Plus 2008(麦咖啡OEM简体中文5年授权版)全面保护2008下载地址:VirusScan Plus 2008授权至到2014年5月版下载地址:第七名：Norton AntiVirus诺顿防病毒软件(Norton Antivirus)下载地址:Antivirus)2008序列号:X8MM-RWM9-FIFA-KFLT-FIFAWA7P-8M2H-GKIU-H0FA-0HTD第八名：AVGAVG Anti-Spyware(原Ewido Anti-Spyware) V7.5.1.43 汉化版下载地址:破解补丁下载:第九名：eTrust EZ AntiViruseTrust EZ Antivirus V7.0.8.1下载地址:第十名：Norman Virus ControlNorman Virus Control V5.81 r6 简体中文版下载地址:地址告你嘞``你放心去下把``100%无病毒``
专业处理照片的电脑配置
图像处理需要一个强有力的电脑，下面是买笔记本电脑的要点：1、要了解下电脑有哪些部分组成，一台电脑有CPU、主板、硬盘、内存条、显卡、显示器、机箱、电源、鼠标和键盘组成。 电脑的配置，也就是这些硬件的配置。 2、作为一个平面设计的电脑，需要打开PS、AI等平面设计软件、也就是电脑需要满足这些软件的运行，平面设计软件对电脑颜色现实要求也比较高，因此根据这些要求来配置电脑。 电脑要很好运行，首先要有个强劲的CPU，在此建议I5 以上的CPU，或者 A6以上的APU。 3、AI等软件打开时是很占内存的，因此需要一个大容量的内存，建议16G内存。 4、显卡，建议用带有GPU功能的显卡，这样有助于电脑图像的渲染。 剩下的要注意电源，电源功率要选500w以上，不然电脑硬件会容易坏，在配置一个固态硬盘，这样加快系统的运行，做设计会很流畅。 剩下的选个好点的显示器。
如果不用来玩大型游戏，哪种品牌的笔记本电脑比较好？怎样的配置才趋于适用？
华硕（ASUS）F8H54SV-SL 14.1寸笔记本电脑(￥7899 )华硕 F8Sv F8H54SV-SL 基本参数型号 F8Sv F8H54SV-SL处理器 Intel Core2 Duo(Merom) T5450(1.6G)处理器类型 酷睿2(Socket P Merom)处理器最高主频 1600MHz二级缓存 2048KB L2主板芯片组 Intel PM965+ICH8M系统总线 667MHz产品定位 中高端,轻便,商务,3D华硕 F8Sv F8H54SV-SL存储设备 内存容量 1024M 内存类型 DDR2最大支持内存 2个内存插槽,最大容量支持4GB硬盘类型 SATA硬盘硬盘参数 5400转硬盘容量 120G光驱类型 内置,DVD刻录机华硕 F8Sv F8H54SV-SL显示屏 屏幕尺寸 14.1寸显示屏类型 WXGA显示屏描述 宽屏,16:10比例,高亮屏,镜面屏,分辨率:1280×800华硕 F8Sv F8H54SV-SL音频视频 显示芯片 独立,nVidia Geforce 8600M GT显存容量 256M/128bit DDR2,频率800MHz显卡性能 PCI-E X16接口标准,支持DirectX 10内置摄像头 内置摄像头,130万像素音频系统 Realtek ALC660音效芯片扬声器 内置扬声器华硕 F8Sv F8H54SV-SL通 讯 MODEM 56K网卡 内置1000M网卡无线通讯 802.11N 无线网卡,Bluetooth蓝牙模组华硕 F8Sv F8H54SV-SL输入输出 指纹识别器 带指纹识别器鼠标替代设备 触摸板USB 5个,USB2.0PCMCIA卡/Express卡 1个Express卡读卡器 内置,5合1读卡器其它接口 1个IEEE1394a,DVI接口,VGA接口,S-VIDEO接口,RJ11,RJ45,声音输入,声音输出孔(支持SPDIF),直流电源插孔,安全锁孔华硕 F8Sv F8H54SV-SL结构特征 结构类型 全内置重量 约2.6Kg规格 340×244×37.2mm华硕 F8Sv F8H54SV-SL电能规格 电池类型 6芯锂电池(11.1V,4800mAh)电源适配器 100-240V 50/60Hz通用电源适配器(直流19伏,90瓦输出)华硕 F8Sv F8H54SV-SL其 它操作系统 Windows Vista home Basic附件 软件光盘,说明书保修时间、方式 2年全球联保其它性能 TPM安全芯片
