什么AI应用每秒处理20000个AI推理请求， 达到2024年谷歌搜索流量的1/5 ？
答案是独角兽 Character.ai ，由Transformer作者Noam Shazeer（后面简称沙哥）创办。
刚刚，沙哥公布了推理优化独门秘诀，迅速引起业界热议。
具体来说Character.ai在整个服务堆栈中实现了如下成绩：
Character.AI通过以上种种优化，已经把推理成本降低到最初的1/33，如果用市场上最好的商业API来支撑这种级别的流量，成本会比现在高出13.5倍!
众多公布的方法中， 原生 int8训练 是最受关注的。
虽然大多数技巧都来自公开研究，但是正如网友所说，知道如何把它们高效整合在一起实现的团队才是真正的护城河。
秘诀1：高效利用显存，attention 参数量降低20倍
大模型的一大痛点是显存占用高，导致无法支持大批量推理。Attention 层中的 Key-Value(KV)缓存便是罪魁祸首之一。
为了降低显存占用，Character.AI在Attention层大动手术:
与大多数开源模型中采用的GQA（Grouped-Query Attention）相比，将KV缓存大小减少了 8 倍。
而MQA正是沙哥本人2019年在谷歌期间提出的，有网友评价“当一个人能在生产环境中引用自己的论文，就达到了一个新的高度”。
将局部注意力与全局注意力层交织在一起，使用滑动窗口训练局部注意力，将复杂度从 O(length^2 ) 降低到 O(length)。
团队发现，将大多数注意力层的注意力范围减少到1024不会对评估指标产生重大影响，包括长上下文大海捞针基准。在Character.ai生产模型中， 每6层中只有1层使用全局注意力 。
团队将KV缓存绑定在相邻的注意力层上，这进一步将 KV缓存大小减少了 2-3 倍。
对于全局注意力，跨块绑定多个全局层的KV缓存，因为全局注意力层在长上下文用例中主导KV缓存大小，团队发现跨层共享KV不会降低质量。
下图中左半部分是标准Transformer设计，每个注意力都是全局注意力。右半部分为Character.ai的设计，蓝色框表示全局注意力，绿色框表示局部注意力，连线表示KV共享。
这一套组合拳下来，KV缓存大小减少20倍以上，显存再也不是瓶颈了。
秘诀2：巧用状态缓存，95%请求无需重算
Character.AI还有一招神来之笔，就是 在不同对话之间缓存Attention状态 。
作为聊天机器人角色扮演服务，Character.AI上大部分对话都是连续多轮的，平均每个对话包含180条消息。如果每次都要重新计算前面的状态，成本可想而知。
于是团队设计了一个缓存机制，把每个对话的Prefix和生成的消息都缓存在内存中，供后续调用。
借鉴RadixAttention的思路，树状结构的LRU缓存组织缓存的KV张量。缓存的KV值由前缀token的Rolling Hash速检索最长匹配的缓存，即使前缀只有部分匹配也能命中。
更妙的是，他们还用 会话保持 (Sticky Session)把同一对话路由到同一个服务器，进一步提高缓存命中率。最终做到95%的请求都能复用已有缓存，大幅降低了计算成本。
下图中，蓝色框表示主机内存上的缓存张量。绿色和黄色框表示CUDA内存上的KV缓存。当新查询到达时，它检索最长匹配前缀的KV缓存，Rolling Hash系统允许检索部分匹配消息的缓存。
秘诀3：直接量化训练，推理零损失还省显存
最后一招，Character.AI没有采用常见的“训练后量化”，而是 直接用Int8精度训练模型 。
这种格式虽然表达精度降低，但通过精心设计定制的矩阵乘和 Attention 内核，不仅把训练效率提高了好几倍，而且还能无损用于推理。
不过沙哥在这里暂时留了一手，表示“量化训练本身就是一个复杂的话题，将在以后的文章中继续讨论。”
沙哥其人
最后再来介绍一下传奇人物Noam Shazeer本人。
他1994年拿了信息学奥赛IOI金牌，后来毕业于杜克大学。
2000年加入谷歌，当时全公司只有200人左右，他参与了谷歌搜索的拼写纠正功能，后来也负责过早期广告系统。
据知情人透露，在当初面试谷歌时，沙哥就被问到如何实现拼写纠正。他描述了一种根据其他用户的输入输入记录，进行统计验证的方法。
面试官Gmail之父Paul Buchheit意识到，沙哥的方案比谷歌当时使用的要好。沙哥成功入职之后就把他的面试方案写出来了。
在Transformer开山之作《Attention is All You Need》研究中，沙哥最后一个加入团队，一来就负责重新编写了整个代码。
在沙哥出手之前，Transformer早期原型性能并没有超越当时流行的LSTM方案，是他把早期设计中的卷积等模块都拿掉，给出了一个极简主义方案。最终破了BLEU测试的记录，同时计算效率也更高。
队友用“他是一个巫师”来评价他的工程和代码能力。
除此之外，沙哥还有惊人的远见。在Transformer架构问世不久，他就给谷歌高层写信，提议公司放弃整个搜索索引，并用Transformer架构训练一个巨大的神经网络替代。
2021年，沙哥离开谷歌后创办了Character.AI，让玩家简单自创个性化AI陪聊，目前估值约50亿美元。
最近有消息称，Meta与马斯克的都在争取与他们合作，把聊天机器人引入社交平台。
参考链接：[1]https://research.character.ai/optimizing-inference/[2]https://x.com/NoamShazeer/status/1803790708358410380
新出来的3D游戏哪个人气高些？
【永恒之塔】是韩国著名开发厂商NCsoft历时五年制作的新一代奇幻 MMORPG游戏，拥有史诗化的游戏背景、唯美的游戏画质、逼真的人物造型和宏大的游戏音乐。 它由三个种族纷争的世界组成，玩家可自由扮演天族或者魔族，并与对立种族和龙族进行大规模战斗。 游戏不仅向玩家提供了PvPvE空间，更把奖励体系和玩家情感变化相结合，强调玩家与游戏的互动，意欲让玩家与游戏世界相融合，并创造出新的变化。 《永恒之塔》目前3D游戏的画面和人气都是名列前茅的 这个游戏要达到25级以上才能感到这个游戏的玩点 前面纯属熟悉游戏 25以上才是游戏真正的开始。 《永恒之塔》获得各个奖项 2009最佳大型网游 2009最佳新网游 2009最受欢迎的在线网游 2009最佳新MMO网游奖 获2009欧美网游排行第一 2009年度五佳网游
它由三个种族纷争的世界组成，玩家可自由扮演天族或者魔族，并与对立种族和龙族进行大规模战斗。 游戏不仅向玩家提供了PvPvE空间，更把奖励体系和玩家情感变化相结合，强调玩家与游戏的互动 。 强劲的画面效果人尽皆知 完美的音乐音效对气氛的烘托恰到好处
官方网站注册:【热血传奇】传奇续章怪物直接爆元宝值得推荐帐号注册【传奇世界】是2D奇幻动作类大型网络角色扮演帐号注册【梦幻国度】卡通风格Q版角色扮演针对女性玩家帐号注册【彩虹岛】2D卷轴式大型多人在线角色扮演女性玩家帐号注册【新英雄年代】是大型网络角色扮演游戏好玩的游戏帐号注册【龙神传说】2D Q版时尚 MMORPG网络游戏好玩的游戏帐号注册【千年三】武侠风格的大型多人在线角色扮演网络帐号注册【传奇外传】操作简单容易上手PK爽快的好玩的游戏帐号注册【预言Online】浓郁的奇幻武侠色彩角色扮演2.5D帐号注册【穿越OL】免费2D回合制网游比《梦幻西游》好玩帐号注册大型3D网络游戏
【永恒之塔】大型3D新一代奇幻 比魔兽世界好玩帐号注册【苍天】 三国历史时期为背景大型3D RPG动作网游贵宾帐号注册【龙骑士】飞龙骑战为主要特色3D角色扮演游戏帐号注册【鬼吹灯】贴近街机游戏细节大型过关格斗网络游戏帐号注册【剑侠世界】继承了中国武侠文化的精髓武侠迷的游戏帐号注册【蜀山新传】传统修真文化为背景突出全民赚钱游戏帐号注册【仙境传说】特有的结婚离婚系统和养子系统游戏帐号注册【吞食天地2】三国名将自由捕捉首创回合真实攻守战的帐号注册【成吉思汗】整个游戏以史诗手法衔接着征战剧情游戏帐号注册【空战世纪】3D飞行射击网游真实刺激多人空中对战游戏帐号注册【迪士尼】3D迪士尼主题网游迪士尼
【巨星】喜欢唱歌玩的新型k歌演唱训练游戏帐号注册对战平台：【浩方对战平台】好玩的游戏帐号注册浩方
【起点中文】中文原创文学平台vip注册【生死格斗OL】3D版本格斗游戏角色扮演与格斗竞技完美结合注册【大战舰】是以宇宙星球战争为背景星际策略类网络游戏帐号注册【功夫小子】精品格斗类休闲网游帐号注册【超级跑跑】首款动作赛跑网游帐号注册【新热血英豪】3D 休闲网络竞技游戏帐号注册新热血英豪
【疯狂赛车】卡超多的赛道通风格的赛车类休闲网游帐号注册【纵横天下】在线人数达10万网页游戏注册【帝国远征】首款休闲策略PK 三者结合大型战略网页游戏注册希望对您有帮助.欢迎大家复制
现在有什么游戏私伏玩？？
您好!!先祝你新年快乐,很高兴为您解答,下面的答案希望您会满意2009热门网游龙行天下推举-苍天运营公司：盛大09年1月14号有新的封测《苍天》是以中国四大名著小说之一三国演义为题材制作的一款风格独有的3D格斗类游戏。 游戏特色：最爽快的格斗 最激烈的国战，最丰富的战略，最宏大的视听，成长多样化，最逼真的三国。 龙行天下推举-鬼吹灯外传运营公司：盛大《鬼吹灯外传》是一款麦石信息研发的大型横版3D角色扮演过关格斗网络游戏，游戏亦采用了先进的三维建模、二维贴图的显示方式，使鬼吹灯外传游戏画面在不失传统街机风格的前提下，最大幅度的提升了特效的华丽程度—各种原先只能凭借自己想象才能领略一二的独门格斗技巧。 官方网站：龙行天下推举-Q版横版QQ仙境运营公司：腾讯游戏《QQ仙境》是韩国NextPlay公司开发的一款3DQ版横版角色扮演打斗游戏，游戏具有超炫丽的游戏场景，清新亮丽的画面风格给玩家带来全新视觉震撼；最可爱的人物形象：玩家角色、NPC、怪物个个生动朝气、鲜活可爱；超爽快的动作表现.获得激活码的玩家可以登陆QQ仙境官网激活页面，激活自己的QQ号码。 QQ仙境预计将于08年12月29日封测, 09年03月面市龙行天下推举-仙境传说2运营公司：第九城市《仙境传说2》与前作最大的不同就是采用全3D角色扮演画面打造的人物和游戏世界。 采用虚幻引擎2描绘的人物承继了前作的可爱风格，并且从眼睛到手指的身体各个部位都可以活动，玩家不仅可以通过聊天进行沟通，更是可以通过身体语言和表情表达情感。 并且人物定制的自由度也大大提高，脸部也可以进行细微的设定,目前是封闭测试。 龙行天下推举-仙剑online运营公司：久游网《仙剑online》是来自大宇团队研发的MMORPG，传承仙剑奇侠传经典的游戏文化底蕴，以中国式的奇幻武侠为特色，在中国风味浓厚的背景下，以强调人性情感的意涵为主轴，架构成一个多彩多姿，并富有中国文化的游戏世界,仙剑online是一款3D角色扮演武侠游戏。 在1月16日全面测试龙行天下推举-真三国无双Online运营公司：天希网络09年1月23号万人封测的《真三国无双Online》是由日本光荣公司最新研发的MMO动作游戏，真三国无双Online作为无双系列的第一款3D角色扮演打斗游戏网络游戏，在系统和内容上继承了真三单机系列的已有优点，并做了很多联机改进龙行天下推举-石器时代2运营公司：渡口网络华义定义的“全家游戏”《石器时代2》也将在今年登场。 石器时代2故事内容延续石器时代的故事为背景，并承袭继有的美术元素，开创出全新的虚拟3D线上游戏战略角色扮演。 内测是11月14号.2008年12月18日开放测试龙行天下推举-剑侠3运营公司：金山《剑侠情缘网络版3》是电影武侠世界。 剑侠3现在已经开始内测，金山会09年03月份才会公测！剑侠3是3D类似格斗类角色演游，华丽的武功特效结合新颖的武功领悟和自创系统,十八罗汉阵、乾坤无极、羽林枪法、剑舞绝技、太极八卦中国武侠的各种要素都在游戏中得到了完美的体现。 龙行天下推举-十二之天贰运营公司：悠游网《十二之天贰 OL》是由韩国Gigas Soft公司历时3年时间研发的3D多人在线角色扮演武侠游戏，第一代在市场上已有五年时间，在韩国、台湾、日本地区都有不错的成绩。 第二代除了延续第一代完整的游戏架构，更丰富的游戏内容、美术表现，快节奏的战斗画面，都堪称上上之作，相信在游戏推出后必定会掀起一股武侠旋风。 09年1月06号最终封测龙行天下推举-永恒之塔(AION)运营公司：盛大《永恒之塔》是韩国网游巨头NCSOFT，集合精英开发团队精心研磨的一款3D角色扮演类游戏，国服3.4月公测,到时会有很多活动。 请尊重本人的劳动之作,谢谢合作!!
ACG就是二次元吗。
是的。 ACG即日本动画（Anime）、漫画（Comics）与游戏（Games）的英文首字母缩略字。 该词汇一般不翻译为中文，需要时可能会被译为“动漫游戏”、“二次元”或“动漫游”等。 该词汇来自于华人地区的次文化，多指来自日本的动漫及电子游戏作品，包括传统日式电子角色扮演游戏以及美少女游戏。 并随着“二次元”这一词汇的延伸性，ACG这些词所容纳的东西正渐渐成为不再是单纯指代日本产品的词汇。 扩展资料：源流与发展——1995年，台湾的动漫爱好者AIplus在国立中山大学山抹微云BBS站开设新版面时，使用了“ACG_Review板”作为版面名称，以代指动画、漫画、游戏，这是“ACG”一词首次出现。 后来在傻呼噜同盟推广之下，三个字母的顺序渐渐固定下来，并逐渐流传至中国大陆、香港等华人社会。 在轻小说改编的动画、漫画、游戏越来越多之际，又衍生出“ACGN”这一新词汇，其中的字母N代表小说。 日本不使用源自英文ACG这个词，较常使用的类似概念为MAG（日语：マグ）一词，即日本漫画（Manga）、日本动画（Anime）和游戏（Games）的缩写。 日本的爱好者间常用二次元来代指一系列的动漫文化，包括轻小说、手办等，而御宅文化（オタク文化）一词则泛指相关领域次文化，在英语社会里一般还会使用动画和漫画一词，但其中没有包括游戏。
