只需Image Tokenizer，Llama也能做图像生成了，而且效果超过了扩散模型。
来自港大和字节的研究人员，提出了基于自回归模型Llama的图像生成方法。
目前该模型已经开源，并在GitHub斩获了近900颗星标。
扩散模型出现后，取代了自回归方法，一度成为图像生成的主流技术路线。
但在ImageNet测试基准上，作者提出的LlamaGen表现 超越了LDM、DiT等扩散模型 。
作者的这一发现，证明了最原始的自回归模型架构同样可以实现极具竞争力的图像生成性能。
△LlamaGen生图示例，第一行为class调控生成，第二行为文生图
那么，基于自回归模型，或者说基于Llama的图像生成，是如何实现的呢？
用自回归模型做图像生成
作者介绍，开源社区对自回归模型做图像生成的印象大多停留在2020年的VQ-GAN的ImageNet基准上取得的15左右的FID分数。
然而，早在2021年的ViT-VQGAN已经达到了FID 3.0左右的性能，DALL-E 1，Parti等更是在文生图领域展现了巨大的潜力。
不过这些工作都没有开源，于是，研究团队将目标设定成了推出开源版的基于自回归图像生成模型。
针对现有的先进的图像生成模型，作者总结出其成功的三点关键设计：
于是，作者采用了与VQ-GAN同样的CNN架构，将连续的图像转化成离散的Token。
相比2020年的VQ-GAN，作者对Image Tokenizer有了更多的认知：
△VQ-GAN架构，非本项目
架构方面，LlamaGen的模型架构主要基于Llama语言模型，包括使用RMSNorm的Pre-Normalization、SwiGLU和RoPE。
尽管图像生成领域一些常用的技术（如AdaLN）可能进一步提高性能，但作者还是尽可能保持与Llama语言模型一模一样的架构。
在Class-Conditional和Text-Conditional（文生图）图像生成模型中，作者采用了使用最简单的实现：
Class或文本嵌入直接作为起始Token，后续的Image Token应用next-Token预测范式产生。
训练的过程则分为两个阶段进行。
在第一阶段，模型在LAION-COCO的50M子集上进行训练，图像分辨率为 256×256。
LAION-COCO原始数据集有6亿图文对，作者通过有效的图像URL、美学分数、水印分数、CLIP图文相似度分数和图像大小来筛选这些图像。
在第二阶段，模型在1千万规模的内部高美学质量图像上进行微调，图像分辨率为512×512。
这些美学图像的文本描述由LLaVa产生。
到了部署阶段，基于原生自回归模型架构的图像生成模型可以无缝采用现有的LLM部署框架，例如vLLM。这也是统一模型架构的一大优势。
同时，基于vLLM的框架部署方式，为LlamaGen带来了326%-414%的加速。
效果不输扩散模型
那么，作者研究出的这款模型效果究竟怎样呢？
先说作者重新训练的Image Tokenizer，它在ImageNet和COCO上优于以前的Tokenizers，包括VQGAN，ViT-VQGAN和MaskGI等。
重要的是，基于离散表征的Tokenizer与基于连续表征的VAE性能持平（例如在扩散模型中被广泛使用的SD VAE），这表明图像量化的离散表征不再是图像重建的一大瓶颈。
实际生成过程中，在ImageNet测试集上，LlamaGen在FID、IS、Precision和Recall等指标上都表现出了极强的竞争力。
其中，LlamaGen-3B模型优于广为流行的扩散模型 LDM和DiT。这表明最朴素的自回归模型架构有能力作为先进图像生成系统的基础模型。
同时，与之前的自回归模型相比，LlamaGen在各个参数量级上均优于以前的模型。
作者分析，这样的成绩是得益于更好的Image Tokenizer和Llama架构更好的扩展性。
文生图方面，经过第一阶段的训练，模型基本拥有了图文对齐的能力，但其生成图像的视觉质量有待提高。
第二阶段的训练显著提高了生成图像的视觉质量，作者认为这种提高来自两个方面——
当输入更长的文本时，LlamaGen也可以生成兼具图文对齐与视觉质量的图像。
不过作者也坦言，如果类比扩散模型的发展路线，目前的LlamaGen只是做到了Stable Diffusion v1阶段，未来的改进方向包括SDXL（更大的分辨率，更多的Aspect Ratio），ControlNet（更高的可控性），Sora（视频生成）。
从多模态大模型的视角看，自回归模型分别实现理解任务和生成任务都被证明了可行性，下一步就是在同一个模型中联合训练。
目前该项目已经开源，而且还支持在线体验，感兴趣的话不妨一试。
在线体验：https://huggingface.co/spaces/FoundationVision/LlamaGen论文地址：https://arxiv.org/abs/2406.06525项目主页：https://peizesun.github.io/llamagen/GitHub：https://github.com/FoundationVision/LlamaGenHugging Face：https://huggingface.co/FoundationVision/LlamaGen
黑洞怎么形成？
[编辑本段]【黑洞的产生】 黑洞的产生过程类似于中子星的产生过程；恒星的核心在自身重量的作用下迅速地收缩，发生强力爆炸。 当核心中所有的物质都变成中子时收缩过程立即停止，被压缩成一个密实的星球。 但在黑洞情况下，由于恒星核心的质量大到使收缩过程无休止地进行下去，中子本身在挤压引力自身的吸引下被碾为粉末，剩下来的是一个密度高到难以想象的物质。 任何靠近它的物体都会被它吸进去，黑洞就变得像真空吸尘器一样． 亦可以简单理解：通常恒星的最初只含氢元素，恒星内部的氢原子时刻相互碰撞，发生裂变、聚变。 由于恒星质量很大，裂变与聚变产生的能量与恒星万有引力抗衡，以维持恒星结构的稳定。 由于裂变与聚变，氢原子内部结构最终发生改变，破裂并组成新的元素——氦元素。 接着，氦原子也参与裂变与聚变，改变结构，生成锂元素。 如此类推，按照元素周期表的顺序，会依次有铍元素、硼元素、碳元素、氮元素等生成。 直至铁元素生成，该恒星便会坍塌。 这是由于铁元素相当稳定不能参与裂变或聚变，而铁元素存在于恒星内部，导致恒星内部不具有足够的能量与质量巨大的恒星的万有引力抗衡，从而引发恒星坍塌，最终形成黑洞。 跟白矮星和中子星一样，黑洞很可能也是由质量大于太阳质量20倍的恒星演化而来的。 当一颗恒星衰老时，它的热核反应已经耗尽了中心的燃料（氢），由中心产生的能量已经不多了。 这样，它再也没有足够的力量来承担起外壳巨大的重量。 所以在外壳的重压之下，核心开始坍缩，直到最后形成体积小、密度大的星体，重新有能力与压力平衡。 质量小一些的恒星主要演化成白矮星，质量比较大的恒星则有可能形成中子星。 而根据科学家的计算，中子星的总质量不能大于三倍太阳的质量。 如果超过了这个值，那么将再没有什么力能与自身重力相抗衡了，从而引发另一次大坍缩。 这次，根据科学家的猜想，物质将不可阻挡地向着中心点进军，直至成为一个体积很小、密度趋向很大。 而当它的半径一旦收缩到一定程度(一定小于史瓦西半径），正象我们上面介绍的那样，巨大的引力就使得即使光也无法向外射出，从而切断了恒星与外界的一切联系——“黑洞”诞生了。 根据科学家计算,一个物体要有每秒种7.9公里的速度,就可以不被地球的引力拉回到地面,而在空中饶着地球转圈子了.这个速度,叫第一宇宙速度.如果要想完全摆脱地球引力的束缚,到别的行星上去,至少要有11.2km/s的速度,这个速度,叫第二宇宙速度.也可以叫逃脱速度.这个结果是按照地球的质量和半径的大小算出来的.就是说,一个物体要从地面上逃脱出去,起码要有这么大的速度。 可是对于别的天体来说,从它们的表面上逃脱出去所需要的速度就不一定也是这么大了。 一个天体的质量越是大,半径越是小,要摆脱它的引力就越困难,从它上面逃脱所需要的速度也就越大. 按照这个道理,我们就可以这样来想:可能有这么一种天体,它的质量很大，而半径又很小,使得从它上面逃脱的速度达到了光的速度那么大。 也就是说,这个天体的引力强极了,连每秒钟三十万公里的光都被它的引力拉住，跑不出来了。 既然这个天体的光跑不出来,我们然谈就看不见它,所以它就是黑的了。 光是宇宙中跑得最快的，任何物质运动的速度都不可能超过光速.既然光不能从这种天体上跑出来,当然任何别的物质也就休想跑出来.一切东西只要被吸了进去，就不能再出来，就象掉进了无底洞,这样一种天体，人们就把它叫做黑洞. 我们知道，太阳现在的半径是七十万公里。 假如它变成一个黑洞,半径就的大大缩小.缩到多少?只能有三公里.地球就更可怜了,它现在半径是六千多公里.假如变成黑洞，半径就的缩小到只有几毫米.那里会有这么大的压缩机，能把太阳 地球缩小的这么!这简直象《天方夜谭》里的神话故事,黑洞这东西实在太离奇古怪了。 但是，上面说的这些可不是凭空想象出来的,而是根据严格的科学理论的出来的.原来,黑洞也是由晚年的恒星变成的,象质量比较小的恒星,到了晚年，会变成白矮星；质量比较大的会形成中子星.现在我们再加一句,质量更大的恒星,到了晚年，最后就会变成黑洞.所以，总结起来说,白矮星 中子星和黑洞,就是晚年恒星的三种变化结果. 现在,白矮星已经找到了，中子星也找到了，黑洞找到没有?也应该找到的.主要因为黑洞是黑的，要找到它们实在是很困难。 特别是那些单个的黑洞，我们现在简直毫无办法。 有一种情况下的黑洞比较有希望找到，那就是双星里的黑洞. 双星就是两颗互相饶着转的恒星.虽然我们看不见黑洞，但却能从那颗看的见的恒星的运动路线分析出来.这是什么道理呢?因为,双星中的每一个星都是沿着椭圆形路线运动的,而单颗的恒星不是这样运动。 如果我们看到天空中有颗恒星在沿椭圆形路线运动,却看不到它的同伴,那就值得仔细研究了。 我们可以把那颗星走的椭圆的大小，走完一圈用的时间，都测量出来.有了这些，就可以算出来那个看不见的同伴的质量有多大。 如果算出来质量很大，超过中子星能有的质量，那就可以进一步证明它是个黑洞了。 在天鹅星座，有一对双星，名叫天鹅座X-1.这对双星中，一颗是看的见的亮星,另一颗却看不见.根据那可亮星的运动路线.可以算出来它的同伴的质量很大,至少有太阳质量的五倍.这么大的质量是任何中子星都不可能有的.当然，除这些以外还有别的证据。 所以,基本上可以肯定，天鹅座X-1中那个看不见的天体就是一个黑洞.这是人类找到的第一个黑洞。 另外,还发现有几对双星的特征也跟天鹅座X-1很相似，它们里面也有可能有黑洞。 科学家正对它们作进一步的研究. “黑洞”很容易让人望文生义地想象成一个“大黑窟窿”，其实不然。 所谓“黑洞”，就是这样一种天体：它的引力场是如此之强，就连光也不能逃脱出来。
切勿望文生义 镜面屏和雾面屏哪个更实用
选择哪个，因人而异镜面屏是目前主流液晶显示器中比较流行的高对比度高亮度的显示屏。 由于面板的镜面技术使得光线的散射减少，从而大大提高了产品的对比度和色彩还原度。 优点:打游戏、DVD影片播放、DV影像编辑或是数码相机图片处理等家庭娱乐功能都可以实现更加完美的显示效果。 缺点:因为缺乏漫反射膜，如果在亮度较高的环境下使用，镜面屏真的会像一面镜子一样让使用者清楚地看到自己和背后的一切，极大地影响使用感受。 雾面屏，在有反光的情况下依然可以看清屏幕上的图像，这是雾面屏表面雾化，光线发生漫反射导致。 其透光率相对而言不如镜面屏高。 雾面屏优缺点 雾面屏表面有雾化，有防眩光的功能，屏幕不会有强烈的反光影响视线，相对的透光率没有镜面屏高。 表面硬度低，一般硬度只有2H。 镜面屏优缺点 镜面屏透光率高，无反光情况下图像清晰，但是反光问题严重，在有反光的情况下难以看清屏幕。 表面硬度比雾面高，硬度有3H。
黑洞是怎么产生的.他吸收物质是靠引力?那他的引力会越来越大吗?
黑洞是一种异乎寻常的神秘的客体——它是如此地沉重，以至没有什么东西可以逃脱它们巨大的吸引力的拖曳——这个概念是在1916年作为纯理论，由物理学家卡尔·施瓦兹蔡尔德根据爱因斯坦相对论的数学方程而进行的令人惊异的计算而提出的。 虽然在60年代，天文学家就开始收集这些特殊客体可能真实地存在的证据，近十多年来他们已经开始认为这些客体可能甚至就是很普通的事物。 最近，公开发表的哈勃望远镜图像和测量的最新结果提供了强有力的例证足以使那些甚至持怀疑态度的天文学家相信至少有一个庞大的黑洞确实存在，它深深地埋没在被称为M87的星系的中央。 问题在于——如同这个名字的含意那样——黑洞根本不会发射出光线，因此探测它是极其困难的。 任何物质和光线，当它足够靠近黑洞——比任何一个被称为“事件水平线”的想象的边界更接近——而穿越时，不可能也从来没有逃脱过黑洞的引力，因而也根本不可能被看到。 所有的观察都必须间接地进行。 哈勃天文学家看到某些东西表现为一个向内旋转的热空气的圆盘，像被吸向一个“宇宙浴缸”出水管的物质的漩涡那样，因为吸引作用如此地强烈，物质移动极其迅速，因而变得非常热。 许多天文学家认为，如果M87实际上的确隐含有一个黑洞的话，这些现象将会在被认为也具有黑洞的大量其他的行星系上得到证实。 某些人感到，行星系中很大一部分，甚至所有的行星系将会被发现在它们的中心具有黑洞。 20世纪60年代，黑洞的观测已引起人们的注意。 这时，依据广义相对论，人们又提出了一种“白洞”理论。 白洞是高能天体物理研究的产物，例如，60年代人们发现的类星体个头儿不大，但亮度极高，人们猜测其中心可能有一个白洞。 黑洞的一个特点是，它在自己周围形成了一个封闭的边界。 这个边界是只许进不许出，这是对黑洞“势力范围”的界定。 白洞也有一个边界，它吸引外界物质的辐射只能到这个边界，并不能通过边界而进入白洞，可是白洞内部物质和辐射不受边界限制。 因此，白洞像源泉，不断地向外部喷射物质。 正因为它“只出不进”的特点，使它成为一个可见的天体，因此它是“白的”。 白洞“只出不进”，那它的物质不会枯竭吗？若不枯竭，这些物质从何而来呢？有人提出一种设想：白洞与黑洞是相通的，二者之间有一通道，它叫做“虫眼”或“蛀洞”，甚至有人把它称作“爱因斯坦—罗森桥”（同爱因斯坦不同，罗森的理论认为黑洞是不存在的）。 有趣的是，正是这条通道把黑洞吸积的物质运到白洞喷发出去。 白洞是怎样形成的呢？著名的英国天体物理学家霍金曾对黑洞理论作出重要的贡献。 他认为黑洞有“自发蒸发”现象，它会使黑洞质量减少。 小黑洞在很短时间内就蒸发干净，大黑洞则需要时间较长才可蒸发干净。 蒸发过程中，质量不断减小，且随质量的减小加速蒸发。 最后发生一种反收缩方式的猛烈爆发，这与白洞很类似。 这是否意味着，黑洞的终结是白洞的开始。 总的来说，白洞和蛀洞还只是广义相对论的一个数学结果，还未得到证实，而且就理论自身来看，也还有许多问题要解决 参考资料：
