机器之心报道
编辑：泽南
大模型的未来，其实是在天上？
为了跟上人工智能快速发展的步伐，最近全球都在争抢 AI 算力，想得更远的人（如 OpenAI CEO Sam Altman）甚至已经把问题想到了供电这一层。据说在 OpenAI 训练新一代大模型时，计算集群甚至会对当地的电网造成冲击。如果基础设施能力提升的步伐不及 AI 技术发展，或许 AGI 的瓶颈会变成能源。
在这个时候，一家 Y-Combinator 投资的创业公司 Lumen Orbit 引发了人们的关注，他们发现在太空中组建 AI 计算集群是个好主意：可以直接利用太阳能、随时随地的被动冷却，还有自由扩展的空间。
Lumen Orbit 建造太空数据中心的计划已经提上了日程，该公司计划明年发射第一颗卫星，还将每年发射一次更大的迭代，直到服务器总功率达到千兆瓦规模。
视频链接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650933016&idx=1&sn=9b68b23e0fe1247783b2e78f6e161f9a&chksm=84e7c366b3904a701e1cf37501db357966690152dca2bb0927f42f9339fd9fabae294ff2b044&token=212787030&lang=zh_CN#rd
Lumen Orbit 已经在华盛顿州雷德蒙德建立了有效载荷制造工厂，设计并开始建造和测试第一艘航天器，其搭载的 GPU 会是有史以来发射到太空最快的 GPU，速度将要比当前发射到太空中的最强 GPU 快约 100 倍。第一颗卫星将是一颗 60 公斤的展示卫星，预计将于 2025 年 5 月作为 SpaceX 猎鹰 9 号火箭的共乘有效载荷发射，可用的微型数据中心则将在 2026 年进行发射。
该公司的 CEO Philip Johnston 表示，Lumen 正在与 Ansys 和 Solidworks 合作进行卫星设计和开发，并正在向联邦通信委员会和国际电信联盟提交申请。
虽然发射数据中心对于航天器运载能力的挑战巨大，但从第一性原理出发，Lumen Orbit 已经开发了一系列概念设计，并且没有发现任何难以克服的障碍。随着 Starship 和 New Glenn 等新型、可复用、经济高效的重型运载火箭即将投入使用，再加上在轨网络的普及，轨道算力的设想或许将变得非常现实。
太空训练大模型，有效率优势
为什么要在太空建造 AI 算力集群呢？理论上来说，太空数据中心可全天候利用高强度太阳能，不受昼夜循环、天气和大气损耗（衰减）的影响。这使得边际能源成本大大降低，与地面相比，运营成本大幅节省。
Lumen Orbit 为我们算了一笔账，美国地面太阳能发电场的平均容量系数仅为 24%，相比之下，该公司提出的太空太阳能电池阵列的容量系数大于 95%，没有昼夜循环，最佳面板方向垂直于太阳光线，不受季节或天气的影响。因此，太空中的太阳能电池阵列产生的能量将是地球上相同阵列的 5 倍以上。
假设每发射一次 500 万美元的火箭任务可转换为 40 兆瓦的数据中心，太阳能电池的材料成本为每瓦 0.03 美元，均在 10 年内摊销，我们将能够获得约 0.002 美元 / 千瓦时的等效能源成本。相比之下，美国、英国和日本的平均批发电力成本分别为 0.045 美元 / 千瓦时、0.06 美元 / 千瓦时和 0.17 美元 / 千瓦时。因此，轨道数据中心可以提供比当今能源价格更低能源。
下一个是散热问题。外太空的「有效」环境温度约为 - 270°C，相当于宇宙微波背景辐射的温度。要利用深空作为散热器来散发废热，需要避免太阳直射，设计一个可展开的散热器。一块保持在 20°C 的 1×1m 黑板可以向深空辐射约 850 瓦，这大约是太阳能电池板每平方米发电量的三倍。因此，这些散热器的尺寸需要约为太阳能电池阵列的三分之一，具体取决于散热器的配置。
在太空中，我们可以使用比常规高性能算力冷却器更简单、更高效的冷却架构。据估计，我们可以实现与最先进的超大规模地面数据中心相当的 PUE。此外，某些轨道上的轨道数据中心几乎没有「环境温度」波动（太阳辐射变化不超过约 0.2%），并且处于高度稳定的热和机械环境中，这有助于热控制和稳定性。
然后是可扩展性。轨道数据中心将解锁地球上前所未见的下一代集群规模，发电量将远超 GW 范围。它们可以几乎无限地线性扩展，不受地面项目的物理和规划限制，可以在 3D 空间的各个方向上扩展。
如果按照大模型领域目前的趋势继续下去，从 2027 年开始，我们将需要数 GW 功率的集群来训练最大的 LLM。假设一个 5 GW 集群将用于训练 Llama 5 或 GPT-6 等模型，耗电量就直接超过了美国最大的发电厂供能。因此在当今的能源基础设施条件下，这种集群根本是不可能运转的，寻找新的方向对于训练下一代人工智能模型至关重要。
在太空 AI 算力运行的过程中，其他卫星会将他们收集的数据发送给 Lumen Orbit 的星座，使用机载 GPU 进行推理，随后输出推理结果。
Lumen Orbit 并不是唯一一家致力于将数据中心送入轨道的公司：欧盟资助的项目 ASCEND 一直在研究太空数据中心的可行性，总部位于德克萨斯州的 Axiom Space 表示，它正在与 Kepler Space 和 Skyloom 合作，在 Axiom 的第一个太空舱上建立一个轨道数据中心，预计将于 2026-2027 年发射。
团队成员
Lumen Orbit 于 2023 年底刚刚成立，公司创始人、CEO Philip Johnston 曾在 McKinsey & Co. 工作，负责国家航天局的卫星项目。Philip 拥有哈佛大学公共管理硕士学位、沃顿商学院工商管理硕士学位、哥伦比亚大学应用数学与理论物理硕士学位，他也是一名特许金融分析师（CFA）。
该公司的 CTO Ezra Feilden 拥有十年卫星设计经验，专攻可展开太阳能电池阵列和大型可展开结构。Ezra 曾就职于空中客车防务与航天公司（SSTL）和牛津太空系统公司，参与过包括 NASA 的月球探路者号在内的任务。Ezra 拥有伦敦帝国理工学院材料工程博士学位。
首席工程师 Adi Oltean 曾任 SpaceX 首席软件工程师，是 Starlink 网络团队的一员，曾为包括 Starship 在内的移动用户提供 Starlink 服务。在此之前，他在微软的大型 GPU 生产集群上部署了第一个大语言模型，在微软工作的二十多年中，他曾获得了 25 项专利。Adi 拥有布加勒斯特两所顶尖大学的计算机科学和化学学位。
参考内容：https://www.ycombinator.com/launches/LmD-lumen-orbit-data-centers-in-space
马斯克ai大模型怎么用马斯克的ai技术
马斯克AI大模型的使用，首先确保下载了相关的checkpoint，并将ckpt-0目录放入checkpoint。 接着，需要运行特定的代码来测试模型。 这个过程涉及到运行pip install-r 以及python 1 2等命令，这些命令会加载检查点和模型样本以进行测试。 但请注意，马斯克AI大模型可能参数量非常大，模型体积庞大，因此需要配备足够GPU内存的机器才能使用示例代码测试模型。 同时，使用这种大型AI模型可能还需要具备一定的编程和机器学习知识，以便能够正确地理解和解释模型的输出。 对于更具体的操作步骤和详细的使用指南，建议查阅马斯克AI大模型的官方文档或相关教程，这些资源通常会提供更详细和专业的指导。 同时，由于AI技术发展迅速，具体的使用方法和步骤可能会随着技术的更新而有所变化，因此建议保持关注最新的技术动态和官方信息。 马斯克AI大模型的应用确实引人瞩目。 要使用它，首先你需要访问相应的平台或接口，然后按照指引进行注册和登录。 接着，你可以根据需求上传数据或输入指令，利用大模型进行训练、分析或生成内容。 在使用过程中，注意合理利用其强大的能力，并遵守相关法规和道德准则，确保数据安全和隐私保护。 这样，你就能更好地体验马斯克AI大模型带来的智能与便利了。
DeepSpeed Chat: 一键式RLHF训练，让你的类ChatGPT千亿大模型提速省钱15倍
DeepSpeed Chat: 一键式RLHF训练革新了类ChatGPT模型的训练和部署，让你节省成本高达15倍。 原本昂贵的多GPU集群训练变得轻松易行。 AI界的焦点在于，以往训练这类大模型困难重重，但DeepSpeed-Chat的发布解决了这一难题。
它提供了一站式的解决方案，包括：
举个例子，DeepSpeed-HE在Azure云上仅需9小时训练OPT-13B模型，18小时训练OPT-30B模型，且费用低廉。 单GPU就能支持130亿参数模型的训练，大大扩大了RLHF训练的可用性。
与传统方法相比，DeepSpeed-RLHF在吞吐量和模型可扩展性上超越了Colossal-AI和HuggingFace DDP，使得训练大型模型或以更低成本训练相同大小模型变得可能。 混合引擎的创新技术如高性能CUDA核和张量并行计算，极大地提高了训练效率，使得类ChatGPT模型的训练既快速又经济。
总的来说，DeepSpeed-Chat通过深度强化学习训练和混合引擎的结合，彻底改变了类ChatGPT模型训练的现状，为AI社区带来了前所未有的效率和经济性。
AMD王宏强：700亿参数大模型GPU部署，AI软件和生态实现开箱即用
AMD引领AI革新：700亿参数GPU的辉煌登场
在AMD AI Chip Summit 2023的舞台上，AMD人工智能事业部高级总监王宏强以前瞻性的视角揭示了公司的AI芯片革新战略。 他强调，AMD的单GPU已能提供惊人的上千万亿次浮点运算能力，当扩展至集群时，性能可突破百亿亿次，为大规模模型部署铺平道路。 AMD致力于打造易用的AI软件和开放生态，通过统一的AI软件平台如ROCm，无缝对接PyTorch等主流生态，让用户在开箱即刻享受到强大而便捷的AI服务。
王宏强详细介绍了AMD全系列AI加速产品，涵盖了数据中心的EPYC和MI GPU，以及Ryzen AI在嵌入式和消费级市场上的应用。 他认识到AI的广泛应用对芯片架构提出了多维度挑战，AMD针对不同场景提供了定制化解决方案，比如低功耗笔记本的高效能需求，云端的极致算力，以及自动驾驶中的极致延迟控制。
AI市场的前景广阔，预计到2027年将达到1500亿美元的规模。 AMD以创新为驱动，为不断增长的市场和多元化需求提供定制化解决方案，以应对激烈的竞争。 其中，旗舰的CDNA架构和XDNA设计，分别聚焦高性能计算和实时处理，通过Chiplet技术在终端设备上实现AI算力的灵活扩展。
AMD的产品如Instinct GPU专为生成式AI设计，具备数千TOPS性能，与EPYC处理器和Radeon GPU构建异构计算平台，共同驱动AI推理。 Ryzen AI系列整合了CPU、XDNA和iGPU，广泛应用于35+PC平台，其易用的软件生态如ROCm和HipiFY工具，简化了开发者的工作流程。
在软件层面，AMD投资于ROCm、Vitis AI和zenDNN等平台，与PyTorch、Hugging Face等框架深度合作，提供从低级库到高级API的丰富选择，如Transformer的崛起，推动了模型创新的多样化。 AMD的AI软件栈强调兼容性和易用性，如ROCm与NVIDIA库的兼容，使得迁移和优化工作变得更为顺畅。
AMD在客户端市场，通过与微软ONNX Runtime合作，推动AI模型的部署与开发，其GPU支持如Stable Diffusion的推理和低延迟性能，区别于传统架构的资源竞争。 从云端到终端，AMD的AI解决方案确保了混合式AI的高效运行，提供全面的性能保障和服务质量。
尤为值得一提的是，通过MI系列GPU，AMD实现了700亿参数大模型的实时部署，例如在笔记本上生成关于旧金山的精美诗歌，如OPT模型。 Radeon架构的强大支持，使得3D渲染和AI训练推理得以高效协同，展现出AMD在AI领域的技术实力和创新精神。
AMD的AI决心远不止于此，他们将继续在云、边缘和端推出强大的AI产品，推动AI软件生态的开放性，与全球开发者共同塑造AI的未来。 王宏强的演讲以对技术未来的热情宣告结束，他的愿景是用AMD的AI力量改变世界。
这就是王宏强在AMD AI Chip Summit 2023上关于700亿参数大模型GPU部署以及AI软件生态全面开花的精彩阐述。
