最近 TechSpot 文章 表明苹果正在谨慎地发布某种生成式人工智能，可能会在 iOS 18 和 A17 Pro 中发布。这不仅对于像我这样的苹果用户来说很有趣，而且对于更广泛地验证生成人工智能的真正移动机会也很有趣。老实说，出于多种原因，这似乎并不是理所当然的。对于以十亿或更多参数为基准的模型来说，在性能和内存需求之间找到平衡似乎令人畏惧。电力消耗会成为问题吗？然后还有法律和幻觉问题，这些问题也许可以通过严格限制的使用模式来解决。尽管存在明显的挑战，但我发现令人鼓舞的是，一家在产品发布方面比大多数公司都更加深思熟虑的公司看到了可能的成功之路。如果他们可以，那么其他人也可以，这使得 最近的博客 Expedera 对我很有启发。
生成图像创建的快速回顾
生成成像人工智能是一个机遇才刚刚开始被探索的领域。我们已经习惯了更改 Zoom/Google Meet 通话的背景，但生成式 AI 更进一步。现在，我们可以在想象的环境中穿着具有不同特征的不同服装来重新塑造自己的形象——这对于注重形象的消费者来说是一个巨大的市场。更实际的是，我们应该能够在购买之前虚拟试穿衣服，或者在改造厨房或浴室时探索各种选择。该技术已经在云中可用（例如 Bing Image Creator），但具有基于云的服务的所有缺点，特别是在隐私和成本方面。大多数消费者希望通过移动设备与此类服务进行交互；更好的解决方案是将本地人工智能嵌入到这些平台中。通过开源稳定扩散模型生成的 AI 是满足这一需求的硬件平台的良好代理，更普遍的是基于类似核心技术的 LLM 模型。
板载内存和性能能否在边缘实现平衡？
首先，我们需要了解稳定扩散管道。首先使用文本编码器处理提示（“我想看到一艘海盗船倒挂在绿色果冻海上方”）。该步骤之后是一个去噪神经网络，它处理算法的扩散部分，通过多次迭代从训练参数创建最终图像的信息。我认为这是一种与传统图像识别相反的方法，即提示要求与训练之间的匹配，以创建与提示的综合匹配。最后，解码器阶段根据上一步构建的数据渲染图像。每个阶段都是一个变压器模型。
Expedera 博客作者 Pat Donnelly（解决方案架构师）详细介绍了整个算法所需的参数、操作和数据移动，我在此不再尝试重复。对我来说最突出的是大量的数据移动。然而，他根据客户的要求假设只有 8MB 工作内存，而不是最佳吞吐量。当我问他这个问题时，他说操作显然将依赖于 DDR 接口来管理大部分活动。
这是我听到的一种思想流派的转变——模型执行必须将所有内容保留在本地内存中以满足性能要求。但这需要非常大的板载 SRAM。 DRAM 对于处理容量来说很有意义，但另一种观点认为没有人愿意在移动设备中放置那么多 DRAM。那太贵了。而且速度慢且耗电。
DRAM 或其他类型的片外存储器更有意义，但成本问题又如何呢？请参阅上面有关 Apple 的参考资料。显然他们可能正在考虑闪存，所以也许这种方法并不那么疯狂。性能怎么样？ Pat 告诉我，对于 Stable Diffusion 1.5，假设 8K MAC 引擎具有 7 MB 内部内存，运行频率为 750 MHz，外部内存带宽为 12 GBps，那么它们可以通过降噪器每秒处理 9.24 个图像，通过降噪器每秒处理 3.29 个图像。解码器网络。这是非常值得尊敬的消费者就绪性能。功率总是很难确定，因为它取决于很多因素，但我看到的数据表明，这对于预期的消费者使用模型来说也应该没问题。
一个非常有用的见解。看来我们应该放弃这样的理论：边缘的大型变压器人工智能不能依赖于片外存储器。您可以再次阅读 Expedera 博客 点击这里.
通过以下方式分享此帖子：
