FastFlowLM

项目概述

FastFlowLM (FLM) 是一个专为 AMD Ryzen AI NPU 优化的大语言模型运行时，支持视觉、音频、嵌入和 MoE 模型，无需 GPU，比 GPU 快且节能10倍以上，支持高达 256k token 的上下文长度。

主要功能

• 在 AMD Ryzen AI NPU 上运行 LLM（XDNA2 NPU：Strix、Strix Halo、Kraken、Gorgon Point）
• 支持视觉、音频、嵌入和 MoE 模型
• 超轻量级（17 MB），20秒内完成安装
• 支持 CLI 模式

适用人群

• AMD Ryzen AI 设备用户
• 希望在本地高效运行 LLM 的开发者

快速上手

1. Windows 用户下载 flm-setup.msi
2. 安装最新的 AMD NPU 驱动（32.0.203.311 或以上）
3. 打开 PowerShell，运行模型：flm run llama3.2:1b

核心优势

• 专为 AMD NPU 优化，无需 GPU
• 比 GPU 快且节能10倍以上
• 超轻量级（17 MB）

系统要求

• 操作系统：Windows（Linux 支持开发中）
• 硬件：AMD Ryzen AI 系列芯片（XDNA2 NPU）
• 额外依赖：AMD NPU 驱动 32.0.203.311+