llmfit

项目概述

llmfit 是一个命令行工具，用于检测你的 CPU、系统内存、GPU、显存和加速器配置，并推荐适合你硬件运行的开源大语言模型。它支持交互式 TUI、Web 仪表盘和 REST API。

主要功能

• 硬件自动检测：检测 CPU 核心、系统内存、GPU、显存和统一内存架构
• 模型兼容性引擎：分析模型参数量、上下文长度和量化格式（GGUF、AWQ、GPTQ、EXL2）
• 交互式 TUI 与 Web 仪表盘
• REST API 端点：用于集成到编排器、仪表盘和自动化部署流水线
• 多平台支持：macOS（Apple Silicon 和 Intel）、Linux（x86_64 和 ARM64）、Windows（x86_64）
• 基准测试与分享：在硬件上测试真实 tok/s 并贡献回项目

适用人群

• 希望在本地运行大语言模型的开发者和研究者
• 需要为特定硬件选择最佳模型的工程师
• 自托管 LLM 基础设施的团队

快速上手

1. 安装 llmfit
2. 运行工具自动检测硬件
3. 查看推荐的模型列表和性能预估
4. 可选择运行基准测试获取真实性能数据

核心优势

• 数百种模型和提供商，一条命令找到适合你硬件的模型
• 支持多 GPU、MoE 架构和多种量化格式
• 提供 TUI、Web 仪表盘和 REST API 三种界面
• 真实基准测试数据可贡献回社区

系统要求

• 操作系统：macOS（Apple Silicon 和 Intel）、Linux（x86_64 和 ARM64）、Windows（x86_64）