textgen

项目概述

TextGen 是一款开源的桌面应用，用于本地运行大语言模型，支持文本、视觉、工具调用和Web搜索，提供UI和API。

主要功能

• 聊天与生成：支持instruct、chat-instruct和chat模式，可附加图像进行视觉理解，上传文本文件、PDF和DOCX文档进行内容对话
• 多后端支持：llama.cpp、ik_llama.cpp、Transformers、ExLlamaV3和TensorRT-LLM，无需重启即可切换后端和模型
• OpenAI/Anthropic兼容API：支持Chat、Completions和Messages端点，支持工具调用，可作为本地替代品
• 训练与图像生成：支持LoRA微调训练，提供diffusers模型图像生成选项卡
• 100%离线且私密：零遥测、无外部资源、无远程更新请求
• 暗色/亮色主题、代码块语法高亮、LaTeX数学表达式渲染

适用人群

• 希望在本地运行大语言模型的开发者和研究人员
• 注重隐私、不希望数据上传云端的用户
• 需要文本生成、视觉理解和工具调用的用户

快速上手

1. 从 Releases 下载便携式构建包
2. 解压后双击 textgen 运行
3. 支持Linux、Windows和macOS，包含CUDA、Vulkan、ROCm和仅CPU选项
4. 兼容GGUF (llama.cpp) 模型

核心优势

• 100%离线运行，零遥测，完全隐私
• 支持多种后端和模型格式
• 提供OpenAI/Anthropic兼容API
• 跨平台支持（Linux、Windows、macOS）

系统要求

• 操作系统：Linux、Windows、macOS