8个免费的大语言模型工具和软件

1、Models.dev

Models.dev是一个全面的开源AI模型规格数据库，收录模型定价、服务商、功能、上下文限制、输出限制、发布日期和更新时间等信息，为开发者、研究者和决策者提供权威的模型选型参考。它提供与服务商无关的模型元数据，列出提供各模型服务的服务商，并按实验室或作者对规范模型进行分类，帮助用户从多个维度理解模型生态。用户可以跨多个服务商比较GPT-6 Astra等模型，查看推理、工具调用、结构化输出、温度参数支持和权重可用性等功能，并通过JSON API或类型安全SDK访问数据，将最新的模型目录元数据直接接入应用和工作流。

Models.dev官网插图

一、产品核心功能：

1、可搜索的AI模型规格数据库：

提供可搜索的AI模型规格和功能数据库，涵盖定价、服务商、功能、上下文限制、输出限制、发布日期和更新时间等信息，一站式查询模型全貌。

2、服务商定价对比：

支持按服务商比较定价和模型可用性，帮助用户在选择API前做出成本与能力的最优决策。

3、模型详情页面：

模型页面提供上下文限制、输出限制、发布日期、权重信息及支持的功能，让用户全面评估模型的适用性。

4、服务商与实验室目录：

服务商页面列出可用模型，实验室页面按作者对规范模型进行分类，从供应商和研发机构两个维度理解模型生态。

5、JSON API：

提供模型、服务商以及合并目录数据的JSON API（models.dev/api.json、models.dev/models.json、models.dev/catalog.json），支持将模型元数据直接集成到应用中。

6、类型安全SDK：

提供带离线快照的类型安全SDK（@opencode-ai/models），支持在应用中进行类型安全的集成开发。

7、徽标资源：

提供服务商和实验室徽标资源，方便在文档、网站和演示中引用模型和服务商信息。

二、典型使用场景：

1、在选择API之前，比较GPT-6 Astra在不同服务商处的定价和功能，做出成本与能力最优的选择。

2、根据上下文窗口、输出限制、推理、工具调用和结构化输出支持情况评估模型，确认模型是否满足应用需求。

3、寻找适合自托管或研究用途的开放权重模型，通过权重信息快速筛选候选。

4、构建通过API或SDK查询最新AI模型目录元数据的应用，让应用自动获取最新的模型信息。

5、研究模型发布历史、服务商以及各实验室提供的模型，把握AI模型生态的发展脉络。

三、标准使用流程：

1、浏览搜索：

浏览Models页面，根据服务商、实验室、功能、上下文窗口、输出限制、定价和发布信息搜索和比较AI模型。

2、查看详情：

打开单个模型页面，查看其规格以及提供该模型的服务商；或浏览服务商和实验室页面，了解更广泛的模型目录。

3、评估选型：

结合定价、功能和限制信息评估模型，确定适合的模型和服务商组合。

4、集成接入：

开发者通过models.dev/api.json、models.dev/models.json和models.dev/catalog.json等JSON接口访问数据，或安装 @opencode-ai/models SDK进行类型安全的集成。

5、持续跟踪：

利用发布历史和更新时间信息持续跟踪模型更新，保持选型决策的时效性。

官方网址：https://models.dev

2、oMLX

oMLX是基于Apple MLX框架打造的macOS原生本地AI推理服务器，专为Apple Silicon芯片优化，支持本地离线运行各类AI模型。通过分页式SSD KV缓存、连续批处理等硬件级优化，大幅提升本地推理速度与并发吞吐量；全面兼容OpenAI与Anthropic接口，支持多模型部署、工具调用与MCP集成，搭配系统菜单栏与网页控制台，为macOS用户提供高性能、轻量化、可私有化的本地AI推理方案。

oMLX官网插图

一、产品核心功能：

1、SSD分页KV缓存加速：显著缩短编程智能体首Token生成耗时，大幅提升本地响应速度。

2、连续批处理调度：高效处理多并发请求，提升本地推理整体吞吐量。

3、双API协议兼容：原生支持OpenAI、Anthropic接口，无缝对接各类主流AI客户端。

4、多模型统一服务：支持大语言模型、视觉多模态模型、向量嵌入模型、重排序模型一站式部署。

5、工具调用与MCP集成：原生支持函数工具调用、MCP协议对接，适配智能体工作流本地调试。

6、双端可视化管理：搭载macOS原生菜单栏应用 + Web控制面板，支持模型管理、对话调试、实时性能指标监控。

7、生态模型兼容：支持Hugging Face标准MLX格式模型，资源生态丰富。

8、智能内存调度：内存不足时自动开启LRU模型淘汰机制，保障设备稳定运行。

9、缓存复用机制：自动兼容Hugging Face、LM Studio本地模型缓存，避免重复下载、节省存储空间。

二、典型使用案例：

1、在Apple Silicon设备运行本地编程智能体，实现低延迟、高响应的代码辅助开发。

2、将本地模型作为后端，对接Cursor、Claude Code、OpenClaw等主流AI客户端。

3、在macOS设备上同时部署、调度、服务多款本地大模型与视觉多模态模型。

4、基于本地兼容API，自主开发私有化AI应用、插件与服务。

5、完全离线本地环境，调试工具调用、MCP智能体工作流，无需依赖云端。

6、私有化运行本地对话、向量嵌入、文本重排序、多模态推理等任务，保障数据不外泄。

三、标准使用流程：

1、下载官方签名DMG安装包，拖拽安装至macOS应用程序目录。

2、配置本地模型存储目录，启动本地推理服务，选择或下载MLX格式模型。

3、也可通过Python3.10+环境，拉取源码手动安装，通过指令启动服务。

4、将Cursor、Claude Code等兼容客户端的接口地址指向本地oMLX服务端点。

5、通过网页控制台或菜单栏工具，管理模型、查看运行指标、调试对话与工作流。

官方网址：https://omlx.ai

3、Wikis.ai

Wikis.ai是多模型AI工作空间，支持向多款主流大模型同步下发同一提问，横向并排对比输出结果，快速识别不同模型回答的共识内容与信息分歧，并且可选定单个或多个模型继续延伸对话。平台内置经过整理编撰的AI Wiki参考指南，提供可检索对话历史、对话分享导出、联网实时搜索等配套能力。

Wikis.ai官网插图

一、产品核心功能：

1、多模型并排对比对话：同一问题同时调用多款模型，横向对照查看回答结果。

2、丰富模型池：兼容GPT、Claude、Gemini、DeepSeek等主流AI大模型。

3、多模型并发查询：单次最多同时启用8个模型开展对比对话。

4、AI Wiki参考指南：提供经过编辑整理的结构化AI知识库指南。

5、对话历史检索：支持对全部历史会话进行关键词搜索回溯。

6、联网实时搜索：调用网络检索，获取时效性信息。

7、链接分享会话：生成预览链接，直接分享完整AI对话。

8、多格式导出：可将会话内容导出为Markdown、PNG格式。

二、产品核心优势：

1、信息交叉核验：多模型结果对照，降低AI幻觉带来的信息偏差，辅助甄别内容可靠性。

2、一站式多模型调度：无需切换不同平台网页，在同一工作空间完成多模型调用与对比。

3、多视角内容输出：同一命题获取多方模型思路，为写作、调研、头脑风暴提供多元参考。

4、完备会话管理能力：历史记录可检索，支持分享与导出，便于团队协作与资料留存。

5、结合联网搜索补齐时效内容，兼顾大模型固有知识与网络最新资讯。

三、典型使用案例：

1、开展主题调研，同步对比多款大模型给出的回答内容。

2、对照不同模型输出的共识与分歧，完成信息交叉核验。

3、写作、头脑风暴场景，获取多角度思考视角。

4、启用联网搜索，调研时效性较强的事件与资讯。

5、正式提问前查阅结构化AI Wiki指南，获取背景参考。

6、分享、导出AI对话记录，用于办公场景与团队协作。

四、标准使用流程：

1、打开Wikis.ai，输入待查询问题，勾选需要参与对比的AI模型。

2、并排阅览各个模型独立输出的回答，甄别信息共识与观点差异。

3、挑选一个或多个模型，继续开展多轮延伸对话。

4、可查阅AI Wiki指南、检索历史对话记录，通过链接分享会话内容，将回答导出保存。

5、开启联网搜索，获取时效性较强的最新信息。

官方网址：https://www.wikis.ai

4、Abliteration.ai

Abliteration.ai是面向高风险行业的大语言模型服务提供商，服务场景覆盖网络安全、AI红队测试、信任与安全治理、合成数据生成、医疗科研、国防及政府领域。服务兼容OpenAI、Anthropic API协议，仅修改一行基础URL即可完成现有业务代码迁移。

平台核心为兼容OpenAI与Anthropic格式的聊天补全API。OpenAI / Anthropic SDK、LangChain、LlamaIndex、Vercel AI SDK均可对接该接口，原有业务代码可直接复用。API支持流式输出、图像输入（PNG、JPEG、WEBP、GIF，最大15MB）、文档与图像内容提取，还提供按千次计费的可选网页搜索增值服务。

定价支持免费试用；采用Token按量计费模式，提供永不过期预付费额度档位（20美元、100美元、500美元或自定义金额），也可选择20美元、50美元、200美元三档月度订阅套餐，分别享有2.5%、5%、10%使用费折扣；Enterprise企业版提供专属吞吐量、自定义路由及批量议价。

Abliteration.ai官网插图

一、产品核心功能：

1、低限制LLM服务：经消融处理降低模型拒答行为，保障合法敏感业务正常获取输出结果。

2、OpenAI、Anthropic双协议API兼容：SDK与Agent框架仅修改一行基础URL即可迁移对接。

3、视觉输入与文档提取：支持最大15MB多格式图片上传，完成图像、文档解析提取。

4、网页搜索增值服务：为补全请求获取实时外部信息，按千次搜索计量扣费。

5、零数据保留(ZDR)：输入输出全部不落地存储，不参与模型训练。

6、灵活计费方案：永不过期预付费余额、月度订阅套餐、企业级专属容量选项。

7、美国、欧盟两地模型托管部署。

8、项目级策略网关：自定义请求放行/改写/拦截规则，影子模式预校验策略变更。

9、带原因码审计日志，日志可推送至SIEM，支持按项目、用户设置Token配额。

二、典型使用场景：

1、授权渗透测试：在受控实验环境复现CVE漏洞、恶意软件分析、编写检测规则，借助AI提升工作效率。

2、AI红队测试：提前检测自研AI产品的越狱、提示词注入、RAG数据泄露、工具滥用等安全风险。

3、信任与安全治理：依据内部审核策略对内容做分类，输出统一分类标签、风险等级与判定理由。

4、医疗生物医学研究：查询药物相互作用、给药方案、罕见病文献，规避服务商侧过度拒答，审计日志满足治理审核要求。

5、国防与政府业务：基于自主管控策略、完整操作日志运行高敏感AI业务流程。

6、机器学习科研：开展模型拒答率评测、行为测试，构建安全评测数据集用于版本准入校验。

三、标准使用流程：

1、注册Abliteration.ai账号，获取免费试用额度，无需绑定银行卡即可开展测试。

2、进入控制台创建API密钥，绑定对应项目，使费用限制、策略规则作用于该业务负载。

3、修改一行配置将现有代码指向平台API端点；OpenAI Python SDK修改base_url至平台/v1接口，填入新建密钥；同时兼容Anthropic格式请求，Node SDK、LangChain、LlamaIndex、Vercel AI SDK仅需少量配置变更。

4、正常发起聊天补全请求，视觉任务上传图片，需要实时资讯时开启网页搜索附加服务。

5、（可选）控制台配置项目级使用策略，借助影子模式验证策略效果，正式启用后生成附带原因代码的审计日志，并把日志流式推送至安全运维系统。

6、在控制台观测调用量、日志记录与消耗；投入生产后充值预付费余额或升级月度订阅套餐。

官方网址：https://abliteration.ai

5、AgentQL

AgentQL打通大语言模型、AI智能体与网页数据，支持借助自然语言查询实现高精度网页自动化。平台内置专属查询语言与解析器，可大规模、高效精准提取网页元素数据；配套多语言SDK，依托Playwright以及Python、JavaScript实现网页交互，搭载浏览器调试工具，实时优化查询指令。

AgentQL官网插图