Halo AI SDK

Cache-First 的大模型智能体开发框架

src/index.ts

typescript

// 🧠 开启 Cache-First 的 Agentic Loop
import { Halo, StablePrefix } from "@halo-ai/core";
import { deepseek } from "@halo-ai/adapters";

const halo = new Halo({
  model: deepseek("deepseek-chat"),
  prefix: new StablePrefix({
    system: "你是一个高精度的代码库分析助理。",
    tools: { getCodeContext, searchFiles },
  }),
});

const stream = await halo.run({
  prompt: "优化这段算法并搜索最佳实践...",
  // 自动前缀缓存，多轮对话近乎瞬时响应
  cache: "first",
});

⚡

动态前缀缓存

自动识别并锁定 Prompt 前缀，减少重复 Token 消耗。在 DeepSeek 10 轮工具调用实测中，缓存命中率达 86.7%，Prompt 成本下降 51%（详见 benchmarks/）。

🛠️

多模型适配层

内置对 DeepSeek、OpenAI、Anthropic 等主流提供商的完美支持，屏蔽底层缓存差异，提供统一的高层 API 接口。

🩹

自愈式工具调用

内置智能修复策略，自动捕获并修正模型生成的无效 JSON 或缺失参数，确保复杂代理链路的绝对稳健。

🌊

极速流式传输

提供全链路流式事件传输，实时将 Agent 思考状态、决策轨迹与工具执行日志推送至前端应用。

⚡ 从 API 调用仔到生产级智能体架构

普通的开发框架只负责拼接 Prompt，但 Halo 专为解决企业级 Agentic 循环的延迟与成本痛点而生。

❌ 普通 API 框架

⚠️高昂的 Token 费用：多轮对话中历史上下文线性累加，每次交互均需重新计算全部 Token。
⚠️不可控的响应延迟：随着 Context Window 的膨胀，模型推理的排队与生成时间急剧增长。
⚠️脆弱的工具链：遇到模型偶发性输出格式破损时直接崩溃，无法进行自动重试与参数修复。

✨ Halo AI 核心原语

✅前缀锁定与极速缓存：稳定前缀（系统提示词、工具定义、上下文）驻留缓存，二次响应近乎零延迟。
✅上下文精准去噪：内置 Truncate 等多种上下文截断策略，自动维持最精炼的记忆窗口。
✅自愈式执行管道：捕获工具参数缺陷并反向修复，保证复杂生产链路的高可用性与健壮度。

📦 模块化的工程包设计

Halo 遵循 Unix 哲学，将复杂的 Agent 架构拆解为高内聚、低耦合的核心模块

packages/core

@halo-ai/core

智能体核心引擎

管理智能体主循环、上下文生命周期与稳定前缀（Stable Prefix），提供流式输出原语与底层状态机控制。

packages/adapters

@halo-ai/adapters

多提供商适配层

开箱即用支持 DeepSeek、OpenAI、Anthropic 等主流提供商，自动将底层 API 的 Prefix Cache 细节转化为统一格式。

packages/strategies

@halo-ai/strategies

策略管理与自愈

内置上下文截断策略（Truncate Strategy）与工具调用基础自愈策略（Basic Repair Strategy），拦截执行异常并自愈.

准备好体验极速响应的智能体了吗？

拒绝高昂的 Token 账单与漫长等待。立刻构建属于您的高性能 Cache-First 智能体系统，通往生产就绪的 LLM 应用时代。

开启我的开发之旅