没有 GPU 时如何学习和试用 HAMi——Fake GPU + HAMi 使用教程
没有 GPU 时如何学习和试用 HAMi——Fake GPU + HAMi 使用教程本实验将在 macOS 上使用 OrbStack 自带 Kubernetes 和 run-ai/fake-gpu-operator 搭建一个纯本地 Kubernetes 集群，然后在线安装 HAMi。 来源：HAMi 官网教程 这个实验不需要真实 NVIDIA GPU，适合用于课堂预习、讲解 HAMi 组...
AI 网关：AI 原生基础设施的流量控制中枢
AI 网关不是传统 API 网关的简单升级，而是面向 LLM 和 Agent 场景重新设计的流量控制中枢。它解决的核心问题是：如何让 AI 服务像微服务一样可控、可观测、可治理。 为什么需要 AI 网关？传统 API 网关（如 Nginx、Kong、Envoy）设计用于 REST/gRPC 微服务，但 AI 应用引入了全新的挑战： 传统微服务 AI 服务 请求-响应...
AI 原生基础设施的可观测性：从 Metrics 到 Evals
传统可观测性关注”系统是否正常运行”，AI 可观测性还要关注”模型是否输出正确结果”。从 Metrics、Logs、Traces 到 Evals，AI 原生可观测性正在重新定义”可观测”的边界。 为什么 AI 系统需要新的可观测性？传统可观测性建立在三大支柱上：Metrics（指标）、Logs（日志）、Traces（追踪）。这套体系对微服务很有效，但 AI 系统引入了新的挑战： 传...
主流开源大模型对比与选型指南（Llama、Qwen、DeepSeek）
开源大语言模型（LLM）日新月异，工程师选型不应只看”谁最强”，而要关注”谁最适合业务场景”。 大模型生态与主流模型概览开源大模型生态主要分为三大类：国际主力模型、国内主力模型、社区增强/衍生模型。 工程视角总结： 国际主力模型：英文与代码能力强，生态成熟。 国内主力模型：中文能力突出，许可证清晰，适合政企/私有化部署。 社区增强模型：轻量化、对话质量提升，补丁价值...
LangChain系统安装和快速入门
LangChain介绍LangChain 是一个全方位的、基于大语言模型这种预测能力的应用开发工具，它的灵活性和模块化特性使得处理语言模型变得极其简便。 不论你在何时何地，都能利用它流畅地调用语言模型，并基于语言模型的“预测”或者说“推理”能力开发新的应用。 LangChain 支持 Python 和 JavaScript 两个开发版本，我们这个教程中全部使用 Python 版本进行讲解。 ...
初识LangChain
LangChain介绍作为一种专为开发基于语言模型的应用而设计的框架，通过 LangChain，我们不仅可以通过 API 调用如 ChatGPT、GPT-4、Llama 2 等大型语言模型，还可以实现更高级的功能。 LangChain具备以下两个特性： 数据感知：能够将语言模型与其他数据源连接起来，从而实现对更丰富、更多样化数据的理解和利用。 具有代理性：能够让语言模型与其环境进行交互，使...