大模型开源生态简介:从云原生视角理解 AI 工程化底座
开源生态决定了大模型工程化的底座和未来演进方向,是每个云原生工程师必须关注的技术基石。 大模型开源生态分层架构开源大模型工程体系可分为六层结构,从底层模型到上层应用形成完整的技术栈: llama.cpp 带动端侧生态 vLLM / SGLang 带动高性能推理 LangChain → LangGraph 带动 Agent 工程化 Hugging Face 构建模型、数据、工作...
开源生态决定了大模型工程化的底座和未来演进方向,是每个云原生工程师必须关注的技术基石。 大模型开源生态分层架构开源大模型工程体系可分为六层结构,从底层模型到上层应用形成完整的技术栈: llama.cpp 带动端侧生态 vLLM / SGLang 带动高性能推理 LangChain → LangGraph 带动 Agent 工程化 Hugging Face 构建模型、数据、工作...
开源大语言模型(LLM)日新月异,工程师选型不应只看”谁最强”,而要关注”谁最适合业务场景”。 大模型生态与主流模型概览开源大模型生态主要分为三大类:国际主力模型、国内主力模型、社区增强/衍生模型。 工程视角总结: 国际主力模型:英文与代码能力强,生态成熟。 国内主力模型:中文能力突出,许可证清晰,适合政企/私有化部署。 社区增强模型:轻量化、对话质量提升,补丁价值...
各类公有云云计算厂商产品公共术语 IaaS (Infrastructure as a Service): 基础设施即服务,提供计算、存储、网络等基础设施资源。 PaaS (Platform as a Service): 平台即服务,提供应用程序开发、测试、部署和管理的平台。 SaaS (Software as a Service): 软件即服务,通过网络提供软件应用,用户无需安装和运维。 C...
什么是容器系统这一模块我们所讲的内容,都和容器里的文件读写密切相关。因为所有的容器的运行都需要一个容器文件系统,那么我们就从容器文件系统先开始讲起。 文件读写性能测试我们可以先启动一个的虚拟机,它的 Linux 内核版本是 4.15 的,然后在虚拟机上用命令 docker run -it ubuntu:18.04 bash 启动一个容器,接着在容器里运行 fio 这条命令,看一下在容器中读取...
Kubernetes 相关问题与解答1. K8s 集群规模描述问题: 描述K8s集群的机器数量和节点配置。 解答: 节点数量: 50个节点 配置: 每个节点16核CPU,32GB内存 角色划分: 3个Master节点和47个Worker节点 Pod数量: 超过500个 2. K8s 集群资源分配率和使用率问题: 如何计算K8s集群中的资源分配率和使用率? 解答: 计算资源CPU分配率通...
四种客户端在 client-go 中,有四种可以与 Kubernetes 资源进行交互的客户端,分别是 ClientSet、DynamicClient、DiscoveryClient 以及 RestClient,它们各自适用于不同的场景。下面结合代码来体会一下。 ClientSetClientSet 是最常用的客户端,用于与 Kubernetes 核心资源(如 Pod、Service、Dep...
传统的 Kubernetes 交互方式传统的 Kubernetes 交互方式众所周知,与 Kubernetes 交互的方式主要有以下几种:kubectl 命令行Kubectl 是官方提供的命令行工具,用于与 Kubernetes 集群进行交互。比如要获取 default 命名空间下的 Pods 信息,命令如下: 123kubectl get po ...
Kubernetes 操作与优化指南1、Kubernetes 的 Operator 操作步骤是什么? 定义自定义资源定义 (CRD):创建一个自定义资源定义 (Custom Resource Definition, CRD) 来定义 Operator 将要管理的新类型资源。 开发 Operator 逻辑:编写 Go 代码来实现 Operator 的业务逻辑,通常使用 Operator SD...
MySQL 索引B+树 特点 红黑树,平衡二叉树的树高更高,性能更差 对比 跳表在极端条件下会退化成链表、平衡性差 B树堆范围查询不友好,非叶子结点需要磁盘IO 索引的代价 索引本身占用磁盘存储空间 在运行时索引会被加载到内存中,消耗内存 在增删改的时候,需要同步索引 分类 聚簇索引 叶子节点存储数据 前缀索引 如果索引的某个列,只包含该列值的前一部分 覆盖索引 全文索引...
MySQL存储引擎总结MySQL提供了多种存储引擎,每种引擎的使用场景和特性总结如下: 概述MySQL 使用插件式存储引擎架构,使得存储引擎可以在运行中的 MySQL 服务器。 要确定服务器支持哪些存储引擎,可以使用 SHOW ENGINES 语句。 Support 列的值表明某个引擎是否可用 (YES)、不可用 (NO) 或是当前设置为默认存储引擎 (DEFAULT)。 Engine...