nano-vllm源码分析

在大语言模型（LLM）的时代，推理效率成为了制约应用落地的关键瓶颈。想象一下，当你向 ChatGPT 提出问题时，它需要在几秒内处理数千个token，同时服

大模型从0到1训练推理入门

数据准备 模型微调 如果您希望模型在特定领域表现更好，可以通过在该领域的数据集上对模型微调来实现。本文以如下场景为例为您介绍模型微调的作用和步骤

大模型权重文件解析

1、模型文件 以Qwen1.5-32B-Chat-AWQ模型文件列表为例： shengping.mo@y108p30:/data2/huggingface/Qwen/Qwen1.5-32B-Chat-AWQ$ ls -lh total 20G -rw-r--r-- 1 xd xd 839 Jun 27 22:30 config.json -rw-r--r-- 1 xd xd 243 Jun 27 22:30 generation_config.json -rw-r--r-- 1 xd xd 6.8K Jun 27 22:30 LICENSE -rw-r--r-- 1

pytorch速查手册

🧠 1. 安装与基础 # 安装 CPU 版本 pip install torch torchvision torchaudio # 安装 GPU 版本（CUDA 12.1 示例） pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 import torch print(torch.__version__) # 版本 print(torch.cuda.is_available()) # 检查 GPU 📦 2. 张量（Tensor）基础 # 创建张量

Python基础与速查手册

🧠 一、基础语法速查 🧠 Python 关键字（共 36 个，区分大小写） 关键字 说明 False 布尔值，假 True 布尔值，真 None 空值 and 逻辑与 or 逻辑或 not 逻辑非 if 条件语句 elif 条件分支 else 条件

AI中的数学知识

AI中的数学知识全景：基础、公式、证明与应用 人工智能（AI）作为21世纪最具变革性的技术之一，其发展离不开坚实的数学基础。无论是机器学习、深

从会议室名称看AI

从会议室名称看AI：核心术语解读 在人工智能（AI）领域，许多会议室和项目组常以AI相关术语命名。以下是一些常见AI术语的详细解读，涵盖其英文

常用AI术语

常用AI术语归类 基础概念 人工智能（Artificial Intelligence, AI）：使机器表现出类似人类智能的技术和方法。 机器学习（Machine Learning, ML）：让计

AI学习全景图

脑图

vGPU方案HAMi(01): 实现细粒度 GPU 切分

本文主要分享一个开源的 GPU 虚拟化方案：HAMi，包括如何安装、配置以及使用。 相比于上一篇分享的 TimeSlicing 方案，HAMi 除了 GPU 共享之外还可以实现 GPU cor

K8S项目实践(12): GPU共享方案Time Slicing

本文主要分享 GPU 共享方案，包括如何安装、配置以及使用，最后通过分析源码了 TimeSlicing 的具体实现。通过配置 TimeSlicing 可以实现 Pod 共享一块物理 GPU(使用GRID GP

K8S项目实践(11): Pod 是如何使用到 GPU 的及源码分析

本文主要分析了在 K8s 中创建一个 Pod 并申请 GPU 资源，最终该 Pod 时怎么能够使用 GPU 的，具体的实现原理，以及 device plugin、nvidia-container

K8S项目实践(10): device-plugin原理到实现

本文主要分析 k8s 中的 device-plugin 机制工作原理，并通过实现一个简单的 device-plugin 来加深理解。 1. 背景 默认情况下，k8s 中的 Pod 只能申请 CPU 和 Memory 这两种资源，就像下面这样： resources:

K8S项目实践(09): 使用 GPU Operator搭建AI算力环境

1. 引言 为了学习AI应用、算法与算力等技术，应用需跑在GPU卡上，需要在节点上安装 GPU Driver、Container Toolkit 等组件，当集群规模较大时

K8S项目实践(08): 在ECS、Docker、K8s 等环境中使用 GPU

1. 引言 本文主要分享在不同环境，例如ECS、Docker 和 Kubernetes 等环境中如何使用 GPU。 注：由于没有物理机裸机，在阿里云上申请ECS也可满足学习使

K8S项目实践(07): kubeadm安装k8s集群(containerd版)

1. 规划 使用 kubeadm 安装 Kubernetes 集群并使用 containerd 作为容器运行时（container runtime）是一种常见的安装方法。 OS 配置 用途 备注 aliOS(172.17.197.69) 2核(vCPU) 4GiB 5 Mbps

如何安装使用newbing和chatgpt

简介 chatgpt在2022年开始爆发，随着越来越多的人在使用，于是也打算尝试安装使用。 chatgpt ChatGPT是一种基于人工智能技术的聊天机器人，

K8S项目实践(06): 动手实现webhook

简介 Webhook就是一种HTTP回调，用于在某种情况下执行某些动作，Webhook不是K8S独有的，很多场景下都可以进行Webhook，比

CentOS7 下安装和配置 NFS

简介 NFS（Network File System，网络文件系统）是当前主流异构平台共享文件系统之一。主要应用在UNIX环境下。最早是由Sun Micr

K8S项目实践(05): 动手实现CSI驱动

简介 外部存储接入 Kubernetes 的方式主要有两种：In-Tree 和 Out-of-Tree。其中 In-Tree 是指存储驱动的源码都在 Kubernetes 代码库中，与 Kubernetes 一起发布、迭代、管理

K8S项目实践(04): 基于kubebuilder编写operator

介绍 Kubebuilder是一个由controller-runtime支持的出色SDK，它可以帮助您轻松快速地在 Go 中编写Kubernetes

K8S项目实践(03): 随机调度器

简介 POD创建过程 1、 由kubectl解析创建pod的yaml，发送创建pod请求到APIServer。 2、 APIServer首先做权限认证

K8S项目实践(02): 动手实现minicni

简介 不管是容器网络还是 Kubernetes 网络都需要解决以下两个核心问题： 容器/Pod IP 地址的管理 容器/Pod 之间的相互通信 容器/Pod IP 地址的管理包括容器 IP

K8S项目实践(01): kubeadm安装K8S集群

规划 服务配置 OS 配置 用途 CentOS 7.6 (172.25.140.216) 2C4G k8s-master CentOS 7.6 (172.25.140.215) 2C4G k8s-work1 CentOS 7.6 (172.25.140.214) 2C4G k8s-work2 **注**：这是演示 k8s 集群安装的实验环境，配置较低，生产环境中我们的服务器配置至少都是 8C/16G

K8S学习笔记(07): 服务发现

service 参考资料 01.一文讲透K8s的Service概念 02.k8s-service底层之 Iptables与 IPVS 03.K8S的ServiceIP实现

K8S学习笔记(06): 资源

简介 k8s中所有的内容都抽象为资源， 资源实例化之后，叫做对象。 资源类型介绍 工作负载型资源对象（workload）：Pod，ReplicaSe

K8S学习笔记(05): yaml语法

k8s支持的文件格式 Kubernetes支持YAML和JSON格式管理资源对象 JSON格式：主要用于api接口之间消息的传递 YAML格式：用

K8S学习笔记(04): kubectl命令技巧大全

kubectl 命令技巧大全 kubectl 命令是操作 Kubernetes 集群的最直接和最高效的途径，这个60多 MB 大小的二进制文件，到底有啥能耐呢？ Kubectl 自动补全 $ source <(kubectl completion bash) # setup autocomplete in bash, bash-completion package should be

K8S学习笔记(03): Mac系统安装k8s集群

版本介绍 Mac系统版本 Docker Desktop 版本 K8S 版本 安装 Docker安装 brew install -cask docker 开机自启动K8S 重启成功后查看K8S集群。 安装Kubernetes Dashboard 命令如下

K8S学习笔记(02): 架构

简介 Kubernetes 是一个可移植的、可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。 Kubernetes 拥有一个庞大且快速增长的生态系统。Kub

K8S学习笔记(01): 目录

目录 K8S使用与原理 K8S学习笔记(01): 目录 K8S学习笔记(03): Mac系统安装k8s集群 K8S学习笔记(04): kubectl命令技

互联网最重要入口DNS系列(1): 基本常识

DNS是什么？ 因特尔域名系统 DNS是Domain Name System(域名系统)的缩写，互联网的入口服务，监听53端口。 提供域名到IP地址的映射，

一文读懂《区块链入门》，读完我们就是同志了

在2011年就开始听到朋友说他同学某某今年挖矿赚了一大笔钱，之后期间也陆陆续续的听到或了解一些币圈链圈的事， 当时对于投资投机等不以为然，时过

从《习总：加快区块链发展》中我们如何应对

引言 今天一则《习总：加快推动区块链产业创新发展》新闻在圈内炸开了锅， 让曾经炽手可热现在却处于寒冬时期的区块链行业又看到了曙光， 让从业人员可以

编辑器终结者: vim与emacs双剑合璧

神器传说 在猿的世界里，流传着两大神器的传说： 一个是神的编辑器Emacs，另一个是编辑器之神Vim。 追求独步天下的高手为了得到它驾驭它，在江湖

为什么老家得有房

很多农村人到城市里打工或工作，不怎么在农村老家住了，但还要在老家建一座新房，这是为什么呢？ 老家才是永远的根 无论在哪里谋生，只要老家的房子还在

又见春哥，OR沙龙现场记实

引言 第一次见到春哥本尊(活体)是在2015年是在360举行的openresty大会，历经4年再次在北京现场感受春哥技术热情与现场号召力，即使

IPv6时代已来，您Get了多少？

为什么要用IPv6 如今互联网主要使用IPv4, 感觉已经蓬勃发展了够用了，那为什么还需要使用IPv6呢？主要有如下原因： IPv4地址匮乏 NAT

IPv6技术概览(PDF版)

描述 此《IPv6技术概览》PPT内容由我个人的理解编写与部分来自互联网上的整理, 以便更多的读者分享交流。 PPT内容

我的博客Hugo使用手册

Hugo Hugo是一个用Go语言编写的静态网站生成器，它使用起来非常简单，相对于Jekyll复杂的安装设置来说，Hugo仅需要一个二进制文件hug

VUE开发环境搭建

安装 安装nodejs 到https://nodejs.org/en/download/ 下载对应系统的二进制版本。 按照ubuntu16.04下配

emacs整体介绍

描述 此PPT上描述的大部分功能是我折腾玩过的，现在整理分享出来以便有兴趣的读者对强大几乎无所不能的emacs有个大致的了解，让更多的人加入e

emacs.mospan使用指南

概述 我自从2011年开始使用自己折腾的emacs到现在，参考或实现了不少功能使其满足我工作与学习所需，虽然它依然有一些瑕疵，但尝试了其他配置

spacemacs使用初探

概述 我自从2011年开始使用自己折腾的emacs到现在， 用着它写golang时发现函数列表与补全功能不太好使，一直知道spacemacs的名

DNS体系之_基础

描述 此《DNS体系基础》为在公司进行的一次内部分享， 现也把它放到博客中来，以便更多的读者分享交流。PPT内容由我个人的理解编写与部分来自互联

精品文章，阅后收藏

职场人性类 励志 [☆☆☆☆☆] 你同学都身价上亿了，你却还在纠结早晨几点能起床？ [☆☆☆☆☆] 你的收入，为什么还没有指数增长？ [☆☆☆☆☆] 你的

openresty+redis实践记录

安装 openresty安装 详见 openresty安装 redis安装 执行如下命令： sudo apt-get update sudo apt-get install redis-server 详见 Ubuntu安装配置Redis redis启

个人常用面试题及其参考答案

开篇 请您自我介绍一下你自己？ 回答提示：一般人回答这个问题过于平常，只说姓名、年龄、爱好、工作经验，这些在简历上都有。其实，企业最希望知道的是

DPDK开发随记

性能调优 rte_rand() 现象：使用top perf -g查看时发现__drand48_iterate()所占比例达到40%以上。 分析：跟踪__drand48_ite

org-mode使用手册

总介 摘要 : org大概能够做什么的摘要 Org是一种通过纯文本方式来快速而有效地记录笔记,处理待办列表,做项目计划的mode. Org通过一些NO

我的博客演进之路(06)--添加文章列表分页显示

背景 由于原来的主页显示是完全平铺，当文章数量较多时， 下拉进度条太长不方便阅读。因此，通过添加文章列表分页显示功能 可以更好的显示与阅读， 每页设

怎样才能拥有个人独立域名邮箱？

背景 在创建开源项目或小团队创业初期，由于没有精力或财力自己搭建内部邮件服务器，为了使大家沟通更顺畅更一致，也为了与客户沟通显得更加专业一些，

基于DPDK开发高性能DNS服务器实践总结

简述 有幸全程参与了基于DPDK1下一代高性能CloudXNS2服务器开发，从未知到慢慢熟悉，其中也走了些弯路也 踩过一些坑，一路走来有些感受与

我的博客演进之路(05)--添加访问统计

申请 注册 登陆到amazingcounters进行账号注册。 申请 大致原理为通过注册把自己的域名与统计网站关联后，生成一段html代码拷贝到自己

我的博客演进之路(04)--调整文章版面显示大小

由于原来的版面显示有点过小，在现在的宽屏面前有些浪费。于是为了更好的进行阅读显示，特做了如下修改： 打开文件./themes/rapid/st

pango设计与实现(02)--快速开始

安装 安装前准备 确保你的本地环境已经安装好如下软件： git. Go 1.4+ 源码安装 下载源码到本地 git clone https://github.com/mospany/pango.git 设置好环境变量 cd pango export GOPATH=`pwd` 编译 make 如果编译成功，将在当前目录下

pango设计与实现(01)--介绍

概述 pango我个人发起的基于hugo的变种开源项目，是一个快速与灵活的静态网页生成器，使用GO语言开发。 主要基于如下目的： 巩固学习web前

在Linux下我常用的软件工具

编程编辑 emacs emacs是我最为常用的工具，大部分工作都在它下面完成，差不多是“开机–>emacs–>关机”

读《老卫聊架构：做技术，应该先有深度再谈广度》随记

背景 主要交流内容包括以下几点： 为什么要成为一名架构师？ 好的架构师需要T型的复合型人才 架构师最重要的能力是战略分解能力 架构师的跨界思维能力 架构

我的博客演进之路(03)--添加微信公众号

引言 为了符合当今移动互联网的潮流，也让自己更加了解微信的基础知识与推广运作，我也把自己在博客上写的文章也推送到微信公众号，以便想了解的人提供

记2015年度公司员工大会与获奖实录

引言 今年自己荣幸拿了个公司的一个奖，在此感谢下公司领导的栽培与同事的帮助，谢谢大家。 获奖感言 大家好， 我叫mospan，家乡贵州荔波， 布依族，

我的博客演进之路(02)--架构与部署概述

部署图总览 经过调研与分析，能满足我博客需求的大致部署图如下： 角色说明 github 主要存放了本博客的资料文件，利用了github的pages功能提供了网

我的博客演进之路(01)--正式上线

原来的博客都是在CSDN与博客园里写的，都是按照模板进行编写，能自己自定义的比较少，没有自己的独立域名，用emacs/vim编写上面的博客不

Table of Contents 简介 pod状态 主要状态 其他状态 容器状态 kubelet状态 + toc = true categories = [“技术文章”] date = “2023-12-03T10:42:05+08:00” description = “” keywords = [“K8S”,“云计算”] tags = [“K8S”,“云计算”] title = “K8S学习笔记(08): POD生命周期” url = “2023/12/03/pod-life-cycle“ + 简介 pod 遵循预定义的生命周期，起始于 Pending 阶段， 如果至少其中有一个主要容器正常启动，则进入 Running，之后取决于 Pod 中是否有容器以失败状态结束而进入 Succeeded 或者 Failed 阶段。 pod状态 主要状态 Pod主要有以下几个状态, 定义在pkg/apis/core/types.go中： 状态 意义 描述 Pending 等待中 Pod已经被创建，但还没有完成调度，或者说有一个或多个镜像正处于从远程仓库下载的过程。处在这个阶段的Pod可能正在写数据到etcd中、调度、pull镜像或启动容器。 Running 运行中 该 Pod 已经绑定到了一个节点上，Pod 中所有的容器都已被创建。至少有一个容器正在运行，或者正处于启动或重启状态。 Succeeded 正常终止 Pod中的所有的容器已经正常的执行后退出，并且不会自动重启，一般会是在部署job的时候会出现。 Failed 异常停止 Pod 中的所有容器都已终止了，并且至少有一个容器是因为失败终止。也就是说，容器以非0状态退出或者被系统终止。 Unkonwn 未知状态 API Server无法正常获取到Pod对象的状态信息，通常是由于其无法与所在工作节点的kubelet通信所致。