nano-vllm源码分析
在大语言模型（LLM）的时代，推理效率成为了制约应用落地的关键瓶颈。想象一下，当你向 ChatGPT 提出问题时，它需要在几秒内处理数千个token，同时服
2025-12
2025-11
大模型权重文件解析
1、模型文件 以Qwen1.5-32B-Chat-AWQ模型文件列表为例： shengping.mo@y108p30:/data2/huggingface/Qwen/Qwen1.5-32B-Chat-AWQ$ ls -lh total 20G -rw-r--r-- 1 xd xd 839 Jun 27 22:30 config.json -rw-r--r-- 1 xd xd 243 Jun 27 22:30 generation_config.json -rw-r--r-- 1 xd xd 6.8K Jun 27 22:30 LICENSE -rw-r--r-- 1
2025-08
pytorch速查手册
🧠 1. 安装与基础 # 安装 CPU 版本 pip install torch torchvision torchaudio # 安装 GPU 版本（CUDA 12.1 示例） pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 import torch print(torch.__version__) # 版本 print(torch.cuda.is_available()) # 检查 GPU 📦 2. 张量（Tensor）基础 # 创建张量
Python基础与速查手册
🧠 一、基础语法速查 🧠 Python 关键字（共 36 个，区分大小写） 关键字 说明 False 布尔值，假 True 布尔值，真 None 空值 and 逻辑与 or 逻辑或 not 逻辑非 if 条件语句 elif 条件分支 else 条件
2025-07
AI中的数学知识
AI中的数学知识全景：基础、公式、证明与应用 人工智能（AI）作为21世纪最具变革性的技术之一，其发展离不开坚实的数学基础。无论是机器学习、深
从会议室名称看AI
从会议室名称看AI：核心术语解读 在人工智能（AI）领域，许多会议室和项目组常以AI相关术语命名。以下是一些常见AI术语的详细解读，涵盖其英文
常用AI术语
常用AI术语归类 基础概念 人工智能（Artificial Intelligence, AI）：使机器表现出类似人类智能的技术和方法。 机器学习（Machine Learning, ML）：让计
AI学习全景图
脑图
2024-02
vGPU方案HAMi(01): 实现细粒度 GPU 切分
本文主要分享一个开源的 GPU 虚拟化方案：HAMi，包括如何安装、配置以及使用。 相比于上一篇分享的 TimeSlicing 方案，HAMi 除了 GPU 共享之外还可以实现 GPU cor
2024-01
K8S项目实践(12): GPU共享方案Time Slicing
本文主要分享 GPU 共享方案，包括如何安装、配置以及使用，最后通过分析源码了 TimeSlicing 的具体实现。通过配置 TimeSlicing 可以实现 Pod 共享一块物理 GPU(使用GRID GP
K8S项目实践(11): Pod 是如何使用到 GPU 的及源码分析
本文主要分析了在 K8s 中创建一个 Pod 并申请 GPU 资源，最终该 Pod 时怎么能够使用 GPU 的，具体的实现原理，以及 device plugin、nvidia-container
K8S项目实践(10): device-plugin原理到实现
本文主要分析 k8s 中的 device-plugin 机制工作原理，并通过实现一个简单的 device-plugin 来加深理解。 1. 背景 默认情况下，k8s 中的 Pod 只能申请 CPU 和 Memory 这两种资源，就像下面这样： resources:
K8S项目实践(09): 使用 GPU Operator搭建AI算力环境
1. 引言 为了学习AI应用、算法与算力等技术，应用需跑在GPU卡上，需要在节点上安装 GPU Driver、Container Toolkit 等组件，当集群规模较大时
K8S项目实践(08): 在ECS、Docker、K8s 等环境中使用 GPU
1. 引言 本文主要分享在不同环境，例如ECS、Docker 和 Kubernetes 等环境中如何使用 GPU。 注：由于没有物理机裸机，在阿里云上申请ECS也可满足学习使
K8S项目实践(07): kubeadm安装k8s集群(containerd版)
1. 规划 使用 kubeadm 安装 Kubernetes 集群并使用 containerd 作为容器运行时（container runtime）是一种常见的安装方法。 OS 配置 用途 备注 aliOS(172.17.197.69) 2核(vCPU) 4GiB 5 Mbps