nano-vllm源码分析

在大语言模型（LLM）的时代，推理效率成为了制约应用落地的关键瓶颈。想象一下，当你向 ChatGPT 提出问题时，它需要在几秒内处理数千个token，同时服

2025年12月14日

大模型从0到1训练推理入门

数据准备 模型微调 如果您希望模型在特定领域表现更好，可以通过在该领域的数据集上对模型微调来实现。本文以如下场景为例为您介绍模型微调的作用和步骤

2025年11月15日

大模型权重文件解析

1、模型文件 以Qwen1.5-32B-Chat-AWQ模型文件列表为例： shengping.mo@y108p30:/data2/huggingface/Qwen/Qwen1.5-32B-Chat-AWQ$ ls -lh total 20G -rw-r--r-- 1 xd xd 839 Jun 27 22:30 config.json -rw-r--r-- 1 xd xd 243 Jun 27 22:30 generation_config.json -rw-r--r-- 1 xd xd 6.8K Jun 27 22:30 LICENSE -rw-r--r-- 1

2025年11月09日

pytorch速查手册

🧠 1. 安装与基础 # 安装 CPU 版本 pip install torch torchvision torchaudio # 安装 GPU 版本（CUDA 12.1 示例） pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 import torch print(torch.__version__) # 版本 print(torch.cuda.is_available()) # 检查 GPU 📦 2. 张量（Tensor）基础 # 创建张量

2025年08月09日

Python基础与速查手册

🧠 一、基础语法速查 🧠 Python 关键字（共 36 个，区分大小写） 关键字 说明 False 布尔值，假 True 布尔值，真 None 空值 and 逻辑与 or 逻辑或 not 逻辑非 if 条件语句 elif 条件分支 else 条件

2025年08月02日

AI中的数学知识

AI中的数学知识全景：基础、公式、证明与应用 人工智能（AI）作为21世纪最具变革性的技术之一，其发展离不开坚实的数学基础。无论是机器学习、深

2025年07月13日

从会议室名称看AI

从会议室名称看AI：核心术语解读 在人工智能（AI）领域，许多会议室和项目组常以AI相关术语命名。以下是一些常见AI术语的详细解读，涵盖其英文

2025年07月13日

常用AI术语

常用AI术语归类 基础概念 人工智能（Artificial Intelligence, AI）：使机器表现出类似人类智能的技术和方法。 机器学习（Machine Learning, ML）：让计

2025年07月13日

AI学习全景图

脑图

2025年07月13日

vGPU方案HAMi(01): 实现细粒度 GPU 切分

本文主要分享一个开源的 GPU 虚拟化方案：HAMi，包括如何安装、配置以及使用。 相比于上一篇分享的 TimeSlicing 方案，HAMi 除了 GPU 共享之外还可以实现 GPU cor

2024年02月05日