nano-vllm源码分析
在大语言模型（LLM）的时代，推理效率成为了制约应用落地的关键瓶颈。想象一下，当你向 ChatGPT 提出问题时，它需要在几秒内处理数千个token，同时服
2025-12
2025-11
大模型从0到1训练推理入门
数据准备 模型微调 如果您希望模型在特定领域表现更好，可以通过在该领域的数据集上对模型微调来实现。本文以如下场景为例为您介绍模型微调的作用和步骤
大模型权重文件解析
1、模型文件 以Qwen1.5-32B-Chat-AWQ模型文件列表为例： shengping.mo@y108p30:/data2/huggingface/Qwen/Qwen1.5-32B-Chat-AWQ$ ls -lh total 20G -rw-r--r-- 1 xd xd 839 Jun 27 22:30 config.json -rw-r--r-- 1 xd xd 243 Jun 27 22:30 generation_config.json -rw-r--r-- 1 xd xd 6.8K Jun 27 22:30 LICENSE -rw-r--r-- 1
2025-08
pytorch速查手册
🧠 1. 安装与基础 # 安装 CPU 版本 pip install torch torchvision torchaudio # 安装 GPU 版本（CUDA 12.1 示例） pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 import torch print(torch.__version__) # 版本 print(torch.cuda.is_available()) # 检查 GPU 📦 2. 张量（Tensor）基础 # 创建张量
Python基础与速查手册
🧠 一、基础语法速查 🧠 Python 关键字（共 36 个，区分大小写） 关键字 说明 False 布尔值，假 True 布尔值，真 None 空值 and 逻辑与 or 逻辑或 not 逻辑非 if 条件语句 elif 条件分支 else 条件
2025-07
AI中的数学知识
AI中的数学知识全景：基础、公式、证明与应用 人工智能（AI）作为21世纪最具变革性的技术之一，其发展离不开坚实的数学基础。无论是机器学习、深
从会议室名称看AI
从会议室名称看AI：核心术语解读 在人工智能（AI）领域，许多会议室和项目组常以AI相关术语命名。以下是一些常见AI术语的详细解读，涵盖其英文
常用AI术语
常用AI术语归类 基础概念 人工智能（Artificial Intelligence, AI）：使机器表现出类似人类智能的技术和方法。 机器学习（Machine Learning, ML）：让计
AI学习全景图
脑图
2023-06
如何安装使用newbing和chatgpt
简介 chatgpt在2022年开始爆发，随着越来越多的人在使用，于是也打算尝试安装使用。 chatgpt ChatGPT是一种基于人工智能技术的聊天机器人，
2023-03
K8S项目实践(06): 动手实现webhook
简介 Webhook就是一种HTTP回调，用于在某种情况下执行某些动作，Webhook不是K8S独有的，很多场景下都可以进行Webhook，比
2023-01
CentOS7 下安装和配置 NFS
简介 NFS（Network File System，网络文件系统）是当前主流异构平台共享文件系统之一。主要应用在UNIX环境下。最早是由Sun Micr
2022-12
K8S项目实践(05): 动手实现CSI驱动
简介 外部存储接入 Kubernetes 的方式主要有两种：In-Tree 和 Out-of-Tree。其中 In-Tree 是指存储驱动的源码都在 Kubernetes 代码库中，与 Kubernetes 一起发布、迭代、管理
K8S项目实践(04): 基于kubebuilder编写operator
介绍 Kubebuilder是一个由controller-runtime支持的出色SDK，它可以帮助您轻松快速地在 Go 中编写Kubernetes
K8S项目实践(03): 随机调度器
简介 POD创建过程 1、 由kubectl解析创建pod的yaml，发送创建pod请求到APIServer。 2、 APIServer首先做权限认证
2022-11
K8S项目实践(02): 动手实现minicni
简介 不管是容器网络还是 Kubernetes 网络都需要解决以下两个核心问题： 容器/Pod IP 地址的管理 容器/Pod 之间的相互通信 容器/Pod IP 地址的管理包括容器 IP
K8S项目实践(01): kubeadm安装K8S集群
规划 服务配置 OS 配置 用途 CentOS 7.6 (172.25.140.216) 2C4G k8s-master CentOS 7.6 (172.25.140.215) 2C4G k8s-work1 CentOS 7.6 (172.25.140.214) 2C4G k8s-work2 **注**：这是演示 k8s 集群安装的实验环境，配置较低，生产环境中我们的服务器配置至少都是 8C/16G
2022-10
K8S学习笔记(07): 服务发现
service 参考资料 01.一文讲透K8s的Service概念 02.k8s-service底层之 Iptables与 IPVS 03.K8S的ServiceIP实现
2022-09
K8S学习笔记(06): 资源
简介 k8s中所有的内容都抽象为资源， 资源实例化之后，叫做对象。 资源类型介绍 工作负载型资源对象（workload）：Pod，ReplicaSe
K8S学习笔记(05): yaml语法
k8s支持的文件格式 Kubernetes支持YAML和JSON格式管理资源对象 JSON格式：主要用于api接口之间消息的传递 YAML格式：用
K8S学习笔记(04): kubectl命令技巧大全
kubectl 命令技巧大全 kubectl 命令是操作 Kubernetes 集群的最直接和最高效的途径，这个60多 MB 大小的二进制文件，到底有啥能耐呢？ Kubectl 自动补全 $ source <(kubectl completion bash) # setup autocomplete in bash, bash-completion package should be
K8S学习笔记(03): Mac系统安装k8s集群
版本介绍 Mac系统版本 Docker Desktop 版本 K8S 版本 安装 Docker安装 brew install -cask docker 开机自启动K8S 重启成功后查看K8S集群。 安装Kubernetes Dashboard 命令如下
K8S学习笔记(02): 架构
简介 Kubernetes 是一个可移植的、可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。 Kubernetes 拥有一个庞大且快速增长的生态系统。Kub
K8S学习笔记(01): 目录
目录 K8S使用与原理 K8S学习笔记(01): 目录 K8S学习笔记(03): Mac系统安装k8s集群 K8S学习笔记(04): kubectl命令技
2019-11
互联网最重要入口DNS系列(1): 基本常识
DNS是什么？ 因特尔域名系统 DNS是Domain Name System(域名系统)的缩写，互联网的入口服务，监听53端口。 提供域名到IP地址的映射，
2019-10
一文读懂《区块链入门》，读完我们就是同志了
在2011年就开始听到朋友说他同学某某今年挖矿赚了一大笔钱，之后期间也陆陆续续的听到或了解一些币圈链圈的事， 当时对于投资投机等不以为然，时过
从《习总：加快区块链发展》中我们如何应对
引言 今天一则《习总：加快推动区块链产业创新发展》新闻在圈内炸开了锅， 让曾经炽手可热现在却处于寒冬时期的区块链行业又看到了曙光， 让从业人员可以
编辑器终结者: vim与emacs双剑合璧
神器传说 在猿的世界里，流传着两大神器的传说： 一个是神的编辑器Emacs，另一个是编辑器之神Vim。 追求独步天下的高手为了得到它驾驭它，在江湖
2019-08
又见春哥，OR沙龙现场记实
引言 第一次见到春哥本尊(活体)是在2015年是在360举行的openresty大会，历经4年再次在北京现场感受春哥技术热情与现场号召力，即使
IPv6时代已来，您Get了多少？
为什么要用IPv6 如今互联网主要使用IPv4, 感觉已经蓬勃发展了够用了，那为什么还需要使用IPv6呢？主要有如下原因： IPv4地址匮乏 NAT
IPv6技术概览(PDF版)
描述 此《IPv6技术概览》PPT内容由我个人的理解编写与部分来自互联网上的整理, 以便更多的读者分享交流。 PPT内容
2019-02
我的博客Hugo使用手册
Hugo Hugo是一个用Go语言编写的静态网站生成器，它使用起来非常简单，相对于Jekyll复杂的安装设置来说，Hugo仅需要一个二进制文件hug
2018-02
VUE开发环境搭建
安装 安装nodejs 到https://nodejs.org/en/download/ 下载对应系统的二进制版本。 按照ubuntu16.04下配
2017-08
emacs整体介绍
描述 此PPT上描述的大部分功能是我折腾玩过的，现在整理分享出来以便有兴趣的读者对强大几乎无所不能的emacs有个大致的了解，让更多的人加入e
emacs.mospan使用指南
概述 我自从2011年开始使用自己折腾的emacs到现在，参考或实现了不少功能使其满足我工作与学习所需，虽然它依然有一些瑕疵，但尝试了其他配置
spacemacs使用初探
概述 我自从2011年开始使用自己折腾的emacs到现在， 用着它写golang时发现函数列表与补全功能不太好使，一直知道spacemacs的名
2017-07
DNS体系之_基础
描述 此《DNS体系基础》为在公司进行的一次内部分享， 现也把它放到博客中来，以便更多的读者分享交流。PPT内容由我个人的理解编写与部分来自互联
2017-03
openresty+redis实践记录
安装 openresty安装 详见 openresty安装 redis安装 执行如下命令： sudo apt-get update sudo apt-get install redis-server 详见 Ubuntu安装配置Redis redis启
个人常用面试题及其参考答案
开篇 请您自我介绍一下你自己？ 回答提示：一般人回答这个问题过于平常，只说姓名、年龄、爱好、工作经验，这些在简历上都有。其实，企业最希望知道的是
2016-09
DPDK开发随记
性能调优 rte_rand() 现象：使用top perf -g查看时发现__drand48_iterate()所占比例达到40%以上。 分析：跟踪__drand48_ite
2016-05
org-mode使用手册
总介 摘要 : org大概能够做什么的摘要 Org是一种通过纯文本方式来快速而有效地记录笔记,处理待办列表,做项目计划的mode. Org通过一些NO
我的博客演进之路(06)--添加文章列表分页显示
背景 由于原来的主页显示是完全平铺，当文章数量较多时， 下拉进度条太长不方便阅读。因此，通过添加文章列表分页显示功能 可以更好的显示与阅读， 每页设
2016-03
怎样才能拥有个人独立域名邮箱？
背景 在创建开源项目或小团队创业初期，由于没有精力或财力自己搭建内部邮件服务器，为了使大家沟通更顺畅更一致，也为了与客户沟通显得更加专业一些，
基于DPDK开发高性能DNS服务器实践总结
简述 有幸全程参与了基于DPDK1下一代高性能CloudXNS2服务器开发，从未知到慢慢熟悉，其中也走了些弯路也 踩过一些坑，一路走来有些感受与
2016-02
我的博客演进之路(05)--添加访问统计
申请 注册 登陆到amazingcounters进行账号注册。 申请 大致原理为通过注册把自己的域名与统计网站关联后，生成一段html代码拷贝到自己
我的博客演进之路(04)--调整文章版面显示大小
由于原来的版面显示有点过小，在现在的宽屏面前有些浪费。于是为了更好的进行阅读显示，特做了如下修改： 打开文件./themes/rapid/st
pango设计与实现(02)--快速开始
安装 安装前准备 确保你的本地环境已经安装好如下软件： git. Go 1.4+ 源码安装 下载源码到本地 git clone https://github.com/mospany/pango.git 设置好环境变量 cd pango export GOPATH=`pwd` 编译 make 如果编译成功，将在当前目录下
pango设计与实现(01)--介绍
概述 pango我个人发起的基于hugo的变种开源项目，是一个快速与灵活的静态网页生成器，使用GO语言开发。 主要基于如下目的： 巩固学习web前
我的博客演进之路(03)--添加微信公众号
引言 为了符合当今移动互联网的潮流，也让自己更加了解微信的基础知识与推广运作，我也把自己在博客上写的文章也推送到微信公众号，以便想了解的人提供
2016-01
我的博客演进之路(02)--架构与部署概述
部署图总览 经过调研与分析，能满足我博客需求的大致部署图如下： 角色说明 github 主要存放了本博客的资料文件，利用了github的pages功能提供了网
我的博客演进之路(01)--正式上线
原来的博客都是在CSDN与博客园里写的，都是按照模板进行编写，能自己自定义的比较少，没有自己的独立域名，用emacs/vim编写上面的博客不