2025-12

nano-vllm源码分析

在大语言模型（LLM）的时代，推理效率成为了制约应用落地的关键瓶颈。想象一下，当你向 ChatGPT 提出问题时，它需要在几秒内处理数千个token，同时服

2025年12月14日

2025-11

大模型权重文件解析

1、模型文件以Qwen1.5-32B-Chat-AWQ模型文件列表为例： shengping.mo@y108p30:/data2/huggingface/Qwen/Qwen1.5-32B-Chat-AWQ$ ls -lh total 20G -rw-r--r-- 1 xd xd 839 Jun 27 22:30 config.json -rw-r--r-- 1 xd xd 243 Jun 27 22:30 generation_config.json -rw-r--r-- 1 xd xd 6.8K Jun 27 22:30 LICENSE -rw-r--r-- 1

2025年11月09日