酷狗关于深度学习、推理系统与 Linux 的技术笔记。
https://wfloveiu.github.io/2026-10-05T01:48:32+08:00
酷狗
如何计算CPU的理论最大内存带宽https://wfloveiu.github.io/2024/08/21/%E5%A6%82%E4%BD%95%E8%AE%A1%E7%AE%97CPU%E7%9A%84%E7%90%86%E8%AE%BA%E6%9C%80%E5%A4%A7%E5%86%85%E5%AD%98%E5%B8%A6%E5%AE%BD/2024-08-21T22:14:51+08:002024-09-03T16:57:49+08:00在FastDecode文章中，红框里显示CPU的最大内存带宽，这是怎么计算的呢？基于llam2学习推理过程https://wfloveiu.github.io/2024/08/21/%E5%9F%BA%E4%BA%8Ellam2%E5%AD%A6%E4%B9%A0%E6%8E%A8%E7%90%86%E8%BF%87%E7%A8%8B/2024-08-21T19:34:09+08:002024-08-21T19:36:29+08:00在上一节学习了Transformer的搭建过程，但是对于实际推理的流程，比如参数如何加载？batch中的多个sequence如何并行地推理还不甚清楚。由于vLLM内容繁杂，故使用llama提供的generator来做推理过程的学习，顺便再重温一下llama2的…基于Pytorch复现Transformerhttps://wfloveiu.github.io/2024/08/18/%E5%9F%BA%E4%BA%8EPytorch%E5%A4%8D%E7%8E%B0Transformer/2024-08-18T22:14:45+08:002024-08-18T22:17:38+08:00学习LLM之前，首先就是要搞懂Transformer的原理并复现。主要参考了[该文章][2]cmu 10-414 HW4https://wfloveiu.github.io/2024/08/14/cmu%2010-414%20HW4/2024-08-14T20:03:23+08:002024-08-14T20:05:03+08:00本节只展示我认为homework4中比较重要的部分，其余参考GitHub代码vLLM中的Executor与Workerhttps://wfloveiu.github.io/2024/07/31/vLLM%E4%B8%AD%E7%9A%84Executor%E4%B8%8EWorker/2024-07-31T19:45:17+08:002024-07-31T21:34:22+08:00在 executor 文件夹下定义不同类型的执行器，如NeuronExecutor、CPUExecutor、RayGPUExecutor、GPUExecutorcmu 10-414 HW2https://wfloveiu.github.io/2024/07/27/cmu%2010-414%20HW2/2024-07-27T23:43:17+08:002024-07-27T23:44:51+08:00为什么需要Normalization？cmu10-414 HW2总结https://wfloveiu.github.io/2024/07/22/cmu10-414%E9%98%B6%20HW2%E6%80%BB%E7%BB%93/2024-07-22T22:33:59+08:002024-08-14T20:05:18+08:00__inin__.py 中定义 needle对外暴露的模块、类、函数梳理cuda算子编译与python调用的流程https://wfloveiu.github.io/2024/06/10/%E6%A2%B3%E7%90%86cuda%E7%AE%97%E5%AD%90%E7%BC%96%E8%AF%91%E4%B8%8Epython%E8%B0%83%E7%94%A8%E7%9A%84%E6%B5%81%E7%A8%8B_%E4%BB%A5vllm%E4%B8%BA%E4%BE%8B/2024-06-10T20:22:54+08:002024-08-16T13:39:35+08:00跟踪vllm在generation阶段的代码，发现其page_atttention有V1和V2两个版本。以其V2版本为例。服务器删除驱动、安装nvidia驱动、CUDA Tookithttps://wfloveiu.github.io/2024/06/08/%E6%9C%8D%E5%8A%A1%E5%99%A8%E5%88%A0%E9%99%A4%E9%A9%B1%E5%8A%A8%E3%80%81%E5%AE%89%E8%A3%85nvidia%E9%A9%B1%E5%8A%A8%E3%80%81CUDA%20Tookit/2024-06-08T23:24:31+08:002024-08-21T19:35:49+08:00这是补档。当按1、2安装完之后，运行cuda的demo代码，一直报错。就是cuda的api用不了使用qemu运行内核并使用Redis-benchmark测试迁移https://wfloveiu.github.io/2024/01/07/%E4%BD%BF%E7%94%A8qemu%E8%BF%90%E8%A1%8C%E5%86%85%E6%A0%B8%E5%B9%B6%E4%BD%BF%E7%94%A8Redis-benchmark%E6%B5%8B%E8%AF%95%E8%BF%81%E7%A7%BB/2024-01-07T21:52:00+08:002024-01-07T21:53:04+08:00前情提要：本来在实体机上想进行测试程序检验NUMA节点间的迁移，因为CPU型号问题无法开启NUMA（只有一个NUMA节点）。遂采用师兄的方法：使用qemu虚拟机来运行内核。Linux物理内存分配(源码阅读2)https://wfloveiu.github.io/2023/12/31/Linux%E7%89%A9%E7%90%86%E5%86%85%E5%AD%98%E5%88%86%E9%85%8D(%E6%BA%90%E7%A0%81%E9%98%85%E8%AF%BB2)/2023-12-31T16:41:29+08:002024-07-24T13:21:06+08:00首先，还是给出参考文献： 参考博客Linux虚拟内存管理(源码阅读1)https://wfloveiu.github.io/2023/12/25/Linux%E8%99%9A%E6%8B%9F%E5%86%85%E5%AD%98%E7%AE%A1%E7%90%86(%E6%BA%90%E7%A0%81%E9%98%85%E8%AF%BB1)/2023-12-25T17:06:24+08:002024-07-24T13:20:55+08:00一句话：引入虚拟内存后，进程与进程之间的虚拟内存地址空间是相互隔离，互不干扰的。IO多路复用https://wfloveiu.github.io/2023/12/14/IO%E5%A4%9A%E8%B7%AF%E5%A4%8D%E7%94%A8/2023-12-14T21:20:17+08:002023-12-14T21:21:11+08:00使用内核态来判断那个套接字描述符有数据网络编程-Linux系统编程3https://wfloveiu.github.io/2023/12/06/%E7%BD%91%E7%BB%9C%E7%BC%96%E7%A8%8B3/2023-12-06T14:12:45+08:002023-12-06T14:14:34+08:00参考： https://bean-li.github.io/vfs-inode-dentry/网络编程-Linux系统编程2https://wfloveiu.github.io/2023/12/03/%E7%BD%91%E7%BB%9C%E7%BC%96%E7%A8%8B2/2023-12-03T12:38:50+08:002023-12-06T14:12:12+08:00umask可用来设定[权限掩码]。[权限掩码]是由3个八进制的数字所组成，将 现有的存取权限减掉权限掩码后 ，即可产生建立文件时预设的权限。网络编程-Linux系统编程1https://wfloveiu.github.io/2023/11/28/%E7%BD%91%E7%BB%9C%E7%BC%96%E7%A8%8B1/2023-11-28T22:07:10+08:002023-12-03T12:39:36+08:00ctrl+a :光标移到命令行最前面Vscode调试Linux内核https://wfloveiu.github.io/2023/11/20/Vscode%E8%B0%83%E8%AF%95Linux%E5%86%85%E6%A0%B8/2023-11-20T13:29:07+08:002024-07-24T13:20:12+08:00上一篇博客我们在虚拟机中编译了Linux内核，并且使用Qemu和gdb进行调试，但是gdb的指令我还不熟练，还是想用vscode来调试，这样也更加方便使用虚拟机进行基于qemu和gdb的Linux内核调试https://wfloveiu.github.io/2023/11/20/%E4%BD%BF%E7%94%A8%E8%99%9A%E6%8B%9F%E6%9C%BA%E8%BF%9B%E8%A1%8C%E5%9F%BA%E4%BA%8Eqemu%E5%92%8Cgdb%E7%9A%84Linux%E5%86%85%E6%A0%B8%E8%B0%83%E8%AF%95/2023-11-20T12:02:34+08:002024-07-24T13:36:59+08:00至少分8个核心（不然编译速度很慢，亲测）Butterfly中取消头像转动https://wfloveiu.github.io/2023/11/18/hexo1/2023-11-18T13:35:50+08:002024-07-24T13:20:05+08:00这个在_config中改不了，经过查阅资料，发现在 hexo-theme-butterfly/source/css/_layout/aside.styl中进行更改,大约在324行