也到了马年年关了我作为从业者从写教程，到开多平台创作，包括x，油管，小红书，公众号，之类的多平台。已经基本上离不开使用ai了，生成文稿，让他转翻译，做过搬运，口播，还有写过无数的代码项目，包含量化，刷交易返佣，个人博客，去提示词，大小无数脚本，起码这半年给不下数十个老板服务过。每天都在高强度使用ai，另一部分，到底要不要去理解ai是如何工作的？我可以告诉你，很有必要，我见过无数prompt小子，让我感到惊讶的是，他们根本不理解微调和infra，更加别提双塔模型和高斯噪声拟合之类的，每次反问他，他们只会说我更偏向工程方向，但是实际上的工程项目和传统开发一样啊，你都不懂，你怎么去改好呢？但是涉及到ai方面的，基本上你都要会一点算法，可以说搞算法的基本上都要会大模型，搞开发的懂算法就乱杀这里其实涉及到一个很经典的问题，就是降维打击，当清华都要和你抢饭碗了，那么直接意味着这个行业就不景气了，这也就是为什么清华北大被视为行业冥灯的原因。这里没有调侃的意思。我可以说我神州华夏之大，每年寥寥数千清北毕业生可以去高就的地方可以是挑都挑不过来的。这个叫做社会共识，也就是类似你结婚要出彩礼钱一样，在求职方面，在学历方面，在中国清北的学历就是天花板，然后就是涉及到行业不景气的问题了，假如计算机行业失去薪资和技术优势，那么我们应该去做什么工作呢？我应该是从去年5月份开始写这方面的题材，不知道有多少人看到我的文字，我可以说，我写的基本上是没有什么废话的，对你们不管男孩女孩都是为人处世，在社会上生活有用的，第一点:不要陷入力工思维，什么是力工思维呢？（详情参考峰哥，去b站可以搜到），涉及政治和社会敏感问题，因为我是全平台发布，所以很多东西不能说。就是铁人三项，这三项是很典型的吃人口红利的职业，但是没有任何成长空间或者上限太低以至于三年工作经验和两个月上手没太大区别。第二点:有复利，有成长曲线的职业。这里有很明显的一些，比如自媒体，主播或者职业金融人:涉及基金，证券之类的，自己开个户去玩会，现在a股和黄鱼甚至加密货币都将来到低点。这种基本上门槛很低，但是前期投入很大，可能一直没人看，但是突然来了流量突然赚个大几百万是没什么问题，从命理学角度而言，这个叫做横财，你命中注定要发财。大部分是火贪格，不过容易败财而且不长久。还有其他十六种富贵命格这些天我web3项目不怎么忙，可以有空讲讲，不过还是看大伙感不感兴趣，可以私信专门写，也可以收费算命，主要测算的是紫薇斗数方面。第三点:有技术门槛也就是护城河也就是我会你不会。可以说计算机的算法和开发是存在这个的，类似的还有石雕，沙画之类的工艺者，基本上可以说，我会你不会，我有你没有，也可以说或者干脆你很难去有和学会，我不知道你们去过博物馆或者漫展没有，在博物馆里面，基本上就是漫天要价的，你爱买不买，因为东西就那么几个，你不买有的是人买，漫展呢，有很多化妆的，手法好的一次就是收费大几千，不过有毒，还有摄影的，也是排期都排不过来，半小时赚到大几百上千随便很轻松的时期，类似还有初中没毕业的灯光师月入几十万的，这种行业很多，多去体会，多出去转转，实际上社会是由人与人联系来组建和构成的，而不是机器，电脑只占比很小的一部分。大概10%？也许更少，我刚才所言，举了一些例子，是让你们有信心，去选取一些有价值的职业或者有效果的，那么也聊了一些东西了，最后呢，还是点点关注吧，我写博客不为别的，单纯是喜欢，读了很多书，又有表达欲，所以写一些东西，写文字都没有什么稿子，单纯一下就出来了，也就是所谓心流这种事情是让我很自在的，大伙也要一定要做一下让自己觉得时间很快的事情，去做自己热爱的，这样才不算耽搁此生。

不知道你们这几天看到这个东西没有，实际上获得系统级别的权限很早就有了，但是出于安全性和隐私考虑，像豆包手机现在才开始出来，可以说后期类似这种的产品会越来越多，同样的，ai代替人类，减少大部分低技术门槛工作马上就会到来，我作为从业者可以明确的跟你说，懂ai的更不懂ai的，纯是两个世界的人了，也不是给大伙压力，我切身体会到了，我难以想象还有人根本不了解ai的现状，可以说在下一个transformer架构，颠覆的革命出现之后，硅基生物就可能产生了，当然了，现在可能不会，但是你了解历代工业革命你就知道，时代中技术的发展和行业的变革是越来越快的，当然了，这个牛客网这种求职平台也要去变革，我早在半年前就说了可以拓展业务源，但是没有采纳我的建议，完全是可以作为社区型的方式去做，而不是光是找工作，当有一天人类不需要工作的时候，这种软件和媒体就失去了他原有的意义了。

这篇博客就是说为什么要将隐私，因为你的模型已经很聪明了，但是缺乏人类常识，所以会说一些不能说的，如果你是个人用户，你大概担心私密对话变成他人的搜索建议。所以说LLM 隐私保护已经发展起来了，很多人认为隐私保护只是个美好的愿景，但实际上，这个已经在运转了，不过大部分依旧存在谷歌等顶尖科学家的脑子里，后续我的博客会有很多你从研究所里面都听不到的东西，所以点点关注，你不吃亏，好了我们开始吧，1. 保护什么？训练数据隐私：防止模型在训练中“背诵”敏感信息（如身份证号、病历）。Prompt隐私：确保你与 AI 交流的内容不被第三方（甚至模型提供商）获取。模型输出隐私：防止黑客通过逆向工程猜出模型的训练集...

首先讲为什么写这个啊，这个和大模型有什么关系，其实本质上我什么都会看看，更ai相关的，比如infra，算子，或者加速推理框架，联邦学习基本上只有前沿实验室在搞，我也在做这个，这里顺手更新一下：一、边缘计算详解：1. 核心概念：是将计算、存储和网络资源从集中式云数据中心下沉到靠近数据产生源的网络边缘。边缘节点可以是路由器、网关、基站、工业控制器、手机、汽车、智能摄像头等。与传统云计算的根本区别在于处理方式：传统云计算是“数据搬家”——所有数据都要通过网络上传到遥远的云服务器集中处理；边缘计算是“计算搬家”——大部分计算直接在数据产生的附近完成，只把必要的结果或摘要上传到云端。2. 典型架构：边缘...

坚持到方向错误、资源枯竭、身心俱疲，仍无转机时，撤退不是放弃，而是对自我最清醒的负责。真正的尽力，是全力以赴后，也敢优雅转身。

具身智能基本上都是机器人，可以看作是 AI 搭配机器人。而 VLM (Vision Language Model) 就是给这个系统加上了“视觉”。目前最先进的公司（如宇树科技和大疆）的应用逻辑如下：宇树 H1 机器人：本质上是 VLM + VLA + 端到端。流程：输入指令 $\rightarrow$ 拆解指令 $\rightarrow$ 将视觉部分转化为运动轨迹 $\rightarrow$ 最终实现行走和动作。特斯拉 (Optimus)：也在探索端量化（一体机方案）。愿景：全方位的大模型，实现“一键输入 $\rightarrow$ 处理 $\rightarrow$ 行动反馈”，直接输出指令到...

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

一般来说训练都需要优化，而优化就是需要优化器，整体训练我们都当作的赛车，模型就是车。优化器：这个优化器从SGD和BGD讲起，SGD：是随机梯度下降，（下降一点点）BGD是基础梯度下降，（全量）实际上都不会单独使用，现在是混合使用，mini-SGD：就是SGD+BGD。然后基于SGD进化出来了，Adam->AdamW。也就是主流优化器，基本上都是用AdamW：这个有两个特点：动量：类似惯性，比如前面几个生成正的，下面一个也就生成正的，自适应步长：自动给频繁更新的参数减速，同样的，冷门的参数会加速，还能显式剥离梯度的权重衰减，解决Transformer的架构容易过拟合的问题。过拟合：学的太好...

还是收到粉丝邀请，我写一下这个题材，尽管问，尽管提，暂时不收费，我已经开始全网发布内容了。目前覆盖简书，博客园，即刻，知乎，csdn，公众号，小红书等媒体平台。首先啊，这个模型部署岗位就是运维，这个翻译成中文就是：MLOps 任何这个与传统运维/DevOps 的本质区别传统的 DevOps/运维主要处理代码和基础设施。而 MLOps 工程师则必须处理代码、模型、数据和特征。那么模型部署需要干什么？一：模型与数据生命周期管理 ：模型版本和注册管理模型工件： 确保每个训练好的模型（包括权重、配置、环境依赖）都有唯一的版本号和元数据记录。MLflow、DVC、AWS SageMaker特征工程交互确...

因为老是有hr偷看我简历，然后老是搞推理框架和算子优化的，我决定从头学一遍并且总结出来。不搞芯片的不用学，这个吃学历和顶会的。也就是为什么我从一开始没搞这个，但是又收到了中科院和香港实验室之类的邀请。现在学好像有点晚了。。。。算啦，搞一下吧。然后其实你们看到的稿子都是我写剩下的，一般都是写好几篇到点就发的。本文需要先看了上期讲芯片的看了才容易点。那么正式开始吧，本文的话还是按照vllm举例，因为时间有限，我和你们的时间都有限，所以我只讲最简单，最通用的东西，第一点：基本上所有的推理优化都是优化Tensor Cores,第二点：其他的SM架构，cuda cores无法被优化，这个是硬件，vllm...

GPU 中文翻译是图形处理器，这个目的是快速处理电脑游戏中的图形和画面，说白了是拿来打游戏用的，或者工业级精度调试。第二点，为什么GPU适合处理ai梯度计算？因为采用并行计算，也就是大规模并行化，内部含有大量的core。这个适合也是因为LLM计算的基本上都是矩阵的算法，重复类似的计算，然后呢，GPU有大量的核嘛，可以同时运行。讲gpu我们还是讲英伟达的卡嘛，我们这篇只讲架构，因为我不是科技宅，我不在乎手机的配置有什么，我也不在乎这个显卡多贵多快，这个与我而言是无效的信息，同样的，我也不花太多时间在媒体平台上，因为我不关心其他人今天吃了什么，今天又去那里玩了，我真正关心的是时政，或者这个国家20...

首先讲讲这个n8n啊，因为这个东西其实挺新鲜的，对于国内的技术圈子来说,这个居然还是新鲜玩意或者是没有一席之地。你可能看到一些ai视频，ai漫画，其实都是通过工作流一键实现出来的，这里为什么不讲coze？（这里纠正一下误区啊，coze可以说是不完整版的工作流，暂时不讲这个，因为其实这些东西操作起来都很麻烦啊）然后讲讲什么东西是n8n，或者说这些东西定义是什么：高度灵活的工作流自动化工具。首先讲n8n：这个玩意是我做了一部分然后让ai帮我搞的。然后其实里面也就几点:设定触发器 (Trigger)：选择一个开始节点，例如 Webhook (接收外部请求)、Cron (定时运行)连接操作节点 (Ac...

收到评论区的朋友邀请，我写一下这个教学，我本人是java转行，所以还是有java的基础，不讲废话哦，直接开始，一、LangChain4j 是什么？Java 实现的 LangChain 框架让你用 Java 调大模型（如 OpenAI）、加记忆、连知识库、做 Agent核心思想：Model + Prompt + Chain = App说白了也就那一套，前端还是tomcat之类的。然后很多朋友还会问也没有类似fastapi的前端框架，现在正常的话是几步走，首先假设我们有三年开发经验，（现在是面试吹牛时间）那么第一步就是了解需求，第二步骤是技术选型，第三步是和产品或者其他伙伴讨论可行性，第四步就是问...

首先讲为什么写这篇啊，因为现在基本上都是开源模型的，然后大量的公司需要自己的数据和样本，所以非研究院这种，基本上都是开源模型二开，所以说基本上都是调试出自己的模型，部署在自己的显卡上。那么这里就有专门的一个岗位，大伙可以去搜，叫模型部署的岗位，不过只有大公司才会有，一般的话，都是顺手全干完的。比如我hhh，我一个人能顶人家几个，有时候能力越大，干活越多，而不想干活，就要装糖，然后能力越小，所以说能力越大，能力越小。ok，正式开始啊，上面讲了为什么要部署自己的模型，这里我默认，你知道有ollma这个种东西，也默认你已经下载好了模型，有自己的显卡。比如说你下载了个各方面都很好的，自我感觉良好的模型...