AI应用开发全景路线图(补充篇)

#推荐一个值得做的AI项目# 接上篇
https://www.nowcoder.com/discuss/847995166416703488?sourceSSR=users

还缺少了平台和中间件的部分没有和大家交流,这一篇补充一下

平台&&中间件

和 AI 相关的平台主要就是 Maas 平台和机器学习平台,Maas 平台,大家最熟悉的就是阿里云百炼,用于模型部署,模型微调,并且整合知识库,Agent平台的综合平台

AI 中间件主要包括 AgentRuntime,AI 网关 等等

资料推荐:

首先是平台侧,对于大模型的工程化平台,开源的,我是最推荐 langfuse 的

https://github.com/langfuse/langfuse

langfuse 是 langsmith 的开源平替,包含可观测,评估,提示词管理,数据集管理等主流功能

机器学习平台就比较复杂了,这个主要是各个公司的内部平台,用于算法同学快速迭代的,所以开源的资料比较有限,但我也找到合适的可以学习的

https://github.com/kubeflow/kubeflow

目前最主流的 MLops 工程包,很多机器学习平台的核心功能都是通过这个的组件编排实现的,通过学习这个,就可以逐步理解机器学习平台的核心功能

此外还需要补充,k8s 和云原生相关的技术栈,用于优化模型的部署和调度。

此外还要学习 Ray 这个不可或缺的分布式框架

https://github.com/ray-project/ray

然后是中间件这边

AgentRuntime

智能体沙箱,用于安全,快速,高效的运行智能体应用,并且和 k8s ,serverless 等相关技术结合,实现毫秒启动和动态扩缩容

开源可以看看火山的子项目
https://github.com/volcano-sh/agentcube

AI 网关

只推荐阿里的开源 AI 网关 HIgress

https://github.com/alibaba/higress

AI网关除了一般网关的功能之外,还要支持,mcp托管,http无缝转mcp,模型路由等等,higress通过一个巧妙的插件系统接入了这些,并且还保留了大流量网关需要的核心功能
(这个项目的语义化检索mcp插件是我写的,感兴趣的牛友可以看看)

上面的这些,基本就把我认知中设计 AI 的开发岗位都讲的差不多了,其他评测平台和数据 pipline 搭建的,基本都是比较常规的技术栈,不太需要单独讲,比较喜欢鸡架的同学可以冲这些岗位。

后面的系列规划:
1. 从 0 - 1 实现一个 Agent 框架(教程 + 源码)可以写到简历上面的
2. 一些有意思的项目推荐,目前已经想好了两个,后面发一下
3. 自己的一些踩坑记录(比如后面暑期继续找垂直实习踩的坑#牛客AI配图神器#
#AI求职实录#
全部评论
快来框架
1 回复 分享
发布于 02-11 16:45 山东
蹲一个大佬后续Agent框架的实现
点赞 回复 分享
发布于 02-11 10:49 新加坡
老哥这整理的挺全面的啊
点赞 回复 分享
发布于 02-08 15:42 陕西
可以啊
点赞 回复 分享
发布于 02-06 16:26 山西
学到了 谢谢哥
点赞 回复 分享
发布于 02-06 16:26 内蒙古
进不去AI大厂 有没有小厂推荐
点赞 回复 分享
发布于 02-06 16:25 湖南
兄弟你太牛了!膜拜
点赞 回复 分享
发布于 02-06 16:25 江苏
感谢大佬
点赞 回复 分享
发布于 02-06 16:25 山东

相关推荐

04-08 06:25
门头沟学院 Java
发一下问题给大家参考,攒攒人品!1. 如何实现多 Agent 协作系统?2. 什么是 RAG(Retrieval Augmented Generation)?3. Java 如何实现 streaming response?4. 什么是 hallucination(幻觉)?为什么会发生?5. LangChain4j 如何返回结构化 JSON?6. 如何实现 SSE 推送?7. 如何评估 Agent 的执行效果?8. LLM 服务如何做缓存?9. LangChain4j 如何实现 Tool 调用?10. 什么是 AI Agent?11. 什么是 Prompt Engineering?12. Agent 和普通 ChatBot 有什么区别?13. RAG latency 怎么优化?14. Java 调用 OpenAI API 如何设计 SDK?15. RAG pipeline 的完整流程是什么?16. RAG 系统主要组件有哪些?17. 如何设计一个 AI 问答系统架构?18. RAG 如何做 rerank?19. AI系统如何做监控?20. embedding 和向量相似度搜索是什么?21. 什么是 ChatMemory?22. Java LLM 服务如何做连接池管理?23. 如何评估 RAG 系统效果?24. Agent memory 有哪些类型?25. 如何实现对话历史 memory?26. Transformer 架构核心原理是什么?27. 如何减少大模型 hallucination?28. LLM API 如何设计接口?29. chunk size 为什么很重要?如何选择?30. 如何实现 hybrid search(向量 + keyword)?31. 什么是 ReAct Agent?32. Spring AI 和 LangChain4j 有什么区别?33. 什么是 Tool Calling?34. embedding 模型如何选择?35. AI Chat 系统的整体架构是什么?36. 文档切分有哪些策略?37. LLM 服务如何做限流?38. LangChain4j 如何实现 prompt template?39. ChatGPT 的 system / user / assistant role 有什么作用?40. LLM 为什么推理成本高?41. AI系统如何记录 Prompt 和 Response?42. Agent 如何做任务规划(planning)?43. LLM latency 如何优化?44. 如何设计 Prompt 管理系统?45. streaming response 如何实现?46. MCP(Model Context Protocol)是什么?47. Agent workflow 和普通 workflow 有什么区别?48. 大模型上下文窗口是什么?如何突破长度限制?
点赞 评论 收藏
分享
03-26 16:21
牛客运营
点赞 评论 收藏
分享
评论
40
142
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务