爬虫工程师怎么样？

今天上级跟我说之前做的一个项目需要优化，大概问题就是从网页上打开项目源代码，源代码前面有很多css代码，他说这样不利于爬虫，别人搜我们的网站上的东西就会搜不到，因为爬虫有字数限制，前面的css太多，主要的content就会爬不到了，让我去优化一下这个bug，感觉很新奇他说爬虫的时候，之前略有了解，今天特意去重新搜了一下关于爬虫的知识，欢迎各位牛爷爷牛奶奶牛婶婶牛叔叔牛哥哥牛姐姐来评论区交流！！！！1.核心：偷数据但别被抓2.步骤：a. 模拟“人”的行为上网假装是浏览器（设置 User-Agent，告诉网站“我是 Chrome 浏览器”）。像人一样操作：比如自动点击按钮、下拉滚动条。b.破解网站的“防盗门”代理 IP 池验证码--OCR 识别（让机器“看图识字”）--花钱雇人（打码平台）--行为验证（滑块、点选）c.动态加载  (抓取网页，但发现数据是空的，因为内容是通过 JavaScript 动态生成的)控制浏览器加载页面，等 JS 执行完抓取数据找到网页和服务器通信的 API 接口，直接请求接口获取数据。3.爬虫与前端结合：动态内容爬取（核心：找到返回数据的 API 接口，并模拟请求（携带正确的参数和 Headers））补充：为什么网页内容需要 JavaScript 异步加载？传统网页：服务器一次性返回所有 HTML、CSS、JS 和数据，导致首屏加载慢。异步加载：先返回基础的 HTML 骨架（比如顶部导航栏），再通过 JavaScript 动态请求数据，用户能更快看到部分内容。类比：外卖平台先显示店铺列表（骨架），等你点击店铺后，再加载菜单（异步数据）。

鼠鼠去年暑期实习面试过360，前天应该是一面的负责人说，就不再给我技术初试了，直接复试。（噩梦开始了）面试总共23分钟结束1. 自我介绍 （自我介绍不真诚 ， 像对着念，要像和他聊天一样去介绍自己。不是像背书一样）2. 什么学校的？一本还是二本？3. 为什么不考研4. 你认为目前哪个行业发展最好？ 你再看什么行业？ （鼠鼠回答： AI 发展好， 我再看的行业： 安全研发，游戏，AI）5. 你了解AI吗？6. 看你说的更多是对AI的使用（然后中间说了一堆乱七八糟的） 最后来了一句，如果让你自己做一个deepseek,你服务端会怎么做？（OK , 大的要来了）鼠鼠第6个问题完全不会，只能把自己知道的为数不多的一点关于AI开发的东西说出来 （说的最多的就是我了解到的一些如何在一个会话中让AI回答的问题上下文关联的知识）。 还没说完，面试官说了一句：“你感觉今天还有必要面试下去吗？”  鼠鼠以为是回答的太烂了，想着，寄就寄了吧，确实不会。 紧接着一句话，我想直接退出： “你用AI面试”。鼠鼠懵了，不知道为什么能让面试官说出来这句话。 跟面试官说了半天，共享屏幕开了，说：“我不看你屏幕，不要把面试官当傻子 ， 面试官面试了很多人，是会有一些应届生用AI辅助面试 ， 这样不好”。 鼠鼠是真的要红温了，非常想退出。但是想着是个大公司，直接退不是很礼貌（现在想想有点后悔，面试官也丝毫没有尊重我的意思）我也不知道说什么了，相顾无言。 然后面试官说那出道思考题吧，我说可以。题目很简单（面试的网站上牛客网），鼠鼠就直接在代码考核那一栏去模拟过程了，正在思考过程中 ， 面试官突然打断，说：“你在干什么呢？” （牛客的代码考核，我写什么东西，面试官应该可以看到吧？我不确定 ， 我不知道怎么回答面试官这个问题），直接跟面试官说了一个还没检验的答案，没有一丝意外，是错误的。 给出错误答案之后，面试官说：“不用AI不会了吧， 那你还用刚才的AI去写一次看看”。（鼠鼠一直在忍着没有退出去，我非常希望能够给出这个思考题的正确答案）。 就接着重新去尝试了，然而在这次尝试过程中，又一次被面试官打断。（这次确实已经乱了，不想写了 ， 也思考不进去了）。7.再次相顾无言一会儿， 面试官说没什么想问的，问我有什么问题没有？（鼠鼠已经红温，热的不行，就直接跟面试官说没有问题，结束吧）出去狠狠吃一个蜜雪冰城的冰淇淋降降温。这次是我从去年三月份开始投简历为止到现在，最红温的一场面试。其它也有面试红温的，但是原因是因为问的问题连着很多鼠鼠回答不上来，心态崩了。两者红温状态不一样，第二种，面试结束之后的复盘总结，也可以对自己技术，项目场景，基础知识有一定的提升。但是这次的面试，更多的是感受到了，被轻视，没有得到应该有的尊重，回答问题被打断，思考题被打断。很无奈啊，两次错过360。 鼠鼠下次再也不说AI行业了。

面试官提问环节：1.   自我介绍2.   项目中的难点（个人项目3d建模相关）3.   3d大规模渲染是很花时间的，如何优化4.   如何快速查找一百万条数据的某一个数据（提示我建立索引）5.   介绍第二个项目（爬虫相关）6.   你了解哪些反爬虫机制7.   HTTP常见的请求头有哪些、作用是什么8.   数组和链表的区别（我没答到点子上）9.   我有一个一百万的数据，用数组还是链表10. 如果我只有一台电脑，我要清洗一百万条数据，如何清洗，不要说换好电脑这种方案11. 手撕链表(我没撕出来，最后面试官让我说思路，我说完思路我马上就撕出来了，不过已经结束了)反问环节：Q.   面试官你觉得我有哪些地方可以提升呢？A.   基础知识不扎实，可以多提升自己的基础知识，我有一个我的个人博客，面试官真的点进了我的个人博客去看，给我提出建议，内容应该更加细节，更加丰满，当时听到面试官点进了我的博客，我可以说非常激动总结：本次面试，面试官一直提示我索引，我感觉他可能真的想引导我答出来，但是我不争气，我是个撒比，我说新建一张表，然后再用联合索引，我真的是个撒比，我感觉当时面试官听到这个答案心里都凉了，一直说嗯好吧，我知道了，然后就是数组和链表的区别，他也是提示我，我才回答出来的。八股文几乎可以说是一点没问，我背那么久八股文几乎一点没考，我是万万没想到考的是数组和链表的区别，希望其他人可以借鉴我这个好好加油准备，祝大家好运，我基本上夏季面试没希望了

这几天投了很多家数分岗 都没有邀面运营岗倒是很多家给面 大佬帮忙看看简历哪里有问题