8.3 快手-数据采集-一面凉经

公司不大不小给我来说足够了，可惜好像很难转正。说是数据开发实际上是数据采集，能感觉到面试官对数据采集也不是很熟悉问的问题更倾向项目内容，名创优品的爬虫面试就是纯拷打了从基础到深入的技术问题。第一个：playwright跟selenium的区别，因为从一开始就用playwright我只知道一个异步，也回答了因为从一开始就使用了playwright框架所以对selenium也不太了解。第二个：谈谈反爬经历，我主要讲了youtube逆向以及cloudflare的绕过第三个：出现爬不到内容该如何排查，网页结构，ip池，cookies池，u-a头第四个：最难的项目，上份实习的监控系统youtube逆向以及cloudflare的绕过还有一个网页的逆向，最后是crawlab爬虫管理技术第五个：验证码，我实话实说没有接触验证码，因为通常拿playwright指纹绕过会更简单快捷，所以基本没有接触过验证码的绕过。第六个：大规模数据的保存，先用redis保存到一千到五千时再统一存入mysql第七个：mysql的运用，当时说了一个系统的mysql使用逻辑第八个：问我上份实习部署工作是是否为我做的，我说了是自己使用docker部署到服务器的第九个：ai技术如何运用到爬取，我说了使用openai可以很有效的解决爬虫对于数据模糊爬取难的情况，以及crawl4ai的工作原理第十个：爬虫的开发流程，我说主要是根据时间以及爬取的量，短时间可以用自动化工具，如果量大而且有时间则是用逆向加scrapy的协议爬虫，他说我太笼统了，于是我追加了crawlab的爬虫监控技术还有docker的多容器通信这些。后面就没了，面试官也介绍了一下他的团队，3点半左右线上面试结束，4点左右hr就在boss问我一会是否有时间电话沟通确认到岗时间还有薪资情况，说第二天就发offer了

滴滴一直用人部门评估中是挂了吗 投递简历到现在两周多了

（虽然可能变成银9了）牛客上陆陆续续看到好多佬收到了意向，我才刚开始笔面（逃我感觉我得等前几波猛哥放弃了才有机会👨‍💻面试：影石一面快手游戏一面（挂）美团一面（约二面）4399二面（约三面）📚笔试：影石华为灵犀互娱笔试B站（挂）库洛（挂）oppo网易雷火（应该凉了）网易互娱（约一面）淘天Garena途游滴滴小红书下周目前已有四笔四面保持好状态继续加油

昨天太忙了，补一个日记嘿嘿1.万兴科技，今日投递2.小米约面试了，约在明天3.吉利九月初投递的，今天面试的，两个面试官提问，时间挺短希望不是kpi面试4.赛力斯打电话约面试了，约在明天5.信也科技约笔试了，应该是晚上七点，结果，我忘了呜呜呜6.网易雷火九月初投递，约了这周末笔试