2025-04-28 10:37 门头沟学院 前端工程师 发布于湖南
关注
爬虫的这些东西你知道吗
#牛客创作赏金赛##牛客激励计划#今天上级跟我说之前做的一个项目需要优化，大概问题就是从网页上打开项目源代码，源代码前面有很多css代码，他说这样不利于爬虫，别人搜我们的网站上的东西就会搜不到，因为爬虫有字数限制，前面的css太多，主要的content就会爬不到了，让我去优化一下这个bug，感觉很新奇他说爬虫的时候，之前略有了解，今天特意去重新搜了一下关于爬虫的知识，欢迎各位牛爷爷牛奶奶牛婶婶牛叔叔牛哥哥牛姐姐来评论区交流！！！！
1.核心：偷数据但别被抓
2.步骤：
a. 模拟“人”的行为上网
假装是浏览器（设置 User-Agent，告诉网站“我是 Chrome 浏览器”）。
像人一样操作：比如自动点击按钮、下拉滚动条。
b.破解网站的“防盗门”
代理 IP 池
验证码--OCR 识别（让机器“看图识字”）--花钱雇人（打码平台）--行为验证（滑块、点选）
c.动态加载 (抓取网页，但发现数据是空的，因为内容是通过 JavaScript 动态生成的)
控制浏览器加载页面，等 JS 执行完抓取数据
找到网页和服务器通信的 API 接口，直接请求接口获取数据。
3.爬虫与前端结合：
动态内容爬取（核心：找到返回数据的 API 接口，并模拟请求（携带正确的参数和 Headers））
补充：为什么网页内容需要 JavaScript 异步加载？
传统网页：服务器一次性返回所有 HTML、CSS、JS 和数据，导致首屏加载慢。
异步加载：先返回基础的 HTML 骨架（比如顶部导航栏），再通过 JavaScript 动态请求数据，用户能更快看到部分内容。
类比：外卖平台先显示店铺列表（骨架），等你点击店铺后，再加载菜单（异步数据）。
1.核心：偷数据但别被抓
2.步骤：
a. 模拟“人”的行为上网
假装是浏览器（设置 User-Agent，告诉网站“我是 Chrome 浏览器”）。
像人一样操作：比如自动点击按钮、下拉滚动条。
b.破解网站的“防盗门”
代理 IP 池
验证码--OCR 识别（让机器“看图识字”）--花钱雇人（打码平台）--行为验证（滑块、点选）
c.动态加载 (抓取网页，但发现数据是空的，因为内容是通过 JavaScript 动态生成的)
控制浏览器加载页面，等 JS 执行完抓取数据
找到网页和服务器通信的 API 接口，直接请求接口获取数据。
3.爬虫与前端结合：
动态内容爬取（核心：找到返回数据的 API 接口，并模拟请求（携带正确的参数和 Headers））
补充：为什么网页内容需要 JavaScript 异步加载？
传统网页：服务器一次性返回所有 HTML、CSS、JS 和数据，导致首屏加载慢。
异步加载：先返回基础的 HTML 骨架（比如顶部导航栏），再通过 JavaScript 动态请求数据，用户能更快看到部分内容。
类比：外卖平台先显示店铺列表（骨架），等你点击店铺后，再加载菜单（异步数据）。
全部评论
相关推荐
点赞 评论 收藏
分享
02-12 20:22
重庆大学 Java 
双非后端失败第N人：1. go语言我建议你让ai带着你先把基本语法速通了，然后再去用go重新刷你以前刷过的leetcode，这样熟悉起来很快 2. 直接看你们组go项目，里面用***比较复杂，然后把每一个语法现象都喂给ai，一点点看
字节跳动公司福利 1371人发布 点赞 评论 收藏
分享
查看54道真题和解析