知乎爬虫问题求指导！

最近在学爬虫，想爬知乎的用户，思路是从一个用户的被关注列表里面获取关注该用户的其它用户,采用广度优先的原则，将用户的url放到一个unvisited队列中，问题来了：比如轮子哥的关注有几十万，这个页面的用户全部加入到队列中的时间非常长，用单线程的时间全在等待加入队列上了，等这个页面的用户全部入队之后才出队爬取下一个页面。所以需要使用多线程，在入队时，其它线程继续爬取页面，但是Java多线程不太熟，请问下多线程的思路~~谢谢
全部评论
6度原理告诉我们，你从一个知乎用户开始爬取就可以爬到所有用户信息。其实在微观上看就是多叉树，宏观上看是网状图。能处理好图的遍历就行
点赞 回复 分享
发布于 2017-04-18 07:35
可以参考我做的:https://github.com/brianway/webporter
点赞 回复 分享
发布于 2017-04-17 21:00
为什么要从被关注列表里取数据呢，从关注列表里取不更好吗，每个人关注的用户是有限可控的。 可以用一个任务队列+unvisited队列，主线程负责从unvisited队列里取url将用户信息存入数据库，并将该用户的关注列表链接和页码数作为参数压入任务队列，辅线程不断从任务队列里取数据并把所关注用户的url压入unvisited队列。 关键做好同步和去重。
点赞 回复 分享
发布于 2017-04-17 20:34
这不是生产者和消费者嘛😆
点赞 回复 分享
发布于 2017-04-17 20:19

相关推荐

06-09 17:58
已编辑
Fibocom广和通_助理工程师(准入职员工)
26届，不要陷入秋招提前批的陷阱
提前批一般都是大厂才会开启，开启时间是5月中旬-7月中旬。作为比秋招和实习都领先一步拿到offer，那竞争堪比神仙打架。大厂+顶级人才+奖学金+竞赛国奖+顶尖学历+牛逼的个人项目，一整个buff叠满。对于大佬来说，提前批那得投，作为提前批本身不影响后面正式批的名额，多一份机会。从申请人数上来说是少于正式批的，很多人觉得自己不够格不会去投提前批。提前批都是优质岗位和资源，能够进去，会有很好的成长机会，并且薪资也不低。时间优势，如果提前批成功了，早一步拿到offer，可以结束求职焦虑和避免跟更多人竞争。失败了，就当积累面试经验，且可以提前发现不足的地方。对于普通人，提前批也可以去投投，但不要在意，...
提前批过来人的忠告 秋招提前批，你开始投了吗
点赞 评论 收藏
分享
昨天 17:40
重庆大学 C++
点赞 评论 收藏
分享
05-15 17:23
腾讯_金融科技_后端(准入职员工)
🙀
这是招了多少实习生啊，怎么都到沙发上办公了
深夜书店vv：腾讯是这样的，去年很多走廊都加桌子当工区
点赞 评论 收藏
分享
05-24 18:11
Java
点赞 评论 收藏
分享
06-11 15:15
北京信息科技大学 前端工程师
实习生一天应该上六次厕所
✔️早上刚上班一次，此时还处于从通勤状态转换到工作状态的缓冲期。去上个厕所，回来再花一些时间整理桌面、吃早餐喝水等准备工作。✔️上午十点半一次，此时刚提交部分任务，在等mt批评的间隙去厕所摸鱼十分钟✔️中午十二点一次，在吃中饭前再一次去厕所清空肚子，准备午饭大吃特吃，查看互联网有没有发生什么大事儿✔️下午两点一次，清空午睡积攒的液体，为下午在公司偷水做准备 ✔️下午四点一次，此时再次提交部分任务，在mt骂人之前尿遁一会儿 ✔️下午六点一次，此时距离下班还有半小时，应当提前结束工作，提前解决大号，要知道公司纸和水都不用自己出钱，自己的小出租屋的钱是自己真的掏出来的
真烦好烦真烦：这么拉，小心以后去了养老院被护工打
点赞 评论 收藏
分享
评论
点赞
9
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 考研对你找工作产生了哪些影响？ #
6190次浏览 70人参与
# 打杂的实习你会去吗？ #
109098次浏览 954人参与
# 聊聊这家公司值得去吗 #
240654次浏览 2244人参与
# 机械只有读研才有出路吗？ #
20031次浏览 228人参与
# 你认为哪个岗位找工作最卷 #
17215次浏览 67人参与
# 面试被问第一学历差时该怎么回答 #
130941次浏览 823人参与
# 远程面试的尴尬瞬间 #
101161次浏览 830人参与
# 硬件人绝对不能踩的坑 #
61505次浏览 736人参与
# 工作中哪个瞬间让你想离职 #
24294次浏览 166人参与
# kpi面有什么特征 #
36459次浏览 266人参与
# 你有哪些缓解焦虑的方法？ #
4153次浏览 146人参与
# 如何缓解入职前的焦虑 #
187468次浏览 1319人参与
# 职场人，说说你的烦心事 #
9175次浏览 83人参与
# 秋招最大的收获是什么？ #
34317次浏览 302人参与
# 实习生应该准时下班吗 #
223679次浏览 1398人参与
# 职场上哪些事情令人讨厌 #
16991次浏览 86人参与
# 你今年的平均薪资是多少？ #
126885次浏览 661人参与
# 为了找工作你投递了多少公司？ #
12773次浏览 180人参与
# 运营/市场营销人的秋招现状 #
17380次浏览 189人参与
# 数字马力求职进展汇总 #
175438次浏览 1470人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务