有没有Python爬虫大佬？

做一个数据采集系统需要哪些东西？
1,爬去的数据要存到哪儿？
数据库里吗？
还是哪儿？
2,爬虫需要用什么框架吗？什么框架比较好？
3,数据采集系统需不需要什么界面呢？需不需要做UI?#Python#
全部评论
Scrapy 爬到mongodb，用django做界面
1 回复 分享
发布于 2019-04-04 03:39
2，scrapy 3,可以添加界面进行监控控制
1 回复 分享
发布于 2019-04-04 00:01
先谢谢大佬们了😛
点赞 回复 分享
发布于 2019-04-04 13:16
scrapy，pyspider
点赞 回复 分享
发布于 2019-04-04 07:45
1 ，数据库，或者excel表
点赞 回复 分享
发布于 2019-04-04 00:01

相关推荐

01-13 15:06
广州希音国际进出口有限公司_供应链管理(准入职员工)
shein内推，shein内推码
业务一面--30mim自我介绍在安克创新的产品运营主要做了什么?未来的职业规划方向？产品经理和产品运营的区别?两者重叠的核心部分是什么？为什么想做产品运营？为什么实习都不超过半年？这次实习的预期时长与到岗时间？需求收集与过滤占比较高，能接受吗？（其余为面试官讲解岗位内容）二面-25min自我介绍未来希望做产品运营还是产品经理？对该产品的哪条业务线感兴趣？B端产品和C端产品的区别?为什么想做B端产品？（过往为电商运营经验）一周出勤时间？英语听说读写水平？英语自我介绍英语问答：能否接受跨国会议的时差？全球超级独角兽SHEIN26届校招网申开启【关于Shein】全球领先的跨境电商，服务于150+个国...
点赞 评论 收藏
分享
01-13 05:55
门头沟学院 引擎开发
点赞 评论 收藏
分享
01-01 21:57
门头沟学院 Java
点赞 评论 收藏
分享
01-09 17:12
四川大学 Java
点赞 评论 收藏
分享
01-13 15:04
睿琪软件_产品经理(准入职员工)
滴滴内推，滴滴内推码
滴滴后端一二面面经一面40min纯技术面，面试官很友好，时不时会对你微笑，然后点头表示肯定，答对了还会说说得对。挑选一个你最想介绍的项目介绍一下，没有深挖。八股盛宴：C++、C、数据结构、数据库。总结就是不是简单的问你什么是虚函数，然后你说个虚指针，虚函数表就完事了。还会问你空指针可以调用类的方法吗？调用虚函数或者非静态成员变量的非虚函数为什么会崩溃？在什么阶段？大概就是这个意思，所以需要对每个方向的知识点有很深的理解，或者说实际开发中切实的应用过才能答得出来。二面25min个人感觉是目前为止碰到的最让人不解的面试官，全程皱着眉头，问的问题我没理解清楚也不会过多解释，直接默认我不会，然后说那我...
点赞 评论 收藏
分享
评论
点赞
4
分享

招聘动态

查看更多

27届寒假/转正实习汇总

牛客网申助手重磅发布

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 为了入行xx岗，我学了__ #
4872次浏览 90人参与
# 小厂实习有必要去吗 #
77889次浏览 368人参与
# 实习的你做了哪些离谱的工作 #
7564次浏览 109人参与
# Prompt分享 #
1624次浏览 53人参与
# 简历第一个项目做什么 #
6077次浏览 97人参与
# 你都见过什么样的草台班子？ #
3510次浏览 41人参与
# 被说“做题家”，你的反应是_____？ #
1245次浏览 48人参与
# 如果让你发明个APP，你会想做什么 #
1615次浏览 48人参与
# 听到哪句话代表面试稳了OR挂了？ #
124583次浏览 559人参与
# 工作压力大，你会干什么？ #
11216次浏览 271人参与
# 找实习记录 #
23036次浏览 406人参与
# 大家实习每天都在干啥 #
112251次浏览 606人参与
# 如果不上班，你会去做什么 #
5498次浏览 229人参与
# 邪修省钱套路 #
6359次浏览 218人参与
# AI让你的思考变深了还是变浅了？ #
3764次浏览 110人参与
# 金三银四，你有感觉到吗 #
673383次浏览 6040人参与
# 分享一个让你热爱工作的瞬间 #
57142次浏览 482人参与
# 你想跟着什么样领导？ #
45487次浏览 231人参与
# 我的求职精神状态 #
419395次浏览 3071人参与
# 通信硬件薪资爆料 #
1200404次浏览 7192人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务