大数据挖掘4个月,记录@挖了什么，谈谈理解。

基本情况：
7.15入职，职位为数据分析，职能为数据挖掘，大致九月开始正式接触工作，到目前主要做了离线数仓与建模两个方面的东西，日常工作以数据挖掘，构建维护离线数仓标签体系为主，兼任为业务部门提供数据分析，开发特定标签（特征），做机器学习建模等多种工作内容，下列所谈不代表所有，因职能不同所使用能力必然也不尽相同。：

工具使用：
hiveSQL：主力使用，日常大数据代码工作绝大多数依靠它在hive on mr完成 。

python  ：主要为爬虫库，科学计算库，机器学习库，获取网上的数据构建离线数仓的维表需要用到爬虫，对维表数据进行本地分析，对用户数据在服务器环境建模需要用到numpy pandas sklearn 等库，平时日常进行文件处理，分析也可以用到python。

linux 以及shell：hadoop集群归根结底是部署在服务器上的，你的维表入库hive，不能出库（服务器）的数据都只能在服务器上进行数据处理，这就要求会linux常见处理命令，有的服务器并不会为你布置python环境，因此shell脚本也要熟悉。


数据挖掘与数据开发的差异在哪？

按个人理解，数据挖掘需要你去了解有哪些业务数据，能做出什么标签（特征），这些标签质量如何，如何更好的让建模人员使用这些标签，如何储存并必要时快速产生衍生标签， 有些维表数据需要数据挖掘人员去爬虫获取，手动维护等，以及思考这些标签有什么利用价值，建模？精确营销？质量评价？都是需要去思考的，其次才是为业务取数，写数仓的SQL代码，这些数据开发的代码工作，当然，你也可以自己生产机器学习的标签，这就跟用机器学习算法筛选特征一样，不过工作量和效果得自己衡量。数据开发而已就相当于少了一些环节，他们也会评估需求，但是基本是在已有的数据基础上，爬虫以及业务偏离的数据获取不是他们的工作内容。

学大数据课程时候需要掌握hadoop集群的搭建，环境的配置吗？

作为数据开发或挖掘人员来说，不用太掌握集群的搭建，这些有专门的运维人员在处理，公司一般有平台让你直接写SQL，提交spark程序等等，相比于环境的搭建，更需要掌握一下SQL调优的一些hive设置，当你的yarn队列资源充足时你不需要考虑这个，能跑出来就行，但是当application多了的时候，设置一些临时参数让你的代码跑得更快就很舒服了。当然，跑得慢不是你的问题，跑得快也不见得是好事。

有时候想一想自己能调用上千核的CPU，几个t的内存还是挺牛哄哄的，暂时想到这么多，先写下来吧。删表跑路。



#数据挖掘##大数据开发##大数据##总结和分享#