个人信息表的重复号码 个人信息表 info：  唯一主键注册人员编号 no，注册日期 ctime，以及手机号码 phone_num。由于一个注册人 只能有一个注册手机号码，系统中手机号存在重复，属于系统 bug。 (1)、找出重复的手机号码，以及对应的注册人信息； select * from info; select phone_num,count(phone_num) from info group by phone_num; select phone_num,count(phone_num) from info group by phone_num having count(phone_n...

不等于： 尽量用<>表示，大部分都是支持的 筛选奇数： mod(id,2) 也可以直接用 id % 2来表示=1

文章目录  什么是用户画像你知道吗 为什么需要用户画像你知道吗   什么是用户画像你知道吗 在我的理解就是用户信息的标签化，您只需要掌握以下几点就好了：  Persona是真实用户的虚拟代表，是建立在一系列真实数据之上的目标用户模型 根据用户的目标、行为和观点的差异，将题目区分为不同的类型，每种类型中抽取出典型特征，形成了一个人物原型 通俗解释：用户信息标签化  官方回答： 用户画像又称用户角色，作为一种勾画目标用户、联系用户诉求与设计方向的有效工具，用户画像在各领域得到了广泛的应用。我们在实际操作的过程中往往会以最为浅显和贴近生活的话语将用户的属性、行为与期待的数据转化联结起来。作为实际用户...

文章目录  怎么建立用户画像呢 例子 用户画像的应用   怎么建立用户画像呢  要贴标签，先要有数据，一般讲用户数据划分为静态信息数据、动态信息数据两大类。 静态数据：用户相对稳定的信息，如性别、地域、职业、消费等级等。 动态数据：用户不停变化的行为信息，如浏览网页、搜索商品、发表评论等。 手工去做？人为贴标签？刚开始可以手工，但长期的话，人力的成本会越来越高滴！！ 需要我们找到最合适的数据，去建模一个体系 这下，机器学习的价值又来啦！离线计算，数据驱动！  例子 这是一台相机 这是一台胶片相机 这是一台胶片单反相机 这是一台尼康胶片单反相机 这是一台尼康FM2胶片单反相机 用户画像的应用  ...

第一列是id 第2，3,4列分别是年龄，性别，学历，我们已经有了这些数据 要去形成搜索和这些标签的模型 然后根据新的数据，来做这三个标签的用户画像

第一步：生成对应的数据表 import pandas as pd #编码转换完成的数据，取的是1W的子集 trainname = './data/user_tag_query.10W.TRAIN-1w.csv' testname = './data/user_tag_query.10W.TEST-1w.csv' data = pd.read_csv(trainname,encoding='gbk') print (data.info()) #分别生成三种标签数据（性别，年龄，学历） data.age.to_csv("./data/train_age.csv", index=...

加载训练好的word2vec模型，求用户搜索结果的平均向量 import numpy as np file_name = './data/train_querylist_writefile-1w.csv' cur_model = gensim.models.Word2Vec.load('1w_word2vec_300.model') with open(file_name, 'r') as f: cur_index = 0 lines = f.readlines() doc_cev = np.zeros((len(lines),300)) for line in lines: word_vec...

绘图函数，以性别为例，绘制混淆矩阵 import matplotlib.pyplot as plt import itertools def plot_confusion_matrix(cm, classes, title='Confusion matrix', cmap=plt.cm.Blues): """ This function prints and plots the confusion matrix. """ plt.imshow(cm, interpolation='nearest', cmap=cmap) plt.ti...

数据异常的三种主要类型 <mark>（1）违背常识的错误</mark> 比如调查上海市某小区居民的月收入，出现了小王的收入为-5000，这就属于异常值 <mark>（2）数据的离群值</mark> 离群值是指与其他数据差异较大，会对数据分析结果产生影响的观测值，比如说一个人月收入是1000000000000000000000000元 离群值的判断和处理： 1.检查同一客户原表里面是否有同样的数值 2.再检查这个数据是怎样收集来的 3.从技术角度评估是否是离群，如何对离群进行处理 <mark>（3）数据格式不一样</mark&gt...

数据里子： 注册日期字段为‘2020-10-09’这样 我们将它拆分为年份和日期 <mark>可以使用SQL中的left函数和right函数</mark> 用以取出某个字符串中特定长度的字符 代码如下： select member_id, left(registration_date,4) as year, right(registration_date,5) as date from sony_members;  原来：  拆分年份和月日后：

永久修改字段名字，需要创建新表 原表： select *from sony_members;   短暂修改表的字段名字： select age as age2 from sony_members;   永久修改表的字段名字 ALTER TABLE sony_members CHANGE age age2 int; select *from sony_members;   注意： <mark>modify能修改字段类型和约束,而change不能。 change用来字段重命名,不能修改字段类型和约束</mark>

MySQL不支持 full outer join，如何做全连接（企业版可支持） select s.camp_id,s.camp_name,k.read_flag from sony_push s full outer join `sony_push detail` k on s.camp_id=k.camp_id;  报错： select s.camp_id,s.camp_name,k.read_flag from sony_push s full outer join `sony_push detail` k on s.camp_id=k.camp_id > 1064 - You ha...

create table push_reader as select DISTINCT a.*,b.drop_dt from `sony_push detail` a inner join sony_push b on a.camp_id = b.camp_id where a.read_date>=b.drop_dt and a.read_date<=date(b.drop_dt)+1;

数据库系统执行一段SQL语言时的工作流程  首先去找from或join中提到的表，确定所需要的的表是否存在 根据where语句中筛选条件对记录进行筛选，只保留满足条件的记录 如果有的话执行聚合语句group by和筛选语句having的部分 最后执行select部分的相关语句