1.数仓为什么要分层数仓分层是为了提高数据的管理和使用效率。首先，分层可以帮助数据仓库实现数据的结构化和整理。通过将数据按照不同的层级进行分类，可以更好地对数据进行管理和组织，使数据结构清晰明确。其次，分层可以提供不同的数据访问方式和权限控制。将数据仓库分为不同的层级，可以根据用户的需求和权限将不同层级的数据暴露给用户，实现对数据的灵活访问和控制，同时确保敏感数据的安全性。此外，分层还可以提升数据仓库的性能和扩展性。将数据仓库按照不同的层级进行划分，可以根据需求优化每个层级的性能，使数据的查询和分析更加高效。同时，分层也便于数据仓库的扩展和维护，可以根据需要进行层级的增加或删除。最后，分层还可...

推荐系统是大数据时代的利器，它能够为企业提升用户体验、增加用户粘性、促进销售转化、提高营销效率等。但是，搭建一个成功的推荐系统并不容易，它需要综合考虑多方面的因素，并根据业务场景、用户需求、数据变化等不断地进行迭代和优化。本文将以一个世界500强的B2B2C企业为案例对象，深入探讨其在不同阶段搭建与演进大数据推荐系统所采用的技术方案与方法。本文将带领你从零开始一步步地完成推荐系统的各个阶段，从而完成推荐系统从起步到成熟的全生命周期。▊ 阶段一：概念验证，快速实现最小可行性推荐在此阶段，我们在网站上增加一个推荐栏位，为该企业提供一个简单有效的推荐方案，并观察了其对核心KPI（销售提升）的影响。我...

在数据库查询中，我们经常会遇到需要从多个表中检索数据的情况。如果我们只使用单表查询，无法获取到我们想要的完整数据。这时，JOIN 操作就发挥了重要的作用。它能够将多个表按照特定的条件进行连接，返回满足条件的结果集。SQL Server 中常见的 JOIN 类型包括 INNER JOIN（内连接）、LEFT JOIN（左连接）、RIGHT JOIN（右连接）和FULL JOIN（全连接）。每种 JOIN 类型都有其特定的语法和使用场景。接下来，让我们逐一了解它们。1、INNER JOIN（内连接）：内连接返回两个表中满足连接条件的交集数据。它通过比较连接列的值将相关行组合在一起。 -- 内连接示...

项目地址：GitHub - soimort/you-get: Dumb downloader that scrapes the web:arrow_double_down: Dumb downloader that scrapes the web - GitHub - soimort/you-get: Dumb downloader that scrapes the webhttps://github.com/soimort/you-get常见的视频网站，如土豆、优酷、西瓜视频、快手、抖音等都支持1 安装方法如果是在 linux 上安装，可通过 pip 指令$ pip3 install you...

def save_model(model,file_name): print('保存模型文件到：{}'.format(file_name)) torch.save(model, file_name) print('模型文件保存完毕') # with open(file_name,'wb') as f: # pickle.dump(model,f) def load_model(file_name,device): return torch.load(file_name, map_location=device) # with open(file_name,'rb') as f: # retur...

1. 首先把ST_ENTP_TYPE_CD字段炸开 SELECT CUST_ID, ST_ENTP_TYPE FROM RIDM.XXXXXX LATERAL VIEW explode (split(ST_ENTP_TYPE_CD, ',')) tmp AS ST_ENTP_TYPE WHERE DT='20220516' 2. 把ST_ENTP_TYPE_CD字段替换 SELECT CUST_ID , CASE WHEN ST_ENTP_TYPE = '01' THEN '科技型企业' WHEN ST_ENTP_TYPE = '02' THEN '科技型中小企业' END AS ST_ENT...

01部署效率低：在部署Hive/HBase/Kylin之前，必须部署好Hadoop集群。和传统数据库相比，这个部署效率是非常低效的。运维效率低：Hive/HBase/Kylin基于Hadoop，Hadoop生态会带来一个非常严重的单点故障问题，即Hadoop体系中任何一个组件出现问题，都可能引起整个系统的不可用。使用传统的数仓对运维的要求非常高。计算效率低：主要体现在Hive和Kylin上，这两个数仓没有自己的存储引擎和计算引擎，这导致Hive和Kylin只能依靠堆机器实现复杂查询，而无法从数据本身下手。在大数据后期，一些以数据快速查询为目标而特殊设计的数据存储格式成为标准，这个现象才有所改观...

什么是编程能力？——用程序去解决真正的问题，你的程序写的能让人读懂，这是编程能力；你的程序高效可维护，这是编程能力；你的程序被review的次数很少，质量很高，这是编程能力；你能快速理解一个小项目，小模块在做什么，怎么做的，这也是编程能力。关于如何提高python编程能力，我这里也给大家总结了几点：学会自学，提高自学能力多看优秀源码，学习代码思路多阅读Python经典书籍善用代码工具多做项目，需求带动输入学会自学，提高自学能力自学能力是一种独立思考、发现问题并解决问题的一种独立的自我学习的能力。自学编程的第一步是培养学习的兴趣，做任何事之前你都要明白为什么这样做？当你明确自己的学习目的之后，你...

大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信息和见解的过程。下文将介绍这些框架：仅批处理框架：Apache Hadoop仅流处理框架：Apache StormApache Samza混合框架：Apache SparkApache Flink大数...

# -*- coding: utf-8 -*- """ Created on Sun Jul 3 15:38:33 2022 @author: """ import json from pyspark import StorageLevel from pyspark.sql import Window from pyspark.sql import SparkSession from pyspark.sql import function as F from pyspark.sql.types import StringType, ArrayType, MapType from pyspark...

数仓高内聚低耦合是怎么做的定义高内聚：强调模块内部的相对独立性，要求模块内部的元素尽可能的完成一个功能，不混杂其他功能，从而使模块保持简洁，易于理解和管理。低耦合：模块之间的耦合度要尽可能的低，避免模块之间的复杂依赖，使得每个模块都可以独立存在，从而减少模块间的相互影响，提高系统的可维护性。做到低耦合、高内聚一般复杂的公共逻辑可以采用抽象类和抽象方法的方式下沉到共有模块中，然后由相关子类去实现抽象方法，来实现不同的功能。这样可以将复杂的逻辑拆分成各个子类，使得类之间的耦合度降低，提高代码的可维护性。数仓中多重粒度的作用，以及实现定义在数据仓库中，粒度是指数据的细度。粒度越高，表示数据越细致，每...

每个数据仓库都包含一个或者多个事实数据表。其中可能包含业务销售数据，如现金登记事务所产生的数据，通常包含大量的行。事实数据表的主要特点是包含数字数据（事实），并且这些数字信息可以汇总，以提供有关单位作为历史的数据，每个事实数据表包含一个由多个部分组成的索引，该索引包含作为外键的相关性维度表的主键，而维度表包含事实记录的特性。   一、事实表基础   1. 事实表特征   事实表作为数仓维度建模的核心，紧紧围绕着业务过程来设计，通过获取描述业务过程的度量来表达业务过程，包含了引用的维度和业务过程有关的度量。事实表中一条记录所表达的业务细节程度被称为粒度(业务中的细节程度)。通常粒度可以通过两种方...

Pandas 号称“数据挖掘瑞士军刀”，是数据处理最常用的库。在数据挖掘或者kaggle比赛中，我们经常使用pandas进行数据提取、分析、构造特征。而如果数据量很大，操作算法复杂，那么pandas的运行速度可能非常慢。本文根据实际工作中的经验，总结了一些pandas的使用技巧，帮助提高运行速度或减少内存占用。   1 按行迭代优化   很多时候，我们会按行对dataframe进行迭代，一般我们会用iterrows这个函数。在新版的pandas中，提供了一个更快的itertuples函数。   我们测试一下速度:  import pandas as pd import numpy as np ...

在这里介绍一些更高级的pandas优化方法。   1 numpy   我们先来回顾一下上节说过的一个例子  import pandas as pd import numpy as np import time row_number=100000 df = pd.DataFrame({'a': np.random.randn(row_number), 'b': np.random.randn(row_number), 'N': np.random.randint(100, 1000, (row_number)), 'x': np.random.randint(1, 10, (row_number...