1. RDD的概念，就是说它会把一个比较大的数据集，然后分成很多个不同的部分，这叫分区。那这个分区，它会分布在不同的计算节点里边，去对每一个节点进行同样的算法的计算。那这个RDD的概念，它叫什么弹性分布式数据集意思？它就是如果有的计算节点失败了，它能够按照。计算的定义的那个计算图重新去构建它失败的那一部分，能够起到一个重视作用，也就是一个，能够保证这个计算的时候，能够在有问题的时候能够鼓掌恢复，然后还能够做这种分布式的计算   2. join的时候一定要看好join的类型：left join、right join、inner join以及左表右表的join字段名称，每join一个表就执行测试下...

import os import sys import re import cx_Oracle class FileReplace():     def __init__(self,username1,passwd1,username2,passwd2,jdbc_url):         self.username1 = username1         self.passwd1 = passwd1         self.username2 = username2         self.passwd2 = passwd2         self.jdbc_url = jdbc_u...

import os   #引入os模块 import sys  #引入sys模块 class Renaming():     def __init__(self):         self.path = r"C:/tesxt"                # 切换到 "C:\tesxt" 目录                 def Filepath(self):         path = self.path         #列出当前目录下的文件列表         filelist = os.listdir(path)          pr...

# -*- coding: utf-8 -*- """ Created on Sat Oct 14 17:03:39 2021 @author: Lee """ import os import numpy as np import matplotlib.pyplot as plt import pandas as pd """ 代码说明： programmer_1: 制作箱线图 data.boxplot-->数据转为箱线图的字典格式 plt.annotate-->绘图 programmer_...

# -*- coding: utf-8 -*- """ Created on Sun Oct 15 19:42:13 2021 @author: Lee """ import os  import numpy as np import matplotlib.pyplot as plt import pandas as pd import pywt from pandas import DataFrame, Series from scipy.interpolate import lagrange from scipy.io impor...

#!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Thu Nov  9 14:26:54 2021 @author: lee """ import numpy as np import matplotlib.pyplot as plt import pandas as pd from scipy.cluster.hierarchy import dendrogram, linkage from sklearn.cluster import Agglomerati...

#!/usr/bin/env python3 # -*- coding: utf-8 -*- #pylint: disable=W1401 """ Created on Thu Nov  9 15:12:30 2021 @author: Lee """ import jieba import pandas as pd from gensim import corpora, models """ 由于每个阶段的数据文件存在依赖关系，所以这里输出保存在了data/目录下 programmer_1-->提...

服务启动速览：  启动hadoop： start-dfs.sh start-yarn.sh 启动 hadoop history-server  【可选，默认没有启动】 mr-jobhistory-daemon.sh start historyserver 或 mapred --daemon start mapred historyserver start  yarn-daemon.sh start timelineserver 代替命令：yarn --daemon start timelineserver  hadoop dfsadmin -safemode leave  若干节点上都 启动 ...

# -*- coding: utf-8 -*- # pylint: disable=E1101 """ Created on Fri Oct 20 16:06:09 2017 @author: wnma3 """ import numpy as np import matplotlib.pyplot as plt import pandas as pd from keras.layers.core import Activation, Dense from keras.models import Sequential from skl...

摘要         策略编写的基本框架及其实现       回测的含义及其实现       初步学习解决代码错误       周期循环的开始时间       自测与自学                通过前文对量化交易有了一个基本认识之后，我们开始学习做量化交易。毕竟就像学游泳，有些东西讲是讲不懂，做过就会懂。                   由于本教程是基于聚宽量化交易平台（www.joinquant.com），所以为了后续的学习，最好去注册一个聚宽量化交易平台的账号。         从一个非常简单的交易策略开始               先看一个非常简单的交易策略：       ...

特点         从零开始教编程。 靠谱的量化交易学习资源稀少，且具有不讲编程、代码较难、过多等不适合新手等问题，本教程中则会从零开始教编程，解决量化入门过难过编程门槛这一问题。       量化与编程相结合。本教程不仅会教编程，而且会尽量结合量化情景，减少“我要做量化交易为什么要看这些用来培训程序员的东西”的愤懑。       简易精炼，快速入门。尽量只讲最核心最常用的知识，助你快速摆脱想学习量化却处处陌生不知所措的茫然的新手阶段。   读前说明         文后会有自测与自学，包括一些额外的延伸自学内容以及稍有难度的自测题目。       最最最基础的股票知识不会讲，比如交易量的含...

#-*- coding: utf-8 -*- # pylint: disable=E1101 from random import shuffle import matplotlib.pyplot as plt import pandas as pd from keras.layers.core import Activation, Dense from keras.models import Sequential from scipy.interpolate import lagrange from sklearn.externals import joblib from sklearn.m...

所谓真经，就是能够达到寂空涅盘的究竟法门。可悟不可修。修为成佛，在求。悟为明性，在知。修行以行制性。悟道以性施行。觉者由心生律；修者以律制心，不落恶果者有信无证，住因住果，住念住心，如是生灭。不昧因果者无住而住。无欲无不欲。 无戒无不戒。如是涅盘。