视频1 视频21 视频41 视频61 视频文章1 视频文章21 视频文章41 视频文章61 推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37 推荐39 推荐41 推荐43 推荐45 推荐47 推荐49 关键词1 关键词101 关键词201 关键词301 关键词401 关键词501 关键词601 关键词701 关键词801 关键词901 关键词1001 关键词1101 关键词1201 关键词1301 关键词1401 关键词1501 关键词1601 关键词1701 关键词1801 关键词1901 视频扩展1 视频扩展6 视频扩展11 视频扩展16 文章1 文章201 文章401 文章601 文章801 文章1001 资讯1 资讯501 资讯1001 资讯1501 标签1 标签501 标签1001 关键词1 关键词501 关键词1001 关键词1501 专题2001
python中预处理以及热图的简单介绍
2020-11-27 14:11:41 责编:小采
文档
 本篇文章给大家带来的内容是关于python中预处理以及热图的简单介绍,有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。

在数据分析当中的东西还是很多的,我在这里只是启发式的介绍一下,了解到这方面的东西之后,使用的时候可以更快的找到解决办法,希望能对大家有所帮助。

这次,依然是使用的sklearn中的iris数据集,对其进行通过热图来展示。

预处理

sklearn.preprocessing是机器学习库中预处理的模块,可以对数据进行标准化处理,正则化等等,根据需求来使用。在这里利用它的标准化方法对数据进行整理。其他的方法可以自行查询。

Standardization标准化:将特征数据的分布调整成标准正态分布,也叫高斯分布,也就是使得数据的均值为0,方差为1。

标准化的原因在于如果有些特征的方差过大,则会主导目标函数从而使参数估计器无法正确地去学习其他特征。

标准化的过程为两步:去均值的中心化(均值变为0);方差的规模化(方差变为1)。

在sklearn.preprocessing中提供了一个scale的方法,可以实现以上功能。

下面举个例子来看一下:

from sklearn import preprocessing
import numpy as np
# 创建一组特征数据,每一行表示一个样本,每一列表示一个特征
xx = np.array([[1., -1., 2.],
 [2., 0., 0.],
 [0., 1., -1.]])
# 将每一列特征标准化为标准正太分布,注意,标准化是针对每一列而言的
xx_scale = preprocessing.scale(xx)
xx_scale

经过对每列数据进行标准化处理之后的结果是:

array([[ 0. , -1.22474487, 1.33630621],
 [ 1.22474487, 0. , -0.26726124],
 [-1.22474487, 1.22474487, -1.06904497]])

可以看到,里面的数据发生了变化,数值比较小,也许有人可以一眼看出来,看不出来也没有关系,Python可以很方便的计算他们的一些统计量。

 # 测试一下xx_scale每列的均值方差
 print('均值:', xx_scale.mean(axis=0)) # axis=0指列,axis=1指行
 print('方差:', xx_scale.std(axis=0))

上面已经介绍了标准化的是要将它转换成什么样,结果的确吻合,按列求均值和方差的结果为:

均值: [0. 0. 0.]
方差: [1. 1. 1.]

当然对于标准化其方差和均值也不是一定要一起进行,比如有时候仅仅希望利于其中一个方法,也是有办法的:

with_mean,with_std.这两个都是布尔型的参数,默认情况下都是true,但也可以自定义成false.即不要均值中心化或者不要方差规模化为1.

热图

关于热图在这里只简单提一下,因为网上关于它的资料已经很多很详细了。

在热图中,数据以矩阵的形式存在,属性范围用颜色的渐变来表示,在这里,使用pcolor绘制热图。

小栗子

还是从导库开始,然后加载数据集,对数据进行处理,然后绘制图像,并对图像做一些标注装饰等等。我习惯在代码中做注释,如果有不明白的,可以留言,我会及时回复。

# 导入后续所需要的库
from sklearn.datasets import load_iris
from sklearn.preprocessing import scale
import numpy as np
import matplotlib.pyplot as plt
# 加载数据集
data = load_iris()
x = data['data']
y = data['target']
col_names = data['feature_names']
# 数据预处理
# 根据平均值对数据进行缩放
x = scale(x, with_std=False)
x_ = x[1:26,] # 选取其中25组数据
y_labels = range(1, 26)
# 绘制热图
plt.close('all')
plt.figure(1)
fig, ax = plt.subplots()
ax.pcolor(x_, cmap=plt.cm.Greens, edgecolors='k')
ax.set_xticks(np.arange(0, x_.shape[1])+0.5) # 设置横纵坐标
ax.set_yticks(np.arange(0, x_.shape[0])+0.5)
ax.xaxis.tick_top() # x轴提示显示在图形上方
ax.yaxis.tick_left() # y轴提示显示在图形的左侧
ax.set_xticklabels(col_names, minor=False, fontsize=10) # 传递标签数据
ax.set_yticklabels(y_labels, minor=False, fontsize=10)
plt.show()

那么绘制出的图像是什么样子的呢:


上面简单的几步就把这些数据绘制出直观的图像,当然,在真正使用的时候不会这么简单,还需要多扩充知识。

下载本文
显示全文
专题