python sklearn 无监督学习之降维 算法与应用

PCA

  • PCA(Principal Component Analysis) 主成分分析, 用于高维数据集的探索与可视化,还可以用作数据压缩和预处理等。
  • PCA可把具有相关性的高维变量合成为线性无关的低维变量,成为主成分。主成分能够尽可能保留原始数据的信息。
  • Terms:
    • 方差,各个样本和样本均值的差的平方和的均值,用来度量一组数据的分散程度。$s^2 = \frac{\sum_{i=1}^n (x_i – x)^2}{n-1}$
    • 协方差,用于度量两个变量之间的线性相关性程度。$Cov(X,Y)=\frac{\sum_{i=1}^n (X_i-\overline{X})(Y_i – \overline{Y})}{n-1}$
    • 协方差矩阵,变量的协方差值构成的矩阵。
    • 特征向量,描述数据集结构的非零向量 $A\overrightarrow{v}=\lambda \overrightarrow{v}$

Continue reading “python sklearn 无监督学习之降维 算法与应用”

python-sklearn 机器学习导学&聚类入门实例

课程主页: https://www.icourse163.org/course/BIT-1001872001

课程导学

分类

  • 监督学习 Supervised Learning
    • 在给定人类标注的训练数据中学习函数
  • 无监督学习 Unsepervised Learning
    • 无人类标注的训练集
  • 增强学习/强化学习 Reinforcement Learning
    • 通过观察环境学习执行动作
  • 半监督学习 Semi-supervised Learning
  • 深度学习 Deep Learning

Continue reading “python-sklearn 机器学习导学&聚类入门实例”

Python 数据分析与展示笔记目录

python数据分析与展示 – 第三周/单元八/Pandas数据特征分析

和单元七一样,直接从课件中整理笔记。

数据排序

  • .sort_index()方法在指定轴上根据索引进行排序,默认升序
    • .sort_index(axis=0, ascending=True)
    • For DataFrame, first argument is some index or columns by which data is sorted.
    • NaN统一放在排序末尾

Continue reading “python数据分析与展示 – 第三周/单元八/Pandas数据特征分析”

python数据分析与展示 – 第二周/单元六/实例2:引力波的绘制

English Version: No translation yet

产生时间序列

从配置文档中读取时间相关数据

Continue reading “python数据分析与展示 – 第二周/单元六/实例2:引力波的绘制”

python数据分析与展示 – 第二周/单元五/Matplotlib基础绘图函数示例

English Version: No translation yet

pyplot基础图表函数概述

函数 说明
plt.plot(x,y,fmt,…) 绘制一个坐标图
plt.boxplot(data,notch,position) 绘制一个箱型图
plt.bar(left,height,width,bottom) 绘制一个条形图
plt.barh(width,bottom,left,height) 绘制一个横向条形图
plt.polar(theta,r) 绘制极坐标图
plt.pie(data,explode) 绘制饼图
plt.psd(x,NFFT=256,pad_to,Fs) 绘制功率谱密度图
plt.specgram(x, NFFT=256,pad_to,F) 绘制谱图
plt.cohere(x,y,NFFT=256,Fs) 绘制X-Y的相关性函数
plt.scatter(x,y) 绘制散点图,其中,x和y长度相同
plt.step(x,y,where) 绘制步阶图
plt.hist(x,bins,normed) 绘制直方图
plt.contour(X,Y,Z,N) 绘制等值图
plt.vlines() 绘制垂直图
plt.stem(x,y,linefmt,markerfmt) 绘制柴火图
plt.plot_date() 绘制数据日期

Continue reading “python数据分析与展示 – 第二周/单元五/Matplotlib基础绘图函数示例”

python数据分析与展示 – 第二周/单元四/Matplotlib库入门

English Version: No translation yet

介绍

  • 可视化数据
  • 效果: http://matplotlib.org/gallery.html
  • 使用
    • 由各种可视化类构成,内部结构复杂,受Matlab启发
    • matplotlib.pyplot是绘制各类可视化图形的命令子库,相当于快捷方式
      import matplotlib.pyplot as plt
  • 示例在Spyder中使用,编写代码后F5运行

Continue reading “python数据分析与展示 – 第二周/单元四/Matplotlib库入门”