现实世界中的数据一般有噪声、数据庞大（通常数兆兆字节或更多）并且可能来自异种数据源。

1. 数据对象与属性类型

数据集由数据对象组成，一个数据对象代表一个实体。通常，数据对象用属性描述。数据对象又称样本、实例、数据点或对象。如果数据对象存放在数据库中，则他们是数据元组。也就是说，数据库的行对应于数据对象，而列对应用属性。

属性是一个数据字段，表示数据对象的一个特征。一个属性的类型由该属性可能具有的值的集合决定。属性可以是标称的、二元的、序数的或数值的。

• 标称属性

标称属性的值是一些符号或事务的名称。每个值代表某种类别、编码或状态，因此标称属性又被看做是分类的。这些值不必具有有意义的序。在计算机科学中，这些值也被看做枚举。

• 二元属性

二元属性是一种标称属性，只有两个类别或状态：0或1，其中0通常表示该属性不出现，而1表示出现。二元属性又称为布尔属性。

• 序数属性

序数属性是一种属性，其可能的值之间具有有意义的序或秩评定，但是相继值之间的差是未知的。

对于记录不能客观度量的主观质量评估，序数属性是有用的。序数属性的中心趋势可以用它的众数和中位数表示，但是不能定义均值。

标称、二元和序数属性都是定性的。即，它们描述对象的特征，而不给出实际大小或数量。这种定性属性的值通常是代表类别的词。

• 数值属性

数值属性是定量的，即它是可度量的量，用整数或实数值表述。数值属性可以是区间标度的，或比率标度的。

区间标度属性：用相等的单位尺度度量。没有真正的零，不能用比率谈论这些值，但是允许比价和定量评估值之间的差。除了中心趋势度量中位数和众数之外，还可以计算他们的均值。例如温度和年份

比率标度属性：具有固有零点的数值属性。一个值可以是另一个值的倍数。例如重量。

机器学习领域开发的分类算法通常把属性分为离散的或者连续的。

离散属性具有有限或无限可数个值，可以用或不用整数表示。

如果属性表示离散的，则它是连续的。在文献中，术语数值属性与连续属性通常可以互换地使用。

2. 数据的基本统计描述

对于成功的数据预处理而言，把握数据的全貌是至关重要的。基本统计描述可以用来识别数据的性质，凸显哪些数据值应该视为噪声或离群点。

数据概况的基本统计度量包括度量数据中心趋势的均值、加权平均、中位数和众数，以及度量数据散步的极差、分位数、四分位数、四分位数极差、方差和标准差。图形表示有助于数据的可视化考察，因而对数据预处理和挖掘是有用的。

2.1 中心趋势度量：均值、中位数和众数

2.1.1 均值

数据集“中心”的最常用、最有效的数值度量是均值。令x1,x2,x3,x4.....xN为某个数值属性X（如salary）的N各观测值或观测。该值集合的均值为：

2.1.2 加权算术均值或加权平均

有时，对于i=1，.....N，每个值xi可以与一个权重wi相关联。权重反映它们所依附的对应值的意义、重要性或出现的频率。在这种情况下，我们可以计算：

2.1.3 截尾均值

丢弃高低极端值后的均值。

2.1.4 中位数

中位数是有序数据值的中间值。它是把数据较高的一半与较低的一半分开的值。

2.1.5 众数

众数是另一种中心趋势变量。数据集的众数是集合中出现最频繁的值。因此，可以对定性和定量属性确定众数。可能最高频率对应多个不同值，导致多个众数。具有一个、两个、三个众数的数据集合分别称为单峰的、双峰的和三峰的。一般地，具有两个或更多众数的数据集是多峰的。

2.1.6 中列数

可以用来评估数值数据的中心趋势。中列数是数据集的最大和最小值的平均值。中列数容易使用SQL的聚集函数max()和min()计算。

2.2 度量数据散步：极差、四分位数、方差、标准差和四分位数极差

2.2.1 极差

设x1,x2,,,,,xN是某数值属性X上的观测的集合。该集合的极差是最大值max()与最小值min()之差。

2.2.2 分位数

假设属性X的数据以数值递增序排列。想象我们可以挑选某些数据点，以便把数据分布划分成大小相等的连贯集，这些数据点称做分位数。分位数是取自数据分布的每隔一定间隔上的点，把数据划分成基本上大小相等的连贯集合。分位数包括2-分位数、4-分位数和100-分位数，是使用最广的分位数。

2.2.3 四分位数极差

第一个和第三个四分位数之间的距离是散步的一种简单度量，它给出被数据的中间一半所覆盖的范围。该距离称为四分位数极差IQR，定义为：

2.2.4 五数概括

对于倾斜分布，识别可疑的离群点的通常规则是，挑选落在第3个四分位数之上或第一个四分位之下至少1.5 *IQR处的值。因为Q1、中位数和Q3不包含数据的端点（例如尾）信息，分布形状的更完整的概括可以通过同时提供最高和最低数据值得到，这称做五数概括。分布的五数概括由中位数Q2、四分位数Q1和Q3、最小和最大观测值组成，按次数minimum、Q1、Median、Q3、Maximum写出。

2.2.5 盒图和离群点

是一种流行的分布的直观表示。盒图体现了五数概括，盒的端点一般在四分位数上，使得盒的长度是四分位数极差IQR。中位数用盒内的线标记。盒外的两条线（称做胡须）延伸到最小（Minimum）和最大（Maximum）观测值。

“须”并不是简单地连接到最小和最大值。它连接到在合理范围内的最极端数据点。这个范围通常由以下公式决定：

• 下限 = Q1 - 1.5 × IQR

• 上限 = Q3 + 1.5 × IQR

其中，IQR 是四分位距。

• 任何低于下限的数据点，被视为温和异常值。

• 任何高于上限的数据点，也被视为温和异常值。

• 有时还会用 Q1 - 3 × IQR 和 Q3 + 3 × IQR 来定义极端异常值。

须线会延伸到落在 [下限, 上限] 区间内的最远数据点，而落在这个区间外的点则被标记为异常值。

当处理数量适中的观测值时，值得个别绘出可能的离群点。在盒图中这样做：仅当最高和最低观测值超过四分位数不到1.5*IQR时，胡须扩展到它们。否则，胡须在出现在四分位数的1.5*IQR之内的最极端的观测值终止，剩下的情况个别地绘出。盒图可以用来比较若干个可比较的数据集。

假设我们有一组数据，代表某班级一次考试的分数：
[55, 63, 70, 72, 75, 76, 78, 80, 82, 85, 90, 95, 99]

步骤1：排序并找出五数
数据已排序。

• 最小值 = 55

• Q1 位置： (13+1)*0.25 = 3.5， 取第三位(70)和第四位(72)的平均值： (70+72)/2 = 71

• 中位数 Q2 位置： (13+1)*0.5 = 7， 第七位数是 78

• Q3 位置： (13+1)*0.75 = 10.5， 取第十位(85)和第十一位(90)的平均值： (85+90)/2 = 87.5

• 最大值 = 99

步骤2：计算 IQR 和异常值边界

• IQR = Q3 - Q1 = 87.5 - 71 = 16.5

• 下限 = 71 - 1.5*16.5 = 71 - 24.75 = 46.25

• 上限 = 87.5 + 1.5*16.5 = 87.5 + 24.75 = 112.25

步骤3：确定须的末端和异常值

• 检查最小值55：55 > 46.25，在范围内。所以下须末端是55。

• 检查最大值99：99 < 112.25，在范围内。所以上须末端是99。

• 本例中没有异常值。

步骤4：绘制盒图

2.2.6 方差和标准差

方差和标准差都是数据散布度量，它们指出数据分布的散布程度。低标准意味数据观测趋向于非常靠近均值，而高标准差表示数据散布在一个大的值域中。

数值属性X的N个观测值x1,x2,x3,....xN的方差是：

2.3 数据的基本统计描述的图形显示

本节我们研究基本统计描述的图形显示，包括分位数图、分位数-分位数图、直方图和散点图。这些图形有助于可视化地审视数据，对于数据预处理是有用的。前三种图显示一元分布（即，一个属性的数据），而散点图显示二元分布（即，涉及两个属性）。

2.3.1 分位数图

是一种观察单变量数据分布的简答有效方法。首先，它显示给定属性的所有数据（允许用户评估总的情况和不寻常的出现），其次，它绘出了分位数信息（2.2节）。对于某序数或者数值属性X，设xi(i=1,....N)是按递增排序的数据，使得x1是最小的观测值，而xn是最大的。每个观测值xi与一个百分数fi配对，指出大约fi*100%的数据小于值xi。我们说“大约”，因为可能没有一个精确的小数值fi，使得数据的fi*100%小于值xi。百分比0.25对应于四分位数Q1，百分比0.50对应于中位数，而百分比0.75对应于Q3。

2.3.2 分位数-分位数图

分位数-分位数图，或q-q图对着另一个对应的分位数，绘制一个单变量分布的分位数。它是一种强有力的可视化工具，使得用户可以观察从一个分布到另一个分布是否有漂移。

数据准备

假设我们有两个数据集，想比较它们的分布是否相似：

• 数据集A：[15, 18, 20, 22, 25, 28, 30, 35, 40, 50] （10个值）

• 数据集B：[12, 15, 17, 21, 24, 26, 29, 33, 38, 45, 55, 60] （12个值）

绘制步骤

步骤1：分别对两个数据集排序

• 数据集A（已排序）：[15, 18, 20, 22, 25, 28, 30, 35, 40, 50]

• 数据集B（已排序）：[12, 15, 17, 21, 24, 26, 29, 33, 38, 45, 55, 60]

步骤2：确定对应分位点
由于两个数据集的样本量不同（n_A=10, n_B=12），我们不能简单地将第i个值配对。需要找到相同的分位位置（百分位数）上的值。

常用方法是选择一组共同的概率点，例如：
p = [0.05, 0.15, 0.25, 0.35, 0.45, 0.55, 0.65, 0.75, 0.85, 0.95]

或者更简单：使用较少数据集的排序值作为基准（这里用数据集A，因为它更少）。

步骤3：插值计算对应分位数（关键步骤）
对于数据集A的每个值（本身就是分位数），我们需要找到数据集B在相同累积概率处的对应值。因为B的数据点更多，通常需要线性插值。

例如：

• 数据集A的最小值15对应p≈0.05。在数据集B中，p=0.05对应的值：B的第0.05*(12+1)=0.65个位置，接近第一个值12。

• 数据集A的最大值50对应p≈0.95。在数据集B中，p=0.95对应的值：B的第0.95*13=12.35个位置，在60附近。

简化实操方法（更直观）：
在实际分析中，我们可以：

1. 计算每个数据点在各自数据集中的分位位置（使用公式 p=(i-0.5)/n）

2. 找到最接近的分位位置进行匹配，或进行插值

数据集A (n=10)	A的分位位置	数据集B的对应值（插值估算）	实际绘制点 (B值, A值)
15	0.05	≈13	(13, 15)
18	0.15	≈16	(16, 18)
20	0.25	≈19	(19, 20)
22	0.35	≈22.5	(22.5, 22)
25	0.45	≈25.2	(25.2, 25)
28	0.55	≈27.5	(27.5, 28)
30	0.65	≈31	(31, 30)
35	0.75	≈35.5	(35.5, 35)
40	0.85	≈41.5	(41.5, 40)
50	0.95	≈57.5	(57.5, 50)

步骤4：绘制散点图

• 横轴：数据集B的分位数（或插值得到的对应值）

• 纵轴：数据集A的分位数

添加参考线 y = x（对角线）。

2.3.3 直方图

直方图或频率直方图，直方图是一种概括给定属性X的分布的图形方法。如果X是标称的，如汽车型号或商品类型，则对于X的每个已知值，画一个柱或竖直条。条的高度标识该X值出现的频率（即计数）。结果图更多的称做条形图

2.3.4 散点图与数据相关

散点图是确定两个数值变量之间看上去是否存在联系、模式或趋势的最有效的图形方法之一。为了构造散点图，每个值对视为一个代数坐标对，并作为一个点画在平面上。

3. 数据可视化

数据可视化技术可以是基于像素的、基于几何学的、基于图标的活层次的。这些方法用于多维关系数据。已经提出了可用于复杂数据（如文本和社会网络）可视化的技术。

•  基于像素的可视化技术

一种可视化一维值的简单方法是使用像素，其中像素的颜色反映该维的值。对于一个m维数据集，基于像素的技术( pixel- oriented technique) 在屏幕上创建m个窗口，每维一个。记录的m个维值映射到这些窗口中对应位置上的m个像素。像索的颜色反映对应的值。
 

• 几何投影可视化技术

几何投影技术帮助用户发现多维数据集的有趣投影。几何投影技术的首要挑战是设法解决如何在二维显示上可视化高维空间。

• 基于图符的可视化技术
• 层次可视化技术
• 可视化复杂对象和关系

4. 度量数据的相似性和相异性

在诸如聚类、离群点分析和最近邻分类等数据挖掘应用中，我们需要评估对象之间相互比较的相似或不相似程度。例如，商店希望搜索顾客对象簇，得出具有类似特征（类似收入、居住区域和年龄等）的顾客组。这些信息可以用于销售。簇是数据对象的集合，使得同一个簇中的对象互相相似，而与其他簇中的对象相异。

离群点分析也使用基于聚类的技术，把可能的离群点看做与其他对象高度相异的对象。对象的相似性可以用于最近邻分类，对给定的对象（例如，患者）基于它与模型中其他对象的相似性赋予一个类标号（比如说，诊断结论）。

相似性和相异性都称作邻近性。相似性和相异性是有关联的。

4.1 数据矩阵与相异性矩阵（数值型）

假设我们有n个对象，每个对象有p个属性，这些对象是X1=(X11,X12,X13,X14....X1P)，X2=(X21,X22,X23,X24....X2P)等等，其中Xij是对象Xi的第j个属性的值。这些对象可以是关系数据库的元祖，也成数据样本或特征向量。

通常，主要的基于内存的聚类和最近邻算法都在如下两种数据结构上运行：

数据矩阵由两种实体或“事务”组成，即行（代表对象）和列（代表属性）。因而，数据矩阵经常被称为二模矩阵。相异性矩阵只包含一类实体，因此被称为单模（one -mode）矩阵。许多聚类和最近邻算法都在相异性矩阵上运行。在使用这些算法之前，可以把数据矩阵转化为相异性矩阵。

4.2 标称属性的邻近性度量(枚举)

标称属性可以取两个或多个状态。例如，map_color是一个标称属性，它可以有N种状态，这些状态可以用字母、符号或者一组整数（如1,2。。。M）表示。注意这些整数只用于数据处理，并不代表任何特定的顺序。

如何计算标称属性所刻画的对象之间的相异性？两个对象i和j之间的相异性可以根据不匹配率来计算：

4.3 二元属性的邻近性度量（bool）

二元属性只有两种状态：0或者1，其中0表示该属性不出现，1表示它出现。像对待数值一样来处理二元属性会误导。因此，要采用特定的方法来计算二元数据的相异性。

4.4 数值属性的相异性：闵可夫斯基距离

介绍广泛用于计算数值属性刻画的对象的相异性的距离度量。这些度量包括欧几里得距离、曼哈顿距离和闵可夫斯基距离。

在某些情况下，在计算距离之前数据应该规范化。这涉及变换数据，使之落入较小的公共值域。

最流行的距离度量是欧几里得距离（即，直线或“乌鸦飞行”距离）。令i=（xi1,xi2,.....xip）和j=(xj1,xj2,.....,xjp)是两个被p个数值属性描述的对象。对象i和j之间的欧几里得距离定义为：

另一个著名的度量方法是曼哈顿（或城市块）距离，之所以如此命名，是因为它是城市两点之间的街区距离，其定义如下：

欧几里得距离和曼哈顿距离都满足如下数学性质：

闵可夫斯基距离（Minkowski distance）是欧几里得距离和曼哈顿距离的推广，定义如下：

其中，h是实数，h>=1。

4.5 序数属性的邻近性度量（有序的枚举）

序数属性的值之间，具有有意义的序或排位，在相继值之间的量值未知。例子包括size属性的值序列small，medium，large。序数属性也可以通过把数值属性的值域划分成有限个类别，对数值属性离散化得到。这些类别组织成排位。即，数值属性的值域可以映射到具有Mf个状态的序数属性f。例如，区间标度的属性temperature可以组织成如下状态：-30~-10，-10~10,10~30，分别代表cold temperature，moderate temperature和warm tamperature。令序数属性可能的状态数为M。这些有序的状态定义了一个排位1，。。。Mf。

4.6 混合类型属性的相异性

在许多实际的数据库中，对象是被混合类型的属性描述的。一般来说，一个数据库可能包含上面列举的所有属性类型。

对混合属性类型的对象之间计算相异性，一种方法是将每种类型的属性分成一组，对每种类型分别进行数据挖掘分析（例如，聚类分析）。如果这些分析得到兼容的结果，则这种方法是可行的。然后，在实际的应用中，每种属性类型分别分析不大可能产生兼容的结果。

一种更可取的方法是将所有属性类型一起处理，只做一次分析。一种这样的技术将不同的属性组合在单个相异性矩阵中，把所有有意义的属性转换到共同的区间[0.0,1.0]上。

4.7 余弦相似性

文档用数以千计的属性表示，每个记录文档中的一个特定词（如关键词）或短语的频度。这样，每个文档都被一个所谓的词频向量表示。

余弦相似性是一种度量，它可以用来比较文档，或针对给定的查询词向量对文档排序。令x和y是两个待比较的向量，使用余弦度量作为相似性函数，我们有