算法的基础知识(算法基础知识概念)

数据挖掘干货总结（四）--聚类算法

本文共计2680字，预计阅读时长七分钟

聚类算法

?

一 、 本质

将数据划分到不同的类里，使相似的数据在同一类里，不相似的数据在不同类里

?

二 、 分类算法用来解决什么问题

文本聚类、图像聚类和商品聚类，便于发现规律，以解决数据稀疏问题

三 、 聚类算法基础知识

1. 层次聚类?vs?非层次聚类

– 不同类之间有无包含关系

2. 硬聚类?vs?软聚类

– 硬聚类：每个对象只属于一个类

– 软聚类：每个对象以某个概率属于每个类

3. 用向量表示对象

– 每个对象用一个向量表示，可以视为高维空间的一个点

– 所有对象形成数据空间（矩阵）

– 相似度计算：Cosine、点积、质心距离

4. 用矩阵列出对象之间的距离、相似度

5. 用字典保存上述矩阵（节省空间）

????D={(1,1):0,(1,2):2,(1,3):6...(5,5):0}

6. 评价方法

– 内部评价法（Internal Evalution）：

? 没有外部标准，非监督式

? 同类是否相似，跨类是否相异

DB值越小聚类效果越好，反之，越不好

– 外部评价法（External Evalution）：

??准确度（accuracy）: (C11+C22) / (C11 + C12 + C21 + C22)

??精度（Precision）: C11 / (C11 + C21 )

??召回（Recall）: C11 / (C11 + C12 )

??F值（F-measure）：

β表示对精度P的重视程度，越大越重视，默认设置为1，即变成了F值，F较高时则能说明聚类效果较好。

四 、 有哪些聚类算法

主要分为 层次化聚类算法 ， 划分式聚类算法 ， 基于密度的聚类算法 ， 基于网格的聚类算法 ， 基于模型的聚类算法等 。

4.1 层次化聚类算法

又称树聚类算法，透过一种层次架构方式，反复将数据进行分裂或聚合。典型的有BIRCH算法，CURE算法，CHAMELEON算法，Sequence data rough clustering算法,Between groups average算法,Furthest neighbor算法,Neares neighbor算法等。

凝聚型层次聚类 ：

先将每个对象作为一个簇，然后合并这些原子簇为越来越大的簇，直到所有对象都在一个簇中，或者某个终结条件被满足。

算法流程：

1. 将每个对象看作一类，计算两两之间的最小距离；

2. 将距离最小的两个类合并成一个新类；

3. 重新计算新类与所有类之间的距离；

4. 重复2、3，直到所有类最后合并成一类。

特点：

1. 算法简单

2. 层次用于概念聚类（生成概念、文档层次树）

3. 聚类对象的两种表示法都适用

4. 处理大小不同的簇

5. 簇选取步骤在树状图生成之后

4.2 划分式聚类算法

预先指定聚类数目或聚类中心，反复迭代逐步降低目标函数误差值直至收敛，得到最终结果。K-means,K-modes-Huang,K-means-CP,MDS_CLUSTER, Feature weighted fuzzy clustering，CLARANS等

经典K-means：

算法流程：

1. 随机地选择k个对象，每个对象初始地代表了一个簇的中心；

2. 对剩余的每个对象，根据其与各簇中心的距离，将它赋给最近的簇；

3. 重新计算每个簇的平均值，更新为新的簇中心；

4. 不断重复2、3，直到准则函数收敛。

特点：

1.K的选择

2.中心点的选择

– 随机

– 多轮随机：选择最小的WCSS

3.优点

– 算法简单、有效

– 时间复杂度：O(nkt)

4.缺点

– 不适于处理球面数据

– 密度、大小不同的聚类，受K的限制，难于发现自然的聚类

4.3 基于模型的聚类算法

为每簇假定了一个模型，寻找数据对给定模型的最佳拟合，同一”类“的数据属于同一种概率分布，即假设数据是根据潜在的概率分布生成的。主要有基于统计学模型的方法和基于神经网络模型的方法，尤其以基于概率模型的方法居多。一个基于模型的算法可能通过构建反应数据点空间分布的密度函数来定位聚类。基于模型的聚类试图优化给定的数据和某些数据模型之间的适应性。

SOM 神经网络算法 ：

该算法假设在输入对象中存在一些拓扑结构或顺序，可以实现从输入空间(n维)到输出平面(2维)的降维映射，其映射具有拓扑特征保持性质,与实际的大脑处理有很强的理论联系。

SOM网络包含输入层和输出层。输入层对应一个高维的输入向量，输出层由一系列组织在2维网格上的有序节点构成，输入节点与输出节点通过权重向量连接。学习过程中，找到与之距离最短的输出层单元，即获胜单元，对其更新。同时，将邻近区域的权值更新，使输出节点保持输入向量的拓扑特征。

算法流程：

1. 网络初始化，对输出层每个节点权重赋初值；

2. 将输入样本中随机选取输入向量，找到与输入向量距离最小的权重向量；

3. 定义获胜单元，在获胜单元的邻近区域调整权重使其向输入向量靠拢；

4. 提供新样本、进行训练；

5. 收缩邻域半径、减小学习率、重复，直到小于允许值，输出聚类结果。

4.4 基于密度聚类算法

只要邻近区域的密度（对象或数据点的数目）超过某个阈值，就继续聚类，擅于解决不规则形状的聚类问题，广泛应用于空间信息处理,SGC,GCHL，DBSCAN算法、OPTICS算法、DENCLUE算法。

DBSCAN：

对于集中区域效果较好，为了发现任意形状的簇，这类方法将簇看做是数据空间中被低密度区域分割开的稠密对象区域；一种基于高密度连通区域的基于密度的聚类方法，该算法将具有足够高密度的区域划分为簇，并在具有噪声的空间数据中发现任意形状的簇。

4.5 基于网格的聚类算法

????基于网格的方法把对象空间量化为有限数目的单元，形成一个网格结构。所有的聚类操作都在这个网格结构（即量化空间）上进行。这种方法的主要优点是它的处理?速度很快，其处理速度独立于数据对象的数目，只与量化空间中每一维的单元数目有关。但这种算法效率的提高是以聚类结果的精确性为代价的。经常与基于密度的算法结合使用。代表算法有STING算法、CLIQUE算法、WAVE-CLUSTER算法等。?

数据结构与算法基础知识

1.数据结构的逻辑结构

(1)集合结构

(2)线性结构(存在唯一的第一个元素与唯一的最后一个元素)(eg: 线性表、队列、栈、字符串、数组、链表)

(3)树形结构(一对多)

(4)图形结构(多对多)

2.数据结构的物理(存储)结构

(1).顺序存储结构(插入与删除低效因为要挪动其他元素的位置。但是遍历简单)

(2).链式存储结构(插入与删除高效，但是遍历低效)

3.大O表示法(注意大O表示法表达的是最坏的情况)

规则：

(1)用常数1取代其他所有的常数(注意常数0也当1算)(3 - 1, O(1))

(2) 只保留最高阶项(n^3+2n^2+5 -n^3, O(n^3))

(3) 若存在最高阶，省略与其想成的常数(2n^3 - n^3, O(n^3))

4. 时间复杂度类型

(1)常数阶

(2)线性阶

(3)平方阶

(4)对数阶

(5)立方阶

(6)nlog阶

(7)指数阶(O(2^n)或O(n!), 往往会造成噩梦般的时间消耗)

5. 空间复杂度(用大O表示法求解改算法的辅助空间即可，例如用于交换变量用的临时变量的数量)

六. 顺序存储的线性表

线性表结构特点：

(1) 存在唯一一个的被称作”第一个”的数据元素；

(2) 存在唯一一个的被称作”第二个”的数据元素；

(3) 除了第一个元素以外，结构中的每个数据元素均有一个前驱；

(4) 除了最后一个元素以外，结构中的每个数据元素均有一个后继。

七. 链式存储的线性表(单链表)

首元结点是链表中第一个值域不为空的结点。

头结点是一个值域为空且处于首位的结点。

首指针可指向首元结点也可指向头结点，但是如果指向头结点可以更加方便的处理单链表的插入和删除问题，不用再对首位做额外判断，并且指向头节点的指针永远不用变化。

*注意一下单链表的前插法和尾插法。尾插法更符合逻辑

计算机二级公共基础知识是什么啊

一、基本数据结构与算法：

1、算法的基本概念;算法复杂度的概念和意义(时间复杂度与空间复杂度)。

2、数据结构的定义;数据的逻辑结构与存储结构;数据结构的图形表示;线性结构与非线性结构的概念。

3、线性表的定义;线性表的顺序存储结构及其插入与删除运算。

4、栈和队列的定义;栈和队列的顺序存储结构及其基本运算。

5、线性单链表、双向链表与循环链表的结构及其基本运算。

6、树的基本概念;二叉树的定义及其存储结构;二叉树的前序、中序和后序遍历。

7、顺序查找与二分法查找算法;基本排序算法(交换类排序，选择类排序，插入类排序)。

二、程序设计基础：

1、程序设计方法与风格。

2、结构化程序设计。

3、面向对象的程序设计方法，对象，方法，属性及继承与多态性。

三、软件工程基础：

1、软件工程基本概念，软件生命周期概念，软件工具与软件开发环境。

2、结构化分析方法，数据流图，数据字典，软件需求规格说明书。

3、结构化设计方法，总体设计与详细设计。

4、软件测试的方法，白盒测试与黑盒测试，测试用例设计，软件测试的实施，单元测试、集成测试和系统测试。

5、程序的调试，静态调试与报考调试。

四、数据库设计基础：

1、数据库的基本概念：数据库，数据库管理系统，数据库系统。

2、数据模型，实体联系模型及E-R图，从E-R图导出关系数据模型。

3、关系代数运算，包括集合运算及选择、投影、连接运算，数据库规范化理论。

4、数据库设计方法和步骤：需求分析、概念设计、逻辑设计和物理设计的相关策略。

扩展资料：

计算机二级计分体制：

考试实行百分制计分，但以等级分数通知考生成绩。等级分数分为“不及格”、“及格”、“优秀”三等，划线分数为60和90。考试成绩在“及格”，即60~89分者，由教育部考试中心发合格证书，考试成绩在“优秀”，即90~100分者，由教育部考试中心发优秀证书。

自2018年3月起，NCRE考试以等第形式通知考生成绩。成绩等第分为“优秀”、“良好”、“及格”、“不及格”四等。100-90分为“优秀”，89-80分为“良好”，79-60分为“及格”，59-0分为“不及格”。考试成绩优秀者，在证书上注明“优秀”字样；考试成绩良好者，在证书上注明“良好”字样；考试成绩及格者，在证书上注明“合格”字样。

参考资料来源：百度百科-计算机二级

参考资料来源：NCRE-中国教育考试网

算法基础知识（全连接层、LSTM、激励函数）

1、全连接层作用：

全连接的一个作用是维度变换，尤其是可以把高维变到低维，同时把有用的信息保留下来。

全连接另一个作用是隐含语义的表达(embedding)，把原始特征映射到各个隐语义节点(hidden node)。对于最后一层全连接而言，就是分类的显示表达

2、简述LSTM如何解决梯度消失

LSTM有能力向单元状态中移除或添加信息，通过门结构来管理，包括“遗忘门”，“输出门”，“输入门”。通过门让信息选择性通过，来去除或增加信息到细胞状态. 模块中sigmoid层输出0到1之间的数字，描述了每个成分应该通过门限的程度。0表示“不让任何成分通过”，而1表示“让所有成分通过！

一个对RNN和LSTM分析比较好的连接 （注意理解体会一下他说的公式）

3、激励函数：

作者这篇激励函数写的也很好 （我们实际中一般遇见都是非线性问题，所以对特征做了加权线性操作需要通过非线性的激励函数做非线性的变换）

激励函数选择

4、BP的反向推导（ 详细参考 ）（ 参考2 ）

AI基础知识 | AI常用算法有哪些?分别有哪些适用场景？

在深入理解算法之前，我们先来区分在各个场合经常被提起但却容易混淆的两个概念——模型和算法。

算法是指一系列解决问题的清晰指令，它代表着用系统的方法解决问题的策略机制。模型是一种相对抽象的概念，在机器学习领域特指通过各种算法对数据训练后得到的中间件，当有新的数据后会有相应的结果输出，这个中间件就是模型。 模型会因算法和训练数据的不同而产生变化。

1、算法的分类

按照不同角度有多种分类方式，如下图所示：

下面就列举一些常见的算法类型及其包含的算法

想知道计算机二级考试内容里面的计算机基础知识是那些内容，主要是哪几大板块？可以帮帮我吗？

按照“全国计算机等级考试二级公共基础

知识考试大纲（2018 年版）“的要求，计算机二级考试内容里面的计算机基础知识是如下内容：

一、 基本数据结构与算法?

1． 算法的基本概念；算法复杂度的概念和意义（时间复杂度与空间复杂度）。

2． 数据结构的定义；数据的逻辑结构与存储结构；数据结构的图形表示；线性结构与非线性结构的概念。

3． 线性表的定义；线性表的顺序存储结构及其插入与删除运算。

4． 栈和队列的定义；栈和队列的顺序存储结构及其基本运算。

5． 线性单链表、双向链表与循环链表的结构及其基本运算。

6． 树的基本概念；二叉树的定义及其存储结构；二叉树的前序、中序和后序遍历。

7． 顺序查找与二分法查找算法；基本排序算法（交换类排序，选择类排序，插入类排序）。

二、 程序设计基础

1． 程序设计方法与风格。

2． 结构化程序设计。

3． 面向对象的程序设计方法，对象，方法，属性及继承与多态性。

1

三、 软件工程基础

1． 软件工程基本概念，软件生命周期概念，软件工具与软件开发环境。

2． 结构化分析方法，数据流图，数据字典，软件需求规格说明书。

3． 结构化设计方法，总体设计与详细设计。

4． 软件测试的方法，白盒测试与黑盒测试，测试用例设计，软件测试的实施，单元测试、集成测试和系统

测试。

5． 程序的调试，静态调试与动态调试。

四、 数据库设计基础

1． 数据库的基本概念：数据库，数据库管理系统，数据库系统。

2． 数据模型，实体联系模型及 E－R 图，从 E－R 图导出关系数据模型。

3． 关系代数运算，包括集合运算及选择、投影、连接运算，数据库规范化理论。

4． 数据库设计方法和步骤：需求分析、概念设计、逻辑设计和物理设计的相关策略。

考试方式

1． 公共基础知识不单独考试，与其他二级科目组合在一起，作为二级科目考核内容的一部分。

2． 上机考试，10 道单项选择题，占 10 分。