正在阅读《第二节 单层感知器与线性分类》
第(1/4)页


单层感知器适用于解决线性可分问题,这是前文反复提到的分类问题的一种。简单地说,当平面上的两类数据可以用一条直线(称为决策边界)分开时,就称其为线性可分的,如图6-3所示。在这一节,将以一个简单的线性分类问题为例,介绍感知器的学习算法。

图6-3

这个实例所采用的数据集来自机器学习领域的经典数据集——鸢尾花数据集(Iris数据集)。在各种分类问题中,经常会采用这个数据集作为训练数据和测试数据。相应的数据可从教材的资源平台下载。

下载数据后打开,会发现该数据集包括3类共150条数据,其中每类各含50条数据。这3类数据描述了山鸢尾(irissetosa)、杂色鸢尾(irisversicolour)和弗吉尼亚鸢尾(irisvirginica)3种鸢尾花的4个特征属性,分别是花萼长度(SepalLength)、花萼宽度(SepalWidth)、花瓣长度(PetalLength)和花瓣宽度(PetalWidth)。数据形式如表6-1所示。

表6-1

接下来的目标是使用感知器,通过在这个数据集上进行训练,给出一个分类器。分类器根据一个未知类型的鸢尾花数据可以自动识别出它所属的鸢尾种类。

神经网络的学习过程,就是根据训练数据学习合适的连接权重,从而可以使用合适的连接权重来提取正确的类别特征。什么叫作合适的连接权重呢?当然是当一组连接权重可以通过特征属性输出正确的类别时,就是合适的。

为了更简单地说明神经网络的学习法则,接下来只考虑两类鸢尾——山鸢尾和杂色鸢尾,把问题变成一个二分类问题。用-1表示山鸢尾,用1表示杂色鸢尾。每一个输入信息(即每一条数据)包含4个特征属性值和1个类别值。两类数据一共有100条,可以写成

Χ={(x1,C1 ),(x2,C2 ),…,(x100,C100)}

其中表示这两个向量的内积。使用上一节定义的函数作为激活函数,则感知器的输出为

此时输出的结果与这条数据对应的真实类别值不一定相符,这是因为初始的连接权重并不合适,所以需要对它进行调整。接下来通过比较ci与y0来调整连接权重。共有如下四种情况。

①ci=1,y0=1,输出的类别正确,保持权重不变ω1=ω0;

②ci=-1,y0=-1,输出的类别正确,保持权重不变ω1=ω0;

其中ω1}表示调整后的权重,η是一个大于零的正数,叫作学习速率。上述工作流程可以不断地迭代下去(由ωk推出ωk+1),直到感知器输出的所有分类信息都是正确的,就可以停止更新权重,得到一个可用的分类器。当然在很多实际任务中,感知器即使经过很多次迭代,也未必能输出完全正确的分类信息,此时如果输出分类信息的正确率达到事先指定的水平,也可以停止继续迭代。

在上述工作流程中,可以通过随机数给出初始权重。实际上初始权重还有其他的指定方法,不同的初始权重对于算法的收敛性和收敛速度都会产生影响。更新权重的过程中出现的学习速率,也是一个重要的参数,它设定得过大可能会造成算法不收敛,设定得过小会减慢收敛速度。这种权重的更新方式可以通过严格的数学推理得出,它是神经网络中基本的学习方法,叫作梯度下降。它所依赖的数学知识是函数的导数,因为需要用到多元函数的导数,所以这里略去了它的严格推导过程。

影响神经网络算法收敛性和收敛速度的因素还有很多。参数设置不当或者算法不适用于所考虑的问题,都可能导致不收敛或者收敛速度过慢,读者可以在将来的实践操作中进行学习。但是需要说明的是,对于线性可分的问题,早在1958年,罗斯布拉特就已经严格证明了上述算法经过有限步的迭代一定会收敛到一个正确的分类器。

相关小说

宠妻狂魔:爹地,妈咪是我的 青春 / 完结
宠妻狂魔:爹地,妈咪是我的
一笔旧梦
惨遭妹妹陷害,她和陌生男人有了一夜情,五年后回归,却被腹黑又软萌的小娃娃被缠上。介绍一下,这是我爸,我觉得你们非常般配。总裁一脸冷酷将结婚证丢到了她面前,你已经是我的合法妻子了。什么情况?捡娃娃还带买一送一的?
27.59万字 4 年前
至尊魔妃,废柴大小姐 青春 / 完结
至尊魔妃,废柴大小姐
玖阑夜大人
她,是濮氏家族的濮四爷,打架找场子样样齐活。 她,潘家的废柴小姐,寄人篱下,受尽欺凌,样样占尽。 当她变成了她,功法仙器在手,宝贝丹药齐活。 敢算计她? 阴谋诡计,勾心斗角,全是她当年玩剩下的! 她定要让那些欺负她的人百倍偿还! 他,冷面仙君,修为超群,九重天门仙君之首,天帝都得给上几分薄面。 世人皆道他无心,偏偏他却认准了她,宠她入骨。 为渡她成仙,甘愿散去半生修为……
68.91万字 3 年前
顾先生,离婚吧! 青春 / 完结
顾先生,离婚吧!
冬菇家的猫
五年前,她被自己的丈夫陷害失身,家破人亡;为了报仇,她一人流落异国他乡,尝尽辛酸;四年后,她华丽回归,当名扬全城的美女设计师,碰上昔日里的前夫,又会擦出什么样的火花?
67.01万字 3 年前
嫡女重生,朕的皇后总想逃 都市 / 完结
嫡女重生,朕的皇后总想逃
涅凰
一朝眼瞎,一生凄苦,重活一世的沈姝誓要擦亮眼,防火防盗防渣男!渣男贱女,断她手脚筋,杀她长子,害她长女,毁她幼女!呵,这一桩桩,她都要同他们清算!渣男妄想攀附权贵?那就让他身败名裂!贱女阴毒?那就撕了她的美人皮!一心只有仇恨的她却无意间招惹到了一个了...
98.25万字 10 天前
农门冲喜小娘子 玄幻 / 完结
农门冲喜小娘子
笑猫嫣然
农门冲喜小娘子,相亲对像是初恋?呆了! 一口茶水没顺下去,嗝屁了。 再睁眼,床上躺着病歪歪的相公,她成冲喜娘子了? 屋子是借的,米缸是空的,地里长满荒草!!这到底是个什么情况?!! 床,只有一张?!被子,只有一条?! 白天伺候相公吃喝,晚上伺...
140.12万字 10 天前
星铁:重生成猫被符玄偷听心声 穿越 / 完结
星铁:重生成猫被符玄偷听心声
小太阳mt
++++琉光穿越到了的世界,但是本体却是一只流浪猫,并且还觉醒了一个好感度系统。该系统的作用是,让靠近琉光的人,都会对琉光产生好感。于是,第一个遇到琉光的符玄,一眼就喜欢上了这只圆滚滚、可爱的小猫,并将其带回了太卜司。但之后,符玄便发现,自己居然可以听见这小猫心里所想?!琉光:哎嘿嘿!符玄老婆今天又用她香香的、滑滑
158.16万字 7 天前