正在阅读《第二节 单层感知器与线性分类》
第(1/4)页


单层感知器适用于解决线性可分问题,这是前文反复提到的分类问题的一种。简单地说,当平面上的两类数据可以用一条直线(称为决策边界)分开时,就称其为线性可分的,如图6-3所示。在这一节,将以一个简单的线性分类问题为例,介绍感知器的学习算法。

图6-3

这个实例所采用的数据集来自机器学习领域的经典数据集——鸢尾花数据集(Iris数据集)。在各种分类问题中,经常会采用这个数据集作为训练数据和测试数据。相应的数据可从教材的资源平台下载。

下载数据后打开,会发现该数据集包括3类共150条数据,其中每类各含50条数据。这3类数据描述了山鸢尾(irissetosa)、杂色鸢尾(irisversicolour)和弗吉尼亚鸢尾(irisvirginica)3种鸢尾花的4个特征属性,分别是花萼长度(SepalLength)、花萼宽度(SepalWidth)、花瓣长度(PetalLength)和花瓣宽度(PetalWidth)。数据形式如表6-1所示。

表6-1

接下来的目标是使用感知器,通过在这个数据集上进行训练,给出一个分类器。分类器根据一个未知类型的鸢尾花数据可以自动识别出它所属的鸢尾种类。

神经网络的学习过程,就是根据训练数据学习合适的连接权重,从而可以使用合适的连接权重来提取正确的类别特征。什么叫作合适的连接权重呢?当然是当一组连接权重可以通过特征属性输出正确的类别时,就是合适的。

为了更简单地说明神经网络的学习法则,接下来只考虑两类鸢尾——山鸢尾和杂色鸢尾,把问题变成一个二分类问题。用-1表示山鸢尾,用1表示杂色鸢尾。每一个输入信息(即每一条数据)包含4个特征属性值和1个类别值。两类数据一共有100条,可以写成

Χ={(x1,C1 ),(x2,C2 ),…,(x100,C100)}

其中表示这两个向量的内积。使用上一节定义的函数作为激活函数,则感知器的输出为

此时输出的结果与这条数据对应的真实类别值不一定相符,这是因为初始的连接权重并不合适,所以需要对它进行调整。接下来通过比较ci与y0来调整连接权重。共有如下四种情况。

①ci=1,y0=1,输出的类别正确,保持权重不变ω1=ω0;

②ci=-1,y0=-1,输出的类别正确,保持权重不变ω1=ω0;

其中ω1}表示调整后的权重,η是一个大于零的正数,叫作学习速率。上述工作流程可以不断地迭代下去(由ωk推出ωk+1),直到感知器输出的所有分类信息都是正确的,就可以停止更新权重,得到一个可用的分类器。当然在很多实际任务中,感知器即使经过很多次迭代,也未必能输出完全正确的分类信息,此时如果输出分类信息的正确率达到事先指定的水平,也可以停止继续迭代。

在上述工作流程中,可以通过随机数给出初始权重。实际上初始权重还有其他的指定方法,不同的初始权重对于算法的收敛性和收敛速度都会产生影响。更新权重的过程中出现的学习速率,也是一个重要的参数,它设定得过大可能会造成算法不收敛,设定得过小会减慢收敛速度。这种权重的更新方式可以通过严格的数学推理得出,它是神经网络中基本的学习方法,叫作梯度下降。它所依赖的数学知识是函数的导数,因为需要用到多元函数的导数,所以这里略去了它的严格推导过程。

影响神经网络算法收敛性和收敛速度的因素还有很多。参数设置不当或者算法不适用于所考虑的问题,都可能导致不收敛或者收敛速度过慢,读者可以在将来的实践操作中进行学习。但是需要说明的是,对于线性可分的问题,早在1958年,罗斯布拉特就已经严格证明了上述算法经过有限步的迭代一定会收敛到一个正确的分类器。

相关小说

腹黑召唤师:强上妖孽邪帝 都市 / 完结
腹黑召唤师:强上妖孽邪帝
梅小非
【正文已完结】她,纳兰贞月!现代武道馆的天才少女,一朝穿越却成为异世家族的废物小姐! 不能修炼?姐偏偏还就逆天而行!无法成为召唤师?姐召唤个上古神兽出来亮瞎你的眼? 翻手为云覆手为雨,此乃强大腹黑彪悍女汉纸一枚. "喂,那谁,你要灭姐满门?没关系,等姐先打的你连爹妈都不认识再说!" 你强,姐比你更强!你彪悍,姐比你更彪悍,这是一部腹黑养成史.
142.74万字 3 小时前
凡人修仙记 武侠 / 完结
凡人修仙记
梧桐悠悠
+++++万年大战,天地交崩,三族并立,神器沉沦。一个没有灵根的山野少年,从尘世走来,为报大仇,历经磨难。以一剑而成万剑,因道心而入魔劫!挥掌中剑,杀不尽恩怨,斩不断情仇。是痴是癫,无惧世人冷眼;成仙入魔,只在一念之间!
480.66万字 2 小时前
孤的爱妃今天来提亲了么 都市 / 完结
孤的爱妃今天来提亲了么
覆手天下
“隔壁那女人什么时候来提亲?孤等得头发都白了!” 暗卫:“您昨儿说,灵姑娘提一百次都没用,兴许人家就……” “笨!那是她总帮别人提亲,给她自己提,一次就成功了!”某太子急得挠头抓腮。 暗卫:“……” “要你们何用!都不知道点拨点拨那女人!还得孤亲自出马!”话落,某太子似一阵旋风,不见了人影。 ---------- 灵旋穿进了自己的梦里,想要梦想成真,需要隔壁家办场喜事冲冲。 于是乎,她绞尽脑汁帮隔壁五朵金花牵红线。 奈何,隔壁那家是奇葩,做主的竟是个小屁孩。 哄呗!她卯足了劲儿拿下小屁孩儿,以为可以胜利在望…… 不料,小屁孩摇身一变,是个谪仙美男?还追着要她负责? 她这是……用力过猛,把自己赔进去了? --------- 夜赫堂堂太子,一着不慎,被困幻境,成了个六岁大的小屁孩。 只等预言中自己的真命天女提个亲来解救。 那女人磨磨蹭蹭不上道怎么办?可急死他了! ...
10.1万字 3 小时前
陆夫人你的马甲掉了 都市 / 完结
陆夫人你的马甲掉了
酥酥苏
不好了!帝都顶级豪门接班人陆霆峰跟一个小白脸不清不楚!。咦,这个小白脸,好像是个女的?。童言轻咳两声,“都是荒唐的一夜,不值一提。”一时间,话筒堆集,还没说几句的某人,就被陆庭峰抗走了。
105.37万字 3 小时前
谋世医妃 都市 / 完结
谋世医妃
楚吨吨
萧令言前世是个能人,素手银针可救人,提枪上马能退敌,最终被信任之人万箭穿心。阎王殿走一遭,火海重生,萧令言仍然是个能人,能就能在杀人无忌。重病缠身、不下床榻、不上早朝的晔王爷,救了从火海里逃出来的三小姐萧令言,只是这三小姐与传闻中的不大一样。晔王爷来...
73.16万字 3 小时前
小熊猫超市开业啦 青春 / 完结
小熊猫超市开业啦
多多鹿
小熊猫夏夏一觉醒来,发现世界末日了,丧尸追在他毛屁股后面嗷呜嗷呜地跑!但夏夏绑定了经营系统,只要认真经营,就可以在物资匮乏的末世咸鱼下去!于是在这个濒临崩溃的世界一角,一家由疑似兽化小熊猫的少年的超市悄悄开业末世土地污染严重?没关系!土壤改良剂售价88...
38.65万字 3 小时前