欢迎访问欧博亚洲(Allbet Game)!

首页科技正文

通俗易懂 | 拉格朗日乘子法

admin2020-09-1932

在SVM中,将约束问题转化成非约束问题接纳到了拉格朗日乘子法。这个文章就讲一下拉格朗日乘子法与KKT约束是怎么回事。本人不是数学科班出身,然则也只能硬着头皮讲一讲了。

从零明白

现在我们要解决这样一个问题:
\(x^2y=3\)
这个函数距离原点最近的距离是多少。

先画出函数图像:

然后想求出最短距离:

这里的思绪就是,做一个以原点为中央的圆形:

不断扩大圆形的半径,直到圆与蓝色的曲线相切:
通俗易懂 | 拉格朗日乘子法 第1张

现在。第一次与\(x^2y=3\)相交的点就是距离原点最近的谁人点:
通俗易懂 | 拉格朗日乘子法 第2张

这个,圆形与曲线相切,且切线既是圆形的切线,也是曲线的相切。
通俗易懂 | 拉格朗日乘子法 第3张

这时刻,这个切线的垂线实在也就是我们所说的梯度,也叫做等高线的法线,看下面两个图可能会好明白一些:
通俗易懂 | 拉格朗日乘子法 第4张
通俗易懂 | 拉格朗日乘子法 第5张

那么这个梯度怎么盘算呢?先看圆形\(f(x,y)=x^2+y^2\)的梯度:
通俗易懂 | 拉格朗日乘子法 第6张

再看曲线的梯度盘算\(g(x,y)=x^2y\)的梯度:
通俗易懂 | 拉格朗日乘子法 第7张

在相切的时刻,两者的梯度偏向都在统一条直线上,可以称之为,成比例,这里用比例系数\(\lambda\)来示意:
通俗易懂 | 拉格朗日乘子法 第8张

以是我们汇总一下所有的已知信息,获得下面的方程组:
通俗易懂 | 拉格朗日乘子法 第9张

可以求解获得:
通俗易懂 | 拉格朗日乘子法 第10张

这个就是拉格朗日乘子法的直观明白。

抽象成数学的形式

我们要解决的问题:
\(\min {x^2+y^2}\)
\(s.t. x^2y=3\)

我们会将约束问题通过拉格朗日乘子法转换成非约束问题:
\(\min F(x,y)={x^2+y^2+\lambda(x^2y-3)}\)

【为什么可以这样呢?】
若是求极值,偏导数为0。先对上面的公式举行求偏导数:
\(\frac{\partial F(x,y)}{\partial x}=2x+\lambda 2xy=0\)
\(\frac{\partial F(x,y)}{\partial y}=2y+\lambda x^2=0\)

这两个等式与这个等价,唯一的差别就是\(\lambda\)一个是正数一个是负数:
通俗易懂 | 拉格朗日乘子法 第11张

固然,对于\(x^2y-3=0\)这个条件,我们也可以写成\(\frac{\partial F(x,y,\lambda)}{\partial \lambda}\),以是,可以获得这样的一个方程组:
通俗易懂 | 拉格朗日乘子法 第12张

KKT条件

  • KKT的英文全称:Karush-Kuhn-Tucker

之前的拉格朗日的约束条件是等值的,现在可以通过KKT条件推广到不等式。由于限制条件往往是不大于,小于这样的不等式,以是KKT才是拉格朗日化约束问题为非约束问题的要害。

对于不等式问题,就是有两种情形:

  • 可行解在g(x)<0;
  • 可行解在g(x)=0。

可行解在g(x)<0,就示意这个约束条件并没有起到约束效果,有根没有事一个效果(下图中的左图);可行解g(x)=0,就示意这个约束条件起到作用了,这就示意g(x)与f(x)相切,也就是下图中右边的图。

通俗易懂 | 拉格朗日乘子法 第13张

【g(x)<0的情形】
这种情形下,就是没有限制条件下的情形,实在就是没有约束条件的限制,也就是\(\lambda=0\)的情形,以是我们的等式就是直接求解:
\(\Delta f(x)=0\)

【g(x)=0的情形】
若是是g(x)=0的情形,那也就是约束条件起到作用了,也就意味着\(\lambda>0\)。在这种情形下,存在着:
\(\Delta f(x) = -\lambda \Delta g(x)\)
而且两个函数的扩张的偏向相反,以是解释两个g(x)和f(x)的梯度一个是正数,一个是负数。以是这个示意\(\lambda>0\)

以是综上所述,在这种情形下,我们所有的条件综合起来可以获得,其中\(x^\*\)就是最优解:

  • \(\lambda >=0\)
  • \(\lambda g(x^*)=0\)
  • $ g(x^*) <= 0$

这三个就是KKT条件。

通俗易懂 | 拉格朗日乘子法 第14张
通俗易懂 | 拉格朗日乘子法 第15张
通俗易懂 | 拉格朗日乘子法 第16张

,

欧博亚洲APP下载

欢迎进入欧博亚洲APP下载(Allbet Game):www.aLLbetgame.us,欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。

转载声明:本站发布文章及版权归原作者所有,转载本站文章请注明文章来源:欧博亚洲(Allbet Game)!

本文链接:https://www.8246588.com/post/1007.html

网友评论

2条评论
  • 2020-09-19 00:14:56

    皇冠线路APP是一个开放皇冠代理APP下载、皇冠会员APP下载、皇冠线路APP下载、皇冠登录APP下载的平台,皇冠体育APP上最新登录线路、新2皇冠网址更新最快,皇冠体育APP开放皇冠会员注册、皇冠代理开户等业务。围观一下大佬

  • 2020-09-19 00:14:59

    皇冠线路APP是一个开放皇冠代理APP下载、皇冠会员APP下载、皇冠线路APP下载、皇冠登录APP下载的平台,皇冠体育APP上最新登录线路、新2皇冠网址更新最快,皇冠体育APP开放皇冠会员注册、皇冠代理开户等业务。围观一下大佬

最新评论

  • allbet在线 09/23 说:

    Sunbet 申博在2019年立足亚太,寻求业界翘楚合作运营线上游戏平台。Sunbet www.jxadap.com自与江西安达安全评价咨询有限责任公司合作以来,优势互补、资源整合、在未来一定会用心运营,赢得每位代理、会员的口碑。美滴很!

  • allbet在线 09/23 说:

    Sunbet 申博在2019年立足亚太,寻求业界翘楚合作运营线上游戏平台。Sunbet www.jxadap.com自与江西安达安全评价咨询有限责任公司合作以来,优势互补、资源整合、在未来一定会用心运营,赢得每位代理、会员的口碑。美滴很!

  • UG环球会员充值 09/22 说:

    联博统计www.yahongf.com采用以太坊区块链高度哈希值作为统计数据,联博以太坊统计数据开源、公平、无任何作弊可能性。联博统计免费提供API接口,支持多语言接入。前来围观

  • UG环球开户 09/22 说:

    Sunbet :www.xzsxzxx.cn是Sunbet娱乐的官方网站,是亚洲唯一的Sunbet。公司业务主要范围:Sunbet、Sunbet、sunbet娱乐等。上来一顿夸

  • AllbetAPP下载 09/22 说:

    诚信在线娱乐:(原诚信在线官网)现已开放阳光在线手机版、阳光在线电脑客户端下载。阳光在线娱乐游戏公平、公开、公正,用实力赢取信誉。你会红的

  • allbet登陆网址 09/21 说:

    www.66rfd.com(www.xcpx688.com)是Sunbet 申博的官方网站。www.66rfd.com提供申博开户(sunbet开户)、SunbetAPP下载、Sunbet代理合作等业务。比很多都强

  • UG环球注册 09/19 说:

    皇冠线路APP是一个开放皇冠代理APP下载、皇冠会员APP下载、皇冠线路APP下载、皇冠登录APP下载的平台,皇冠体育APP上最新登录线路、新2皇冠网址更新最快,皇冠体育APP开放皇冠会员注册、皇冠代理开户等业务。围观一下大佬

  • UG环球注册 09/19 说:

    皇冠线路APP是一个开放皇冠代理APP下载、皇冠会员APP下载、皇冠线路APP下载、皇冠登录APP下载的平台,皇冠体育APP上最新登录线路、新2皇冠网址更新最快,皇冠体育APP开放皇冠会员注册、皇冠代理开户等业务。围观一下大佬