凸函数和拐点

凸函数（Convex function）和拐点（Inflection point）。 此部分为参考 华东师范大学《数学分析上册》。以下内容为学习中的重点总结。

凸函数一般用来证明不等式；注意左右导数和凸函数定义公式的联系；凸函数的性质比较好，在机器学习中是理想的代价函数，因为好求最小值点；注意拐点中的鞍点（是一阶导数等于0的点，即拐点中的驻点或稳定点）。

凸函数

定义1 设$f$为定义在区间$I$上的函数，若对$I$上的任意两点$x_1,x_2$和任意实数$\lambda \in (0,1)$总有

$$f(\lambda x_1+(1-\lambda )x_2)\le \lambda f(x_1)+(1-\lambda )f(x_2),$$

则称$f$为$I$上的凸函数。反之，如果总有

$$f(\lambda x_1+(1-\lambda )x_2)\ge \lambda f(x_1)+(1-\lambda )f(x_2),$$

则称$f$为$I$上的凹函数。

另外，

1. 如果上面的不等式为严格不等式，那么称严格凸函数和严格凹函数。
2. 如果$-f$为区间$I$上的凹函数，那么$f$为区间$I$上的凸函数。

引理 $f$为$I$上的凸函数的充要条件是对于$I$上的任意三点$x_1<x_2<x_3$，总有

$$\frac{f(x_2)-f(x_1)}{x_2-x_1}\le \frac{f(x_3)-f(x_2)}{x_3-x_2}.$$

同样地，$f$为$I$上的凸函数的充要条件是对于$I$上的任意三点$x_1<x_2<x_3$，有

$$\frac{f(x_2)-f(x_1)}{x_2-x_1}\le \frac{f(x_3)-f(x_1)}{x_3-x_1}\le \frac{f(x_3)-f(x_2)}{x_3-x_2}.$$

注意，这里把$x_2,x_3$看着一个变量时，函数$\frac{f(x_3)-f(x_1)}{x_3-x_1}$是一个增函数，可以利用单调有界定理，取极限

定理6.14 设$f$为区间$I$上的可导函数，则下述论断互相等价：

1. $f$为$I$上的增函数；

2. $f^{\prime }$为$I$上的增函数；

3. 对$I$上的任意两点$x_1,x_2$有
   

   $$f(x_2)\ge f(x_1)+f^{\prime }(x_1)(x_2-x_1).$$
   
   论断3的几何意义就是说曲线$y=f(x)$总是在它的任一切线上方。

定理 6.15 设$f$为区间$I$上的二阶可导函数，则在$I$上$f$为凸函数（凹函数）的充要条件是

$$f^{(2)}(x)\ge 0(f^{(2)}(x)\le 0),x\in I.$$

定理 若函数$f$为定义在开区间$(a,b)$上的可导的凸函数（凹函数），则$x_0\in (a,b)$为$f$的极小值点（极大值点）的充要条件是$x_0$为$f$的稳定点，即$f^{\prime }(x_0)=0$.

定理 设函数$f(x)$为开区间$(a,b)$上的凸函数，不恒为常数，则$f(x)$不取最大值。

​ 凸函数的最大值只能在端点处取得。即，若函数$f(x)$是闭区间$[a,b]$上的凸的连续函数，那么

$$f(x)\le maxf(a),f(b).$$

詹森（Jensen）不等式 若$f$为$[a,b]$上的凸函数，则对任意$x_i\in [a,b],{\lambda }_i>0(i=1,2,\cdots ,n),\sum _{i=1}^n{\lambda }_i=1$，有

$$f(\sum _{i=1}^n{\lambda }_i{x}_i)\le \sum _{i=1}^n{\lambda }_{i}f(x_i).$$

引理 设$f$为开区间$I$内的凸函数（凹函数），则$f$在$I$内任一点$x_0$都存在左、右导数。从而$f$在$x_0$连续。

拐点

定义2 设曲线$y=f(x)$在点$(x_0,f(x_0))$处有穿过曲线的切线，且在切点近旁，曲线在切线的两侧分别是严格凸和严格凹的，这时称点$(x_0,f(x_0))$为曲线$y=f(x)$的拐点。

拐点是凹和凸曲线的分界点。

定理6.16 若$f$在$x_0$二阶可导，则$(x_0,f(x_0))$为曲线$y=f(x)$的拐点的必要条件是$f^{(2)}=0$.

定理6.17 设$f$在$x_0$可导，在某领域$U^o(x_0)$上二阶可导。若在$U_{+}^o(x_0)$和$U_{-}^o(x_0)$上$f^{(2)}$的符号相反，则$(x_0,f(x_0))$为曲线$y=f(x)$的拐点。

注意：若$(x_0,f(x_0))$是曲线$y=f(x)$的一个拐点，$y=f(x)$在$x_0$的导数不一定存在，如$y=\sqrt[3]{x}$在$x=0$。

定理 如下三个陈述成立。

1. 若$f$为凸函数，$\lambda$为非负实数，则$\lambda f$为凸函数；
2. 若$f,g$均为凸函数，则$f+g$为凸函数；
3. 若$f$为区间$I$上凸函数，$g$为$J\supset f(I)$上凸增函数，则$g\circ f$为$I$上凸函数。

定理 设$f$为区间$I$上严格凸函数，$x_0\in I$为$f$的极小值点，则$x_0$为$f$在$I$上唯一的极小值点。

定理 若$f,g$均为区间$I$上凸函数，则$F(x)=maxf(x),g(x)$也是$I$上凸函数。

几个重要不等式

均值不等式 设$a_i>0(i=1,2,\cdots ,n)$，有

$$\frac{n}{\frac{1}{a_1}+\frac{1}{a_2}+\cdots +\frac{1}{a_n}}\le \sqrt[n]{a_1{a}_2\cdots a_n}\le \frac{a_1+a_2+\cdots +a_n}{n}$$

证明，构造函数$f(x)=\ln (x)$可证明第二个不等号，然后用变化$x=\frac{1}{t}$和第二个不等号证明第一个不等号。

Young 不等式 设$a,b,p,q$均是正实数，且$\frac{1}{p}+\frac{1}{q}=1$，则

$$ab\le \frac{a^p}{p}+\frac{b^q}{q}$$

等号成立当且仅当 $a^p=b^q$.

证明，利用函数$y=e^x$的凸性

$$ab=e^{\ln (a)}{e}^{\ln (b)}=e^{\frac{1}{p}\ln (a^p)+\frac{1}{q}\ln (b^q)}\le \frac{1}{p}{e}^{\ln (a^p)}+\frac{1}{q}{e}^{\ln (b^q)}=\frac{a^p}{p}+\frac{b^q}{q}.$$

可以用该不等式证明如下的Holder不等式。

Holder 不等式 设$a_i,b_i>0(i=1,2,\cdots ,n)$，有

$$\sum _{i=1}^n{a}_i{b}_i\le (\sum _{i=1}^n{a}_i^p{)}^{\frac{1}{p}}(\sum _{i=1}^n{b}_i^q{)}^{\frac{1}{q}}$$

其中$p>1,q>1,\frac{1}{p}+\frac{1}{q}=1$.

证明，取$a=\frac{a_k}{(\sum _{i=1}^n{a}_i^p{)}^{\frac{1}{p}}}$, $b=\frac{b_k}{(\sum _{i=1}^n{b}_i^q{)}^{\frac{1}{q}}}$ ，并带入Young不等式。