递归算法的复杂度通常很难衡量，一般都认为是每次递归分支数的递归深度次方。但通常情况下没有这个大，如果我们可以保存每次子递归的结果的话，递归算法的复杂性等于不同的节点个数。这也是动态规划算法思想的由来。

看一下下面这个算法题目，据称是百度的笔试题：

简述：实现一个函数，对一个正整数n，算得到1需要的最少操作次数：

如果n为偶数，将其处以2；如果n为奇数，可以加1或减1；一直处理下去。

要求：实现函数（实现尽可能高效）int func(unsigned int n)；n为输入，返回最小的运算次数。

我不确定是不是对n的操作次数有一个简单的刻画，尝试着想了一会儿，似乎不太容易想到。但后来发现这个题目本质上不是算法题，而是算法分析题。因为仔细分析可以发现，题目中给的递归构造本身就是非常高效的。

直接按照题目中的操作描述可以写出函数：

int function(unsigned int n) {
  if (n == 1) return 0;
  if (n%2 == 0) return 1 + function(n/2);
  return 2 + min(function((n + 1)/2), function((n - 1)/2));
} 

在递归过程中，每个节点可以引出一条或两条分支，递归深度为$\log n$，所以总节点数为$n$级别的，但为何还说此递归本身是非常高效的呢？

理解了动态规划的思想，就很容易理解这里面的问题。因为动态规划本质上就是保存运算结果的递归，虽然递归算法经常会有指数级别的搜索节点，但这些节点往往重复率特别高，当保存每次运算的节点结果后，在重复节点的计算时，就可以直接使用已经保存过的结果，这样就大大提高了速度（每次不仅减少一个节点，而且同时消灭了这个节点后面的所有分支节点）。

在这个问题里是什么情况呢？仔细分析就会发现，在整个搜索数中，第$k$层的节点只有两种可能性$n>>k$和$n>>k - 1$。这意味着整个搜索树事实上只有$2\log n$个节点。所以这个递归算法本质上的运算复杂度只有$O(\log n)$。这已经是最优的了。

© zhiqiang for 阅微堂, 2008. | 链接 | 20 条评论

下面这个求$1/\sqrt{x}$的函数号称比直接调用sqrt库函数快4倍，来自游戏Quake III的源代码。

float InvSqrt (float x){
    float xhalf = 0.5f*x;
    int i = *(int*)&x;
    i = 0x5f3759df - (i>>1);
    y = *(float*)&i;
    y = y*(1.5f - xhalf*x*x);
    return x;
}

我们这里分析一下它的原理（指程序的正确性，而不是解释为何快）。

分析程序之前，我们必须解释一下float数据在计算机里的表示方式。一般而言，一个float数据$x$共32个bit，和int数据一样。其中前23位为有效数字$M_x$，后面接着一个8位数据$E_x$表示指数，最后一位表示符号，由于这里被开方的数总是大于0，所以我们暂不考虑最后一个符号位。此时

$$x=1.M_x 2^{E_x-127}$$

如果我们把计算机内的浮点数$x$看做一个整数$I_x$，那么

$$I_x = 2^{23}E_x+M_x$$

现在开始逐步分析函数。这个函数的主体有四个语句，分别的功能是：

int i = *(int*)&x; 这条语句把$x$转成$i=I_x$。

i = 0x5f3759df - (i>>1); 这条语句从$I_x$计算$I_{1/\sqrt{x}}$。

y = *(float*)&i; 这条语句将$I_{1/\sqrt{x}}$转换为$1/\sqrt{x}$。

y = y*(1.5f - xhalf*y*y); 这时候的y是近似解；此步就是经典的牛顿迭代法。迭代次数越多越准确。

关键是第二步 i = 0x5f3759df - (i>>1); 这条语句从$I_x$计算$I_{1/\sqrt{x}}$，原理:

令$y=1/\sqrt{x}$，用$x=(1+m_x)2^{e_x}$和$y=(1+m_y)2^{e_y}$带入之后两边取对数，再利用近似表示$\log_2(1+z)\sim z+\delta$，算一算就得到

$$I_y = \frac{2}{3}(127-\delta)2^{23}-I_x/2$$

若取$\delta=0.0450465679168701171875$，$\frac{2}{3}(127-\delta)2^{23}$就是程序里所用的常量0x5f3759df。至于为何选择这个$\delta$，则应该是曲线拟合实验的结果。

© zhiqiang for 阅微堂, 2008. | 链接 | 25 条评论