问题来自美人他爹和Wangjianshuo's blog

一个查询的例子：NOT (AND ((C1>5), OR ((C2<6),(C3<>9))))

问题1：给出两个这样的查询Q1和Q2，如何确定Q1的结果是否是Q2结果的子集？

上面两篇文章主要是讨论实际工作中怎么解决问题1。下面从理论上分析一下这个问题。

问题2：判断Q1查询结果是否为空集。

在问题1中让Q2查询结果为空集，故问题1是比问题2更难的一个问题。

论断：问题2是NP-hard的。

证明：从3SAT问题很容易规约到问题2。

结论：问题1是NP-Hard的，除非NP=P，不可能有多项式级别的解。也就是理论上而言，解决上面的问题除了枚举没有别的好方法了。

当然以上只是理论，实际应用中，$3^n$的计算速度和$2^n$的计算速度还是有很大的区别。如何解决NP-Hard问题也是一个被广泛研究的课题，毕竟实际工作中很多问题都是NP-Hard的。

© zhiqiang for 阅微堂, 2009. | 链接 | 2 条评论

PS: PCP可以说是理论计算机领域近20年来的最重要的结果之一，它给了NP问题一个新的刻画，并且提供了一种证明近似算法下界的方法。下面是yijia写的PCP介绍。

作者：yijia

我们可以从最基本的NP开始。一般NP的定义是基于nondeterministic Turing machine，但我们也可以用类似于Interactive Proof的系统来刻画：

一个语言$Q$是在NP内当且仅当存在一个多项式时间的算法$V$  (i.e., prover) 满足下面一系列条件：

1. $V$有两个输入$x$和$y$，并且$|y|=poly(|x|)$；
2. 对于任意的$x$， 我们有
   2.1. 如果$x \in Q$，那么存在一个$y$使得$V(x,y)=1$，i.e., $V$ accepts $(x,y)$;
   2.2 如果$x \not\in Q$，那么对于任意y都有$V(x,y)=0$，i.e.,$V$ rejects $(x,y)$.

在2.1中，$y$可以看成是$x \in Q$ 的一个证明。对于3Sat问题，我们可以设计这样的$V$: $x$是一个3CNF公式，而y是一个对$x$中所有变元的赋值。Prover $V$就是用来验证y是否满足x。直观上$V$必须读完整个$y$才能确认$x\in Q$。 那么有没有可能改进这一点，让$V$只读$y$的一部分，来增加效率? 比如现有的Graph Minor Theory的证明有几百页，如果只要其中几页就能确认其正确那么就会省去Reviewer的很多时间。如果$V$是个确定时间的算法，这就等价于要求$|y|=o(|x|)$。那么如果每个NP问题都有这样的Prover， 我们就可以证明NP包含Subexponential Time里。一般公认这不可能成立。

但如果我们允许$V$使用Randomness，问题就开始变得有趣了。这也就是Probabilistic Checkable Proof (PCP)。

要定义一个PCP系统, 我们先要给定两个函数$r,q: N \rightarrow N$。我们说一个随机算法$V$是一个(r(n),q(n))-restricted verifier, 如果$V$在输入$(x,y)$上使用$O(r(|x|))$位随机数，访问$y$的$O(q(|x|))$位。直观上，V 扔了$O(r(|x|))$个骰子，然后根据结果去访问证明y 的$O(q(|x|))$位。 当然V还要是一个多项式时间算法，$|y|=poly(|x|)$， 同时满足所谓的non-adaptive条件（写起来太罗嗦了，所以就不写了)。

我们说这样的$V$定义了一个语言$Q$当且仅当对于任意的$x$， 我们有
(a) 如果$x \in Q$，那么存在一个y 使得$Pr[V(x,y)=1]=1$;
(b) 如果$x \not\in Q$，那么对于任意y都有$Pr[V(x,y)=1]<1/2$.

要注意的是并不是所有的$V$都定义了一个语言，因为(b)不是总能满足的。

非常壮观的PCP定理就是

Theorem 1. NP=PCP($\log n,1$)

也就是说，对于每个NP语言我们都可以构造一个$V$，在每个$(x,y)$上，仅使用$O(\log|x|)$位随机数，访问证明$y$中的常数多位，就能以很高的概率正确判断是否$x \in Q$。

由于可以证明PCP($\log n,1$)对于多项式时间规约(PTIME reductions)封闭，所以PCP定理也可以叙述为

Theorem 2. 3Sat $\in$ PCP($\log n,1$)

除了本身非常有趣和counter intuitive，PCP的一个重要应用就是近似算法的下界:

Corollary. 如果NP$\ne$P, 那么Max-3Sat没有PTAS，同时Max-Clique不存在constant approximation。

这个结论的证明就是通过PCP，构造所谓的Gap Instances：给定常数$\delta \in (0,1)$，$Gap_\delta$-3Sat是如下的问题

input: 一个3CNF公式$x$使得要么存在一个满足$x$的赋值，要么所有的赋值最多满足$\delta$-fraction的clauses。
question：$x$ 是否可满足？

Corollary 3. 存在一个$\delta$，使得存在一个3Sat到$Gap_\delta$-3Sat的规约。

实际上我们可以证明

Theorem PCP定理成立当且仅当上面的Corollary成立。

现在PCP定理有两个证明：一个就是由Arora，Sudan等人在90初完成的基于代数的方法，直接证明Theorem 2。证明的核心某种意义上就是Error Correcting Code。另一个就是Dinur前几年完成的基于Expander的组合方法，直接证明Cororllary 3。前者的证明很长，但实际上比较初等，而后者短一些且非常漂亮。

© zhiqiang for 阅微堂, 2008. | 链接 | 6 条评论

上篇文章扫雷是NP完全问题之后，You Xu提到＂不光扫雷是NP 完全问题，空当接龙问题也极有可能是一个NP完全问题。目前最好的通用 planner只能解半副牌＂。他说对了，不光扫雷，Windows自带的游戏都是NP完全的。Windows自带的游戏除了扫雷，还有空当接龙和蜘蛛纸牌。

空当接龙是NP完全问题

论文：Malte Helmert, Complexity results for standard benchmark domains in planning, Artificial Intelligence Journal 143(2):219-262, 2003.

蜘蛛纸牌是NP完全问题

论文：Springer Berlin, Heidelberg, The Complexity of Solitaire, Mathematical Foundations of Computer Science 2007: 182-193, 2007

顺便提一下蜘蛛纸牌的可以获胜的概率高达82-91.5%。而我平时自己玩的时候20%都不到。差距啊。

© zhiqiang for 阅微堂, 2008. | 链接 | 4 条评论

本科时有同学扫雷最快可以在60多秒完成高级难度，让我这种最快130秒的人非常惭愧，当时就想着编一个全自动的扫雷程序，不过一直也没写。今天才知道，原来扫雷问题是NP完全的...

结果于2000年发表在Mathematical Intelligencer上，论文题目是Minesweeper is NP-complete，这里有作者的简单的问题和证明介绍。证明方法是证明扫雷问题可以编码任何逻辑电路，包括NP-hard的3SAT问题。作者还有一个非常直观的PPT演示证明过程，比如下图展示如何编码AND逻辑门：$t=u\wedge v$

它是NP完全问题说明如果程序要想完全正确，所费的时间最坏情况下将是指数的。不过我猜测对于大部分的扫雷的实例还是很容易的，而且NPC所用的规约实例特别大，所以编一个能较快速度解决大部分windows自带的那个高级难度的扫雷问题还是可行的，不知道是否已经有这方面的程序。

© zhiqiang for 阅微堂, 2008. | 链接 | 20 条评论

好久没有写我的理论计算机初步系列了，其实复杂性这一块，虽然平时经常遇到，但由于问题都过于本质和困难，想这方面问题的时间反而不多。Ko教授就跟我说也许NP verse P这个题并不难，只不过大家认为它很难，结果就没有多少人去做了，大家一遇到这个问题都远远得绕开。话虽如此，我还是不敢去碰的。

很多人一看到NP-hard，就从字面上理解成为比NP还难的问题。但如果这里的“更难”指得是解决问题所花费时间更长的话，这个论断是不正确的。从算法角度来看，NP-hard问题的确比NP难，但比NP还难（指花费时间更多）的问题却不见得是NP-hard的。

仔细检查NP-hard的定义：一个问题(语言)L是NP-Hard的，当且仅当3SAT问题可以在多项式时间规约到L，即存在一个可多项式时间计算函数f，使得$\phi\in 3SAT$当且仅当$f(\phi)\in L$。

注意NP-hard的概念只有在NP!=P的时候才有意义，因为在NP=P的时候，除了空集和全集语言外，所有问题都是NP-hard的。

但在NP!=P的时候，NP-hard问题的分布呈什么状态呢？

定理1：所有unary语言都不可能是NP-hard的(除非NP=P)。语言L是unary的，指L里的任一元素都是1ⁿ的形式。

根据此定理，如果我们能找到一个NP-hard的unary的undecidable问题，就证明NP=P了 。

定理2：Turing机停机问题是NP-hard^{(by Dr. Sun)}。

这个定理有点出人意料，但仔细想想也不难证明。而且这个问题不难转成unary的形式，可惜这个转化过程不是多项式时间的，所以转化过后就不一定是NP-hard的了。

思考1：NEXP里有问题不是NP-Hard吗？

思考2：为什么NP-complete用多项式时间规约，PSPACE-complete也用多项式时间归约，而不是多项式空间规约？

© zhiqiang for 阅微堂, 2007. | 链接 | 3 条评论