阅微堂 » 数据库

Matlab中使用ADODB访问数据库

zhiqiang — Sat, 09 Oct 2010 06:54:40 +0000

Matlab的database工具箱只支持ODBC数据库连接，在使用之前需要先设置ODBC数据源。之前在Excel里用的是ADODB，使用ADODB的好处是无需设置ODBC源，似乎效率也要高一些（但我一直没弄懂ADODB是什么东西，所以效率这东西我也说不清）。

后来在matlab central上查了下，原来Matlab可以通过调用activex的方式使用ADODB。然后我照着别人的例子封装成了一个类。简单的测试发现这种方法比封装的database要快4倍。

Note: There is a file embedded within this post, please visit this post to download the file.

使用这个类就很简单了，比如如果手头已有数据库的连接字符串，可以这么调用：

ado = adodb;
res = ado.query('select * from sys', ...
    'Provider=OraOLEDB.Oracle;Data Source=MyOracleDB;User Id=myUsername;Password=myPassword;');

或者直接提供数据库信息

ado = adodb;
res = ado.query(sql, {database_type, server_name_or_ip, ...
    database_name, user, password});

更详细使用方法可在下载后 help adodb。

用脚本添加ODBC数据源

zhiqiang — Tue, 05 Oct 2010 02:10:15 +0000

系列：编程和算法效率
查看该系列所有文章

Excel、Matlab在与数据库交互数据时，通常需要事先配置好ODBC数据源，这导致一个文件换到另一台机器还需要重新配置ODBC。手工配置太麻烦，从国外一个网站看到一种解决方案：

运行regedit，展开到HKEY_CURRENT_USER\Software\ODBC\ODBC.INI，导出所有该目录下所有注册项，保存为.reg文件，然后换台机器运行该reg文件即可。

也可以自己直接编辑注册表脚本。比如下面定义了一个SQL的数据源：

Windows Registry Editor Version 5.00

[HKEY_CURRENT_USER\Software\ODBC\ODBC.INI]

[HKEY_CURRENT_USER\Software\ODBC\ODBC.INI\ODBC Data Sources]
"%sql_odbc_name%"="SQL Server"

[HKEY_CURRENT_USER\Software\ODBC\ODBC.INI\%sql_odbc_name%]
"Driver"="C:\\WINDOWS\\system32\\SQLSRV32.dll"
"Description"="%sql_odbc_name%"
"Server"="%sql_server_address%"

Oracle数据库的脚本定义稍微复杂点，但思路也差不多。模板见下面文件（需替换所有%%变量）

Note: There is a file embedded within this post, please visit this post to download the file.

如需在Matlab里直接执行注册表脚本，只需在command line或者m文件里使用winopen('abc.reg')即可。

动态修改Excel数据表的数据来源

zhiqiang — Wed, 13 Jan 2010 04:44:25 +0000

系列：办公自动化
查看该系列所有文章

Excel有一个很有用的功能是直接导入外部数据库或者使用外部数据源建立数据透视表和数据透视图。但比较可惜的是，这个数据源的查询语句是静态的，它无法根据日期自动修改（比如在应用中，我们希望每天获取的外部数据都是当天最新的数据），下面两个函数是修改外部数据源的VBA代码，调用它们就可以建立动态的数据源。

' 更改数据表的来源
' wb：工作表对象
' connectionName：数据来源连接名称
' strSQL：新查询语句（修改SQL的查询代码）
' strSQLConnection：新连接语句（修改来源数据库，在对DBF数据库操作时非常有用）
' author: zhang@zhiqiang.org, 2010
Public Sub ChangeODBCConnection(wb As Excel.Workbook, connectionName As String, _
        Optional strSQL As String = "", Optional strSQLConnection As String = "")

    With wb.Connections(connectionName).ODBCConnection
        If Len(strSQLConnection) Then .CommandText = SplitString(strSQLConnection)
        If Len(strSQL) Then .Connection = SplitString(strSQL)
    End With
    wb.Connections(connectionName).Refresh
End Sub

' 更改数据表的来源
' pc：数据透视表的PivotCache对象 （例如：ActiveSheet.PivotTables(1).PivotCache）
' connectionName：数据来源连接名称
' strSQL：新查询语句（修改SQL的查询代码）
' strSQLConnection：新连接语句（修改来源数据库，在对DBF数据库操作时非常有用）
' author: zhang@zhiqiang.org, 2010
Public Sub ChangePivotConnection(pc As Excel.PivotCache, Optional strSQLConnect, _
        Optional strSQL As String = "")
    Dim blnODBCConnect As Boolean

    With pc
        If .QueryType = xlODBCQuery Then
            blnODBCConnect = True
            If Len(strSQLConnect) = 0 Then strSQLConnect = .Connection
            strSQLConnect = Replace(strSQLConnect, "ODBC;DSN", "OLEDB;DSN", 1, 1, vbTextCompare)
        End If

        If StrComp(.Connection, strSQLConnect, vbTextCompare) <> 0 And Len(strSQLConnect) Then
            .Connection = strSQLConnect
        End If

        If StrComp(.CommandText, strSQL, vbTextCompare) <> 0 And Len(strSQL) Then
            .CommandText = (strSQL)
        End If

        If blnODBCConnect = True Then
            .Connection = Replace(.Connection, "OLEDB;DSN", "ODBC;DSN", 1, 1, vbTextCompare)
        End If

        .Refresh
    End With
End Sub

' 将字符串分割成短字符串的数组
Private Function SplitString(ByVal s As String) As Variant
    Dim ss() As Variant
    Dim i As Long

    ReDim ss(0 To Len(s) \ 200) ' note: it is not 256
    For i = 0 To UBound(ss)
        ss(i) = Array(Mid(s, i * 200 + 1, 200))
    Next i

    SplitString = ss
End Function

以上代码在Office 2007版通过测试，其余版本未知。

数据库查询是NP-Hard问题

zhiqiang — Tue, 22 Dec 2009 23:43:00 +0000

问题来自美人他爹和Wangjianshuo's blog

一个查询的例子：NOT (AND ((C1>5), OR ((C2<6),(C3<>9))))

问题1：给出两个这样的查询Q1和Q2，如何确定Q1的结果是否是Q2结果的子集？

上面两篇文章主要是讨论实际工作中怎么解决问题1。下面从理论上分析一下这个问题。

问题2：判断Q1查询结果是否为空集。

在问题1中让Q2查询结果为空集，故问题1是比问题2更难的一个问题。

论断：问题2是NP-hard的。

证明：从3SAT问题很容易规约到问题2。

结论：问题1是NP-Hard的，除非NP=P，不可能有多项式级别的解。也就是理论上而言，解决上面的问题除了枚举没有别的好方法了。

当然以上只是理论，实际应用中， $3^n$ 的计算速度和 $2^n$ 的计算速度还是有很大的区别。如何解决NP-Hard问题也是一个被广泛研究的课题，毕竟实际工作中很多问题都是NP-Hard的。

加速blog：监测和优化WordPress数据库

zhiqiang — Thu, 27 Dec 2007 08:39:01 +0000

系列：网站提速
查看该系列所有文章

在WordPress生成页面时，最消耗时间的便是数据库查询了。

监测WordPress的数据库查询

WordPress内置了数据库缓存系统，安装插件WordPress Cache Inspect，它会告诉你这个系统的效率（命中效率），主要为下面四个指标：

Cold Cache Hits

This is the number of cached items that were loaded from disk.

Warm Cache Hits

This is the number of cached items accessed that were already in memory

Cache Misses

This is the number of items that had to be fetched from the db as they were not in the cache.

Loaded data

This lists the type and amount of data loaded into memory from that currently stored within the cache..

define('ENABLE_CACHE', true);

把这条语句加入WordPress的配置文件wp-config.php里，WordPress便会以文本的方式缓存一些数据库查询的结果到/wp-content/cache/目录下。注意保持这个目录可写。

试试看效果再用。因为这玩意儿是用磁盘Cache保持数据库查询结果。但某些服务器上，磁盘IO比较慢，比如在dreamhost上就不推荐用这种方式。

显示所有数据库查询语句和消耗时间

在wp-config.php文件里添加define('SAVEQUERIES', true);，再在footer.php文件的尾部加上一句php var_dump($wpdb->queries); ?> 。就可以在页面源代码的尾部找到整个页面执行过程中所提交的所有MySQL查询语句了。数组里每一项都包含一个string和一个float，string存储查询语句，float存储查询时间。

参考：查看WordPress页面执行过程中提交的SQL查询语句。

比较耗时的数据库语句

WordPress执行效率问题作者作了一个测试，大家可以看一下具体有什么问题，与自己的做一个对照。我提一下我遇到过的比较慢的查询语句。

分类和tag相关的都比较消耗时间

比较消耗时间的基本上都与分类表相关的三个数据表相关。特别是我用的那个相关文章查询，基本上占总查询时间的20%（优化后）。我比较期待快速或者带Cache的相关文章的插件。

DESC wp_comments

我不知道这个语句干啥的，经常很慢，所以我把产生它的插件"subscribe comments"插件直接禁用了，反正那个插件提供的功能就没几个人用。

持续更新ing...