python SQLite 数据库提速经验

SQLite 特点是轻巧,依赖少,数据库就一个文件,打包即可提走。

最近做一个应用,千万条数据,更新频繁,但处理方式很简单,

首先直接用SQLite 处理,结果两分钟可以完成处理一次,这个还是太慢了。

后来用memory 数据库模式,先从file db 文件读取已保存数据,再把数据保存到memory 的sqlite 数据。

下面是memory 的示例

python code: sqlite memory

import sqlite3

class MySum:
    def __init__(self):
        self.count = 0

    def step(self, value):
        self.count += value

    def finalize(self):
        return self.count

con = sqlite3.connect(":memory:")
con.create_aggregate("mysum", 1, MySum)
cur = con.cursor()
cur.execute("create table test(i)")
cur.execute("insert into test(i) values (1)")
cur.execute("insert into test(i) values (2)")
cur.execute("select mysum(i) from test")
print cur.fetchone()[0]

速度有所提高,1分15秒完成一次小计算。

还是感觉很慢,就用python 的内置数据list、dict来保存中间处理数据。结果很理想,7秒一次小计算。不过占用内存是SQLite memory 的3倍。

Relative Articles