我正在用MongoDB测试Node.js的性能.我知道每一个都可以很好地相互独立,但是我正在尝试一些测试以使他们感到满意.我遇到了这个问题,无法确定来源.

问题

我正在尝试在单个Node.js程序中插入1,000,000条记录.它绝对爬行.我们说的是20分钟的执行时间.不管是我的Mac还是CentOS,都会发生这种情况,尽管两者之间的行为略有不同.最终确实完成了.

效果与交换相似,尽管不是(内存永远不会超过2 GB).与MongoDB的连接只有3个,大多数情况下没有数据插入.它似乎正在进行大量上下文切换,并且Node.js CPU内核已达到极限.

效果类似于this thread中提到的效果.

我尝试使用PHP进行同样的操作,并且在2-3分钟内完成.没戏

为什么？

可能的原因

我目前认为这可能是Node.js套接字问题,libev在幕后发生的事情,或者是其他node-mongodb-native问题.我可能完全错了,所以我在这里寻找一些指导.

至于其他Node.js MongoDB适配器,我尝试了蒙古语,它似乎是为了批量插入文档而将它们排入队列,结果内存不足.这样就可以了. (旁注：我也不知道为什么要这样做,因为它甚至还没有接近我的16 GB的存储空间限制-但我没有为此做进一步的调查.)

我可能应该提到,实际上我确实在4核计算机上测试了4个工人的主/工人群集,并在2-3分钟内完成.

编码

这是我的Node.js CoffeeScript程序：

mongodb = require "mongodb"
microtime = require "microtime"
crypto = require "crypto"

times = 1000000
server = new mongodb.Server "127.0.0.1", 27017
db = mongodb.Db "test", server
db.open (error, client) ->
  throw error if error?

  collection = mongodb.Collection client, "foo"

  for i in [0...times]
    console.log "Inserting #{i}..." if i % 100000 == 0

    hash = crypto.createHash "sha1"
    hash.update "" + microtime.now() + (Math.random() * 255 | 0)
    key = hash.digest "hex"

    doc =
      key: key,
      foo1: 1000,
      foo2: 1000,
      foo3: 1000,
      bar1: 2000,
      bar2: 2000,
      bar3: 2000,
      baz1: 3000,
      baz2: 3000,
      baz3: 3000

    collection.insert doc, safe: true, (error, response) ->
      console.log error.message if error

这是大致等效的PHP程序：

<?php
$mongo = new Mongo();
$collection = $mongo->test->foo;

$times = 1000000;
for ($i = 0; $i < $times; $i++) {
    if ($i % 100000 == 0) {
        print "Inserting $i...\n";
    }

    $doc = array(
        "key" => sha1(microtime(true) + rand(0, 255)),
        "foo1" => 1000,
        "foo2" => 1000,
        "foo3" => 1000,
        "bar1" => 2000,
        "bar2" => 2000,
        "bar3" => 2000,
        "baz1" => 3000,
        "baz2" => 3000,
        "baz3" => 3000
    );
    try {
        $collection->insert($doc, array("safe" => true));
    } catch (MongoCursorException $e) {
        print $e->getMessage() . "\n";
    }
}

解决方法:

听起来您正在遇到V8中的默认堆限制.我写了一个关于删除此限制的blog post.

垃圾收集器可能会疯狂并咀嚼CPU,因为它会一直执行直到您低于1.4GB的限制.