普通PC单机(内存2G)实际测试:
横瓜索引数据的速度为:200条记录/秒(每条记录约为2000字),包含分词处理过程和索引过程一并进行,500万记录(每条记录约为2000个中文字)的数据量,
可在6小时内建立成搜索。最终生成的索引文件在15G左右,基本等同于LUCENE的15G索引文件的规模。
索引吞吐量=每秒索引处理的数据(记录量*记录里被索引的字数)
很多人张口就用亿级数据来衡量搜索,每条记录就10个字的,那还不如百万级数据量的规模。不懂搜索的人用MB/秒来衡量,那是错误的,因为索引速度必须结合实际数据来测试。
本人估算同条件下LUCENE索引速度是横瓜的1/10,sphinx索引数据速度将接近横瓜的索引速度。
对于遥执乾坤 QQ 44758121提出的看法如下:
横瓜(601069289) 18:03:57
横瓜创建索引的速度为:200条记录/秒.一条记录为2000字,包含分词处理过程和处理索引过程一并进行.
LUCENE和sphinx索引数据速度有测试过的吗?1秒能处理多少记录,一条记录为2000字
遥执乾坤(44758121) 18:16:07
:200条记录/秒. 速度太慢了。。。2w条还差不多。
我们假定遥执乾坤是正确的:那么500万记录(每条记录约为2000个中文字)的数据量,用sphinx就是4分钟可以建立成搜索,那可能吗?很明显是不可能的!这是违背客观规律的!4分钟用sphinx生成15G索引文件的规模,那可能吗?绝对不可能!
在这之前我了解过GOOGLE谷歌2006年的单机索引速度是40-80个网页/秒。
分享到:
相关推荐
Lucene是一个基于Java的全文索引工具包。 基于Java的全文索引引擎Lucene...另外,如果是在选择全文引擎,现在也许是试试Sphinx的时候了:相比Lucene速度更快,有中文分词的支持,而且内置了对简单的分布式检索的支持
然后即可把分词后的结果存储,再使用sphinx,Lucene等进行索引搜索了。安装说明1。 若服务器为Windows系统,复制PHP扩展包中php_duoxun5.dll到php安装 目录下ext文件夹中(默认为此位置,具体以php.ini中extension_...
专业提供中文分词扩展和中文词库。使中文分词,全文搜索不再是难点,一个函数即完成分词。然后即可把分词后的结果存储,再使用sphinx,Lucene等进行索引搜索了。
专业提供中文分词PHP扩展和中文词库。使中文分词,全文搜索不再是难点,一个php函数即完成分词。然后即可把分词后的结果存储,再使用sphinx,Lucene等进行索引搜索了。
5个目标文件,演示Address EJB的实现,创建一个EJB测试客户端,得到名字上下文,查询jndi名,通过强制转型得到Home接口,getInitialContext()函数返回一个经过初始化的上下文,用client的getHome()函数调用Home接口...
SpeechLion 是一个语音识别程序,主要用来处理桌面命令,基于 Sphinx-4 语音识别引擎开发。用户可以通过该软件来控制 Linux 桌面,例如打开google搜索、鼠标点击、下一窗口、打开帮助、静音等操作。 Java发送短信包...
SpeechLion 是一个语音识别程序,主要用来处理桌面命令,基于 Sphinx-4 语音识别引擎开发。用户可以通过该软件来控制 Linux 桌面,例如打开google搜索、鼠标点击、下一窗口、打开帮助、静音等操作。 Java发送短信包...
5个目标文件,演示Address EJB的实现,创建一个EJB测试客户端,得到名字上下文,查询jndi名,通过强制转型得到Home接口,getInitialContext()函数返回一个经过初始化的上下文,用client的getHome()函数调用Home接口...
SpeechLion 是一个语音识别程序,主要用来处理桌面命令,基于 Sphinx-4 语音识别引擎开发。用户可以通过该软件来控制 Linux 桌面,例如打开google搜索、鼠标点击、下一窗口、打开帮助、静音等操作。 Java发送短信包...
SpeechLion 是一个语音识别程序,主要用来处理桌面命令,基于 Sphinx-4 语音识别引擎开发。用户可以通过该软件来控制 Linux 桌面,例如打开google搜索、鼠标点击、下一窗口、打开帮助、静音等操作。 Java发送短信包...
SpeechLion 是一个语音识别程序,主要用来处理桌面命令,基于 Sphinx-4 语音识别引擎开发。用户可以通过该软件来控制 Linux 桌面,例如打开google搜索、鼠标点击、下一窗口、打开帮助、静音等操作。 Java发送短信包...
SpeechLion 是一个语音识别程序,主要用来处理桌面命令,基于 Sphinx-4 语音识别引擎开发。用户可以通过该软件来控制 Linux 桌面,例如打开google搜索、鼠标点击、下一窗口、打开帮助、静音等操作。 Java发送短信包...
SpeechLion 是一个语音识别程序,主要用来处理桌面命令,基于 Sphinx-4 语音识别引擎开发。用户可以通过该软件来控制 Linux 桌面,例如打开google搜索、鼠标点击、下一窗口、打开帮助、静音等操作。 Java发送短信包...
SpeechLion 是一个语音识别程序,主要用来处理桌面命令,基于 Sphinx-4 语音识别引擎开发。用户可以通过该软件来控制 Linux 桌面,例如打开google搜索、鼠标点击、下一窗口、打开帮助、静音等操作。 Java发送短信包...
SpeechLion 是一个语音识别程序,主要用来处理桌面命令,基于 Sphinx-4 语音识别引擎开发。用户可以通过该软件来控制 Linux 桌面,例如打开google搜索、鼠标点击、下一窗口、打开帮助、静音等操作。 Java发送短信包...
SpeechLion 是一个语音识别程序,主要用来处理桌面命令,基于 Sphinx-4 语音识别引擎开发。用户可以通过该软件来控制 Linux 桌面,例如打开google搜索、鼠标点击、下一窗口、打开帮助、静音等操作。 Java发送短信包...
SpeechLion 是一个语音识别程序,主要用来处理桌面命令,基于 Sphinx-4 语音识别引擎开发。用户可以通过该软件来控制 Linux 桌面,例如打开google搜索、鼠标点击、下一窗口、打开帮助、静音等操作。 Java发送短信包...
SpeechLion 是一个语音识别程序,主要用来处理桌面命令,基于 Sphinx-4 语音识别引擎开发。用户可以通过该软件来控制 Linux 桌面,例如打开google搜索、鼠标点击、下一窗口、打开帮助、静音等操作。 Java发送短信包...
SpeechLion 是一个语音识别程序,主要用来处理桌面命令,基于 Sphinx-4 语音识别引擎开发。用户可以通过该软件来控制 Linux 桌面,例如打开google搜索、鼠标点击、下一窗口、打开帮助、静音等操作。 Java发送短信包...