视频1 视频21 视频41 视频61 视频文章1 视频文章21 视频文章41 视频文章61 推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37 推荐39 推荐41 推荐43 推荐45 推荐47 推荐49 关键词1 关键词101 关键词201 关键词301 关键词401 关键词501 关键词601 关键词701 关键词801 关键词901 关键词1001 关键词1101 关键词1201 关键词1301 关键词1401 关键词1501 关键词1601 关键词1701 关键词1801 关键词1901 视频扩展1 视频扩展6 视频扩展11 视频扩展16 文章1 文章201 文章401 文章601 文章801 文章1001 资讯1 资讯501 资讯1001 资讯1501 标签1 标签501 标签1001 关键词1 关键词501 关键词1001 关键词1501 专题2001
NEO4J数据插入测试
2020-11-09 15:06:01 责编:小采
文档

CPU: I3 2.4Ghz 4核,内存8G 方式一:采用其原生接口操作 JVM:-Xms1024m -Xmx1024m -Xmn512m-XX:PermSize=128m -XX:MaxPermSize=256m 4000节点(50个属性),4000关系:1秒,其间cpu使用率25%,761M 8000节点(50个属性),8000关系:2秒,其间cpu使用率25%,82

CPU: I3 2.4Ghz 4核,内存8G
方式一:采用其原生接口操作

JVM:-Xms1024m -Xmx1024m -Xmn512m-XX:PermSize=128m -XX:MaxPermSize=256m

4000节点(50个属性),4000关系:1秒,其间cpu使用率25%,761M

8000节点(50个属性),8000关系:2秒,其间cpu使用率25%,829M

16000节点(50个属性),16000关系:5秒,其间cpu使用率25,983M

24000节点(50个属性),24000关系:9秒,其间cpu使用率25%,1079M

32000节点(50个属性),32000关系:14秒,其间cpu使用率25%,1187M

40000节点(50个属性),40000关系:执行1多分钟以后直接报outOfMemery: java heap space

内存使用:

结论:插入时用事务插入接口的话,在JVM 1G内存的配置下最后能够插入3万多个节点和关系,再多就内存溢出。

方式二:采用BatchInserter接口

JVM:采用JVM默认设置

40000节点(50个属性),40000关系:6秒,其间CPU使用率25%,内存288M

80000节点(50个属性),80000关系:17秒,其间CPU使用率25%,内存288M

120000节点(50个属性),120000关系:31秒,其间CPU使用率25%,内存2M

200000节点(50个属性),200000关系:56秒,其间CPU使用率25%,内存288M

分析:

根据官方文档,当少量数据(根据测试观察5000条以下)插入时,建议使用事务型插入接口(即通常NEO4J的数据操作接口),速度还是可以的;当数据量比较大时,建议采用专用的BatchInserters接口,这个接口在插入时不创建事务,估计内存占用很少,基本上在不同数据量的操作期间内存无太大变化。由此可见,在向NEO4J导入大量数据时,可以有以下两种方法实现快速插入:

化大为小法

此法是将大量的数据集合分成5000条或者更少集合,使用事务型插入接口插入数据,这样整体的插入时间按照以上的测试结果,100000条数据可以在30秒内插入完毕。缺点是需要分拆数据集合为小的集合;优点是当用户已经在运行一组NEO4J的数据库时,只需改造相关的代码即可,也不需要在导入期间暂停数据库。

批量插入法

此法不管数据量多大,都可以实现快速插入,实现速度和内存的平衡,适合在初始化数据库时(或者需要大量导入数据时)一次性导入大量的数据;缺点是导入数据时要暂停数据库,采用BatchInserters接口导入,不能实现业务无中断运行。

建议:

采用化大为小法,当插入(导入)数据量大于1000个时,采用分批插入的方法,可以达到快速插入数据的目的,也能保证内存占用量不会有太大的变化而导致OOM。

下载本文
显示全文
专题