视频1 视频21 视频41 视频61 视频文章1 视频文章21 视频文章41 视频文章61 推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37 推荐39 推荐41 推荐43 推荐45 推荐47 推荐49 关键词1 关键词101 关键词201 关键词301 关键词401 关键词501 关键词601 关键词701 关键词801 关键词901 关键词1001 关键词1101 关键词1201 关键词1301 关键词1401 关键词1501 关键词1601 关键词1701 关键词1801 关键词1901 视频扩展1 视频扩展6 视频扩展11 视频扩展16 文章1 文章201 文章401 文章601 文章801 文章1001 资讯1 资讯501 资讯1001 资讯1501 标签1 标签501 标签1001 关键词1 关键词501 关键词1001 关键词1501 专题2001
关于使用 Lazy Collections 来提高 Laravel Excel 读取的性能详解(轻松支持百万数据)
2020-11-03 18:15:26 责编:小采
文档


在 Laravel 6 中添加了一种新类型的集合: Lazy Collections。 如果需要处理非常大的数据集(数千或数百万行)而不会遇到内存,那么它们是非常棒的。

推荐:laravel教程

我最近的任务是在工作中的一个项目中重构 Excel 导出。 问题是,由于数据集太大,Laravel 无法处理,导出无法再创建。 数据库查询返回了大约 300,000 个结果! 应用程序产生超时或一直内存不足。

一种天真的方法是增加超时时间或内存,并希望下次出现问题时,另一个人会处理这个问题。 但这不是我的工作方式。 我不喜欢创可贴。 我喜欢具体的、长期的解决方案。

Laravel Excel 扩展包已经相当灵活。 通过在使用 FromQuery-concerns 时使用「chunks」,它在减少数据库负载方面做得很好。 然而,我们的导出仍然很难处理大数据集。

我和我的同事讨论过,我们是否应该完全重写这个特性:将导出推送到队列中,并在导出结束时向用户发送通知。 然而,这个功能在这个应用程序中只是一个很小的东西。 对我们来说,仅仅为了一个简单的导出而增加如此多的开销是没有意义的。

那天晚些时候,我有一个小小的「我发现了」的时刻,因为我记得 Laravel 中有 LazyCollections 这个东东。

我重新编写了导出:它现在使用 FromCollection-concern,而不是 FromQuery。 我必须对 collection() 方法进行的惟一更改是将查询构建器链末尾的 get() 方法替换为 cursor()。

下面是我们导出功能的简化版本。 Request 对象通过构造函数传递,因此我们可以根据用户在 UI 中选择的内容对查询进行调整。

<?php 
namespace AppExports;
use AppUser;
use MaatwebsiteExcelConcernsExportable;
use MaatwebsiteExcelConcernsFromCollection;
use IlluminateHttpRequest;
class UsersExport implements FromCollection
{
 use Exportable;
 protected Request $request;
 public function __construct(Request $request)
 {
 $this->request = $request;
 }
 public function collection()
 {
 return User::query()
 ->when($this->request->get('include_subscribed'), function ($q) {
 return $q->where('is_subscribed', true);
 })
 ->cursor(); // ← 重要的一点
 }
}

我相信你在你的项目中遇到了内存问题。 你增加了内存,希望问题已经解决了 (我自己已经做过无数次了)。

如果是在 Laravel 项目中,我希望,我可以让你重新查看该代码并使用 LazyCollections 重写。

修复这个问题非常有趣,所以我做了一个小小的基准测试:我们的导出现在可以轻松地导出数百万行,而不会遇到内存。 太酷了!

下载本文
显示全文
专题