Laravel 11 项目性能优化：如何加速 Redis 7 数据流处理？🚀

嘿，大家好！👋

我最近在搞一个 Laravel 11 项目，使用 Redis 7 来处理数据流，结果在高峰期的时候，Redis 的流数据堆积得比处理速度还快，真是让人头大！😅

项目需要快速和高级的报告功能，我有个模型叫 StatisticAggregate，它会随着一天的进展来聚合数据。每次有新的 session，就会更新或创建一行数据。为了高效，我用的是 MySQL 8 的 upsert，因为有几百条数据需要更新或插入。

数据是通过 Redis 流来追加的，然后我用一个自定义的 artisan 命令（类似 Laravel Pulse）来无限循环地从流中拉取数据并 upsert 到数据库。问题是，随着一天的进展，流中的数据堆积得比处理速度还快。处理 1000 条数据大约需要 20-30 秒，也就是每分钟 2000 条，但高峰期每分钟有 5000 条以上的数据涌入。😩

我不认为是数据库的瓶颈，因为即使 Redis 中有大量积压，表中有 10 万行数据，系统负载下降时，积压的数据会在一夜之间处理完。如果是表慢的话，应该会在这里显现出来。

我是不是漏掉了什么关键的代码优化呢？求各位大佬指点！🙏

这是我的 worker 代码：

namespace App\Console\Commands\StatisticAggregates;

use Illuminate\Console\Command;
use Illuminate\Contracts\Console\Isolatable;
use Illuminate\Support\Sleep;
use Illuminate\Support\Facades\Cache;
use Illuminate\Support\Facades\Log;
use App\Services\StatisticAggregateStream;
use Carbon\CarbonImmutable;

class StatisticAggregatesStreamWork extends Command implements Isolatable
{
    // ... existing code ...

    public function handle(): int
    {
        // ... existing code ...

        while (true) {
            // ... existing code ...

            StatisticAggregateStream::digest();

            // ... existing code ...
        }
    }
}

还有 digest 函数：

namespace App\Services;

use Illuminate\Support\Facades\Redis;
use Illuminate\Support\Facades\Log;
use Illuminate\Support\Facades\DB;
use Illuminate\Support\Arr;
use Illuminate\Support\Collection;
use Illuminate\Database\QueryException;
use App\Models\Reports\StatisticAggregate;
use App\Models\Reports\StatisticAggregateRelation;
use Throwable;

class StatisticAggregateStream
{
    // ... existing code ...

    public static function digest(): int
    {
        $total = 0;

        while (true) {
            $entries = collect(Redis::connection('stream')->xrange(self::ingestKey(), '-', '+', self::$chunk));

            if ($entries->isEmpty()) {
                return $total;
            }

            $keys = $entries->keys();

            self::store(
                $entries->map(fn (array $payload) => unserialize($payload['data']))
            );

            Redis::connection('stream')->xdel(self::ingestKey(), $keys->toArray());

            if ($entries->count() < self::$chunk) {
                return $total + $entries->count();
            }

            $total = $total + $entries->count();
        }
    }
}

我已经尝试过调整 Redis 的 chunk 大小和优化数据库索引，但效果不明显。有没有人遇到过类似的问题？或者有什么建议可以提高处理速度吗？非常感谢！🙏

PS: 我已经喝了三杯咖啡来保持清醒，希望能尽快解决这个问题！☕️

标签：MySQL, PHP, Laravel, Redis, 性能优化, 数据流处理