Laravel 项目求助：如何优化 Redis Stream 和 MySQL 的高并发数据处理？🚀

嘿，大家好！👋

我最近在搞一个 Laravel 项目，结果被 Redis 和 MySQL 搞得焦头烂额。😅 我有个自定义的 upsert worker，专门用来处理统计数据的聚合。项目需要快速且高级的报告功能，所以我用 Redis stream 来处理数据，然后用 Laravel 的 artisan 命令来从 stream 中拉数据并 upsert 到 MySQL 8 数据库。

问题是，到了高峰期，Redis stream 填得比我处理得还快！😱 每分钟大概有 5000 条数据进来，但我每分钟只能处理 2000 条。虽然数据库看起来没啥问题，因为晚上负载低的时候，积压的数据都能处理完，但白天就不行了。

我已经尝试了以下方法：

1. 调整 chunk 大小：我试着调大和调小 chunk 的大小，但似乎没啥效果。
2. 优化数据库索引：确认了 key_hash 上有唯一索引，upsert 的速度大概 15ms，但还是不够快。
3. 增加 worker 数量：想过增加 worker 的数量，但担心会不会导致其他问题。

下面是我的 worker 代码片段：

namespace App\Console\Commands\StatisticAggregates;

class StatisticAggregatesStreamWork extends Command implements Isolatable
{
    // ... existing code ...

    public function handle(): int
    {
        // ... existing code ...

        while (true) {
            // ... existing code ...

            StatisticAggregateStream::digest();

            // ... existing code ...
        }
    }
}

还有 digest 函数：

namespace App\Services;

class StatisticAggregateStream
{
    // ... existing code ...

    public static function digest(): int
    {
        $total = 0;

        while (true) {
            $entries = collect(Redis::connection('stream')->xrange(self::ingestKey(), '-', '+', self::$chunk));

            if ($entries->isEmpty()) {
                return $total;
            }

            $keys = $entries->keys();

            self::store(
                $entries->map(fn (array $payload) => unserialize($payload['data']))
            );

            Redis::connection('stream')->xdel(self::ingestKey(), $keys->toArray());

            if ($entries->count() < self::$chunk) {
                return $total + $entries->count();
            }

            $total = $total + $entries->count();
        }
    }
}

我是不是漏掉了什么关键的优化点？或者有其他更好的方法来处理这种高并发的情况？求各位大佬指点迷津！🙏

PS：如果有其他关于 Laravel、Redis 或 MySQL 的优化建议，也欢迎分享！谢谢大家！🌟