集群(多进程)模式下的定时任务解决方案

6980
2022-11-03抚云Node.js架构全栈原创
在开发壁纸时,使用到了NestJS中的定时任务,但在发布生产后,却出现了数据重复问题。反复排查之后,最终发现问题的罪魁祸首是多进程环境导致的并发问题。在定时任务场景中,每个单独的服务进程都将执行一次定时任务,导致重复爬取。且因为各进程的执行时间差在毫秒级别,根本无法使用ID重复校验...[阅读全文]

使用定时任务解决log4js的按日期存储问题

3700
2022-11-03抚云Node.js原创
在《log4js按分类和日期存储为多文件问题》一文中,曾提出一种解决方案,以解决日志文件的分类、分日期存储问题。但,在NestJS的实践中,却发现,实际的日志输出并不严格按照日期分文件存储,即,当天的日志有很大可能是和前一天的日志存储在同一个(前一天)日志文件中。同时,中间件的方式也影响...[阅读全文]
  • 1