经验总结

  1. 首页 > 生活 > >

Asp-Net-Core开发笔记：集成Hangfire实现异步任务队列和定时任务

生活百科

前言最近把Python写的数据采集平台往.Net Core上迁移，原本的采集任务使用多进程+线程池的方式来加快采集速度，使用Celery作为异步任务队列兼具定时任务功能，这套东西用着还行，但反正就折腾嘛，直接上C#~

本文记录 Hangfire 在实际应用里的用法，我发现网络上找到的大部分文章都是用 Hangfire 的异步任务输出个 Hello World，然后就没了 。我实在不知道这样的文章写了有什么意义？？除了浪费看的人的时间之外，还浪费自己写文章的时间……
.NetCore作为一个高性能的平台，自然不可能输给Python，不过我不想造轮子了（菜），找个现成的方案来用，免得踩坑~
先是调研了一下.NetCore目前的生态，发现有几个选择：
  • FreeScheduler
  • Quartz.net
  • Hangfire
第一个 FreeScheduler 和 FreeSQL 项目出自同一个作者之手，刚好我的项目也是用的 FreeSQL 作为 ORM，不过看了一下Github上stars比较少，而且文档暂时还不完善，我最关心的依赖注入功能暂时还不好搞，于是只好作罢 。
然后在 Quartz.net 和 Hangfire 两者中，我选择了后者，原因是我之前做 CrawlCenterNet 项目的时候用过 Hangfire，还挺好用的，且带有一个简单的 dashboard，比较直观~
那么就开始吧~
关于后端的选择这里的后端指的是任务队列的存储后端，也就是 Hangfire 文档中写的 Storage 。
看了一下官网，大部分关系型非关系型数据库都是可以的，那我就放心了 。由于目前生产环境在使用 Oracle 数据库，所以一开始我选择了 Oracle 作为 Storage，但是在同时开到2000多个任务的时候报错了，看了下原因是表空间不足，是 Oracle 的问题…
所以为了性能和稳定性，我弃坑了，接着尝试了 SQLite （仅作为本地测试），结果发现配置里面定义了 Connection String 但它不理我，直接把这个 Connection String 作为数据库的名称了，无语… 这样就没办法把 SQLite 数据库设置为异步模式，那速度就直接乌龟爬了…
再次弃坑… 这次直接上 Redis 了，为了提高性能，舍弃持久化能力~ Redis也没让我失望，几千个任务压根不带眨眼的，nice~
数据采集代码Hangfire 组件不是一开始就引入的，这里先上最基本的数据采集代码，后面的介绍才能更清楚~
关键的代码在 Services/CrawlService.cs 文件中
public class CrawlService {// 依赖注入一些服务private readonly IBaseRepository<Proc> _repo;public async Task CrawlAllProc() {for(var i=1; i<2000; i++) {await CrawlProcList(i);}}public async Task CrawlProcList(int page) {// 具体代码省略了var procList = ; //...foreach (var proc in procList) {await CrawlProc(proc);}}public async Task CrawlProc(Proc proc) { }}然后，当启动采集任务的时候，直接去调用 CrawlAllProc 方法，这样就开始一页一页采集，每页又有很多的 Proc 数据，全都采集下来 。
上面的代码用的是 await ，会等待异步方法完成，速度很慢，去掉 await ，在新线程中执行任务，不等待其结束，不过问题也很明显，如果出错了很难调试，这样就不好保证系统的稳定性 。
接下来我们用 Hangfire 来改造 。
安装 Hangfire本项目用到了以下依赖：
  • Hangfire.Core
  • Hangfire.AspNetCore
  • Hangfire.Redis.StackExchange
直接 nuget 一把梭完事
注册服务为了跟后面的内容区分，这里先来官方的例子
注册服务：
services.AddHangfire(configuration => configuration.SetDataCompatibilityLevel(CompatibilityLevel.Version_170).UseSimpleAssemblyNameTypeSerializer().UseRecommendedSerializerSettings()// 根据实际使用的 Storage 来注册.UseRedisStorage();services.AddHangfireServer();

经验总结扩展阅读


上一篇：2023年10月19日拜观音求子行吗 2023年10月19日拜观音求子吉日一览表

下一篇：对循环神经网络参数的理解|LSTM RNN Input_size Batch Sequence