V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ingin
V2EX  ›  Flask

在 flask 中 redis 订阅数据持久化到 mysql 的问题

  •  
  •   ingin · 2018-11-16 11:17:57 +08:00 · 4176 次点击
    这是一个创建于 2204 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在有一个 flask 项目,写了一个下任务的接口,下完任务需要调用第三方接口去做一个诊断服务,诊断完毕后会把结果推送到 redis 上,我需要订阅 redis 的 channel 来监控数据,所以我写了一个工具方法来监控这个 redis 的数据变化,监控到数据变化就持久化到 mysql,可是使用 gunicorn 来开四个进程跑 flask 服务的时候会同时写入 mysql 四条数据,总不能为了监控 redis 数据就只能使用一个进程来跑服务吧。

    7 条回复    2019-07-07 19:50:04 +08:00
    whl619969187
        1
    whl619969187  
       2018-11-16 11:39:19 +08:00
    redis 的消息订阅是广播类型的,所有会造成重复消费;
    可以用阻塞队列,起线程监听
    或者用 kafka 吧这个支持同消费组一条消息只消费一次的
    ingin
        2
    ingin  
    OP
       2018-11-16 11:41:50 +08:00
    @whl619969187 #1 redis 推送数据那个是第三方接口,所以我只能在我这边做改动
    whusnoopy
        3
    whusnoopy  
       2018-11-16 13:13:28 +08:00 via Android
    单开一个监听 redis 的服务进程? gunicorn 的 web 不去管这事

    或者用 celery 之类的做定时任务,一分钟去检查一次 redis,不要让 redis 自己推送
    feverzsj
        4
    feverzsj  
       2018-11-16 13:15:44 +08:00
    先进 mysql
    ingin
        5
    ingin  
    OP
       2018-11-16 13:43:46 +08:00
    @whusnoopy #3 目前我就是这样做的,但这就相当于两个项目了,还是想做到在一个项目内。
    whusnoopy
        6
    whusnoopy  
       2018-11-16 17:40:20 +08:00
    @ingin 项目还是可以是一个项目,代码在一块,只是部署时分开启一个 flask web app 和一个 celery app,另外如果需要维持 beat,还要给 celery 启一个 celery-beat
    liwb2
        7
    liwb2  
       2019-07-07 19:50:04 +08:00
    实现一个外部锁,当 4 个进程取到消息之后,先取请求锁,取得锁的进程开始写 db。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5439 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 07:44 · PVG 15:44 · LAX 23:44 · JFK 02:44
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.