V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
0littleboy
V2EX  ›  程序员

C/S 架构线程池并发问题?

  •  
  •   0littleboy · 2023-06-06 14:24:37 +08:00 · 724 次点击
    这是一个创建于 541 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前有个练手的项目

    现在遇到几个问题:

    1. epoll 作为 io 多路复用模型,本身单线程就可以处理了,为何需要网络线程池
    2. 为什么要挂载在队列上,直接唤醒线程池不可以吗,反正线程池内部也有一个任务队列
    3. 如果要设定线程池线程上限的话,一般是多少,cpu 核数?
    4. 为啥要设定多个线程池,感觉一个线程池就够了,反正可以塞入不同的函数
    5. 在上传的时候,有必要分为 create 和 upload 两个步骤吗

    需求如下所示:

    采用 C/S 架构模拟 hdfs 实现文件上传下载,采用 protobuf 设计通信协议,需要分别实现客户端和服务端

    服务端:程序启动后,创建三个线程池。其中网络线程池使用 epoll 来监听 socket ,对于有新的数据到达后,完整接收下来,根据数据类型,挂载到元数据队列或数据队列上,并唤醒相应线程池的一个线程负责处理。元数据线程池被唤醒后,则从元数据队列取下数据,完成文件的创建、删除等。数据线程池被唤醒后,则从数据队列取下数据,完成文件的读、写等。

    客户端:程序启动后,创建两个线程池,采用命令行交互,用户上传或下载文件。待上传的文件挂载到上传队列,并唤醒上传线程池的一个线程负责处理,与服务器建立连接,上传本地文件。待下载的文件挂载到下载队列,并唤醒下载线程池的一个线程负责处理,与服务器建立连接,下载文件

    junmoxiao
        1
    junmoxiao  
       2023-06-06 17:14:09 +08:00
    "为何需要线程池":用多线程主要是为了利用多核,io 多路复用通俗来说就是把多次的阻塞等待合并到一起,但是还是一个线程在跑。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3211 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 13:00 · PVG 21:00 · LAX 05:00 · JFK 08:00
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.