V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
829939
V2EX  ›  程序员

全球音频领域哪家强?盘点常用的相关 Python 库

  •  1
     
  •   829939 ·
    LiweiDong · 2023-03-29 11:22:32 +08:00 · 1658 次点击
    这是一个创建于 610 天前的主题,其中的信息可能已经有所发展或是发生改变。

    针对 MIR(音乐信息检索) 领域工程研究概况,下面列出一些全世界最具有影响力的工程成果和相关组织,排名某些情况下可分先后。

    lib 派系(名牌大学) 组织(大佬、学术、名著) 语言
    librosa 美国纽约大学 NYU Rosa 实验室 Python
    aubio 英国 QueenMary 大学 C4DM 小组 C/Python
    essentia 西班牙 UPF 大学 MTG 小组 C++/Python
    madmom 奥地利 JKU 大学 CP 研究所 Python
    - 德国 FAU 大学 AudioLabs 实验室 -
    audioFlux 中国 JLD 大学(家里蹲) 校内码农 C/Python

    注:

    librosa,美国出品,目前业界内常用的库,其过程命令式的接口实现设计,方便易用、易理解的同时,也加剧了其性能短板,大规模数据跑起来特别慢。

    Rosa 实验室,大佬们的论文和各种资源令人目不暇接,但这在美国高校中只是冰山一角,整体反映出其行业背后“教研产创”生态的强壮和勃勃生机。

    aubio,更确切的应该是 qm-dsp 才是 C4DM 的项目,Chris Cannam 大神出品,偏向 mir/onset 这一块,可惜关注度不高,aubio 算是其简化版本,却打出一片名声,由于是简化版本,工具感较重一些,原版本相对丰富的音频特征并不突出,不太适合研发使用。

    英国作为老牌资本主义,QueenMary 大学产出的 Sonic/Vamp 业界也是赫赫有名,音频领域积累十分雄厚,和美国某种程度上不分伯仲,留学政策又相对友好,有意向计算机音频、音乐领域的同学,十分建议到此取经。

    essentia,其 MTG 小组也是 Vamp 插件的重量级产出方,当前库社区较活跃一些,功能上音频特征更全面一些,支持移动端,但整个设计体系感较弱,像一锅乱炖,使用上相比其它库不太方便,和 nn 有部分耦合。

    madmom,mir/onset 这块特别出色,但整体耦合 nn 相关。

    AudioLabs 实验室,工程上较为松散,缺乏有代表性的库,但每一小块拿出来,都是世界顶级水准,做音频这个行业,无论理论还是工程实践,其资源都是干货满满。

    audioFlux,音频特征较为全面,支持移动端,提供尽可能细粒度、体系化的特征维度和组合,但某些变换的逆操作尚未实现。


    开源无国界,开源者有自己的国界

    前两天发布了一篇名为“这个小项目,上周被国外 AI 新闻网站报道,前些天又上了 github 热榜”的帖子,没想到引起了一些关注,甚至再次进入了 Github Trending !在这里感谢各位 V2 大佬们的支持,你们的支持给了我很大的动力和信心,让我能够继续完善和优化这个小项目。

    从大家的评论中可以看出,V2 社区里有不少关注音频、数字信号领域的研究者或者从事相关业务的人。有人提到了降噪音、音频驱动马达振动、乐器调音器、孤立词识别、ECG 信号分类、音源分离等业务问题。当然,audioFlux 能够做的不仅仅是这些,如果大家有其他数字信号、深度学习或具体业务方面的问题,欢迎随时与我讨论。

    同时,也非常感谢大家提出的宝贵意见和建议,我会尽快整理并加入到 TodoList 中,以便更好地改进和完善这个小项目。再次感谢各位的支持和关注!

    如果你对这个项目感兴趣或有意向加入其中,非常欢迎你的加入,和我一起完善这个项目。

    7 条回复    2023-03-30 10:02:34 +08:00
    chatWell1
        1
    chatWell1  
       2023-03-29 11:29:01 +08:00
    只能给👍了,年轻 10 岁,在校园内我就加入
    CMLab
        2
    CMLab  
       2023-03-29 11:41:47 +08:00
    “但这在美国高校中只是冰山一角,整体反映出其行业背后“教研产创”生态的强壮和勃勃生机”,事实就是如此,何止音频领域这个小缩影啊
    lerp
        3
    lerp  
       2023-03-29 12:40:49 +08:00 via iPhone
    请教下楼主,audioFlux 有安卓端的例子吗
    smallsung
        4
    smallsung  
       2023-03-29 14:33:42 +08:00
    大佬的博客页面挺炫酷的
    kita
        5
    kita  
       2023-03-29 14:41:56 +08:00
    很好的总结,感恩
    JustSong
        6
    JustSong  
       2023-03-29 14:46:10 +08:00 via Android
    没必要隔两天就又变着花样发一次吧😅
    ManxCat
        7
    ManxCat  
       2023-03-30 10:02:34 +08:00
    冲着是国内大佬写的就得支持一下
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1377 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 23:43 · PVG 07:43 · LAX 15:43 · JFK 18:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.