V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
werwer
V2EX  ›  问与答

求教,根据现成的 url 清单下载网页的最好方法是?

  •  
  •   werwer · 238 天前 · 807 次点击
    这是一个创建于 238 天前的主题,其中的信息可能已经有所发展或是发生改变。
    能够模拟登录状态,尽可能的高效且能避免被 ban
    6 条回复    2024-04-08 08:51:51 +08:00
    cutecore
        1
    cutecore  
       238 天前
    firefox 有两个插件: "Open Multiple URLs" 和 "SingleFile | 将完整的页面保存到一个 HTML 文件中" 搭配着用可以
    dallaslu
        2
    dallaslu  
       238 天前
    wget
    tool2d
        3
    tool2d  
       238 天前
    我以前用浏览器插件做远程调用实现过。

    wget/curl 这种 ssl 指纹都不一样。还是 chrome 主流的指纹,比较不容易进黑名单。当然也需要控制访问频率。
    gdfsjunjun
        4
    gdfsjunjun  
       238 天前
    不知道你是不是指 Save Page WE 这个 Chrome 扩展。
    我觉得很好用,直接将页面保存为单个文件。
    werwer
        5
    werwer  
    OP
       238 天前
    @gdfsjunjun 我是指根据已有的 url 大批量地下载网页。另外,你所说的这个扩展和直接 ctrl+s 然后选择格式为 mhtml ,有什么区别吗?
    gdfsjunjun
        6
    gdfsjunjun  
       237 天前
    @werwer 扩展会直接把图片转成 base64 ,你直接保存存的是图片链接,有可能以后会失效。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2941 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 12:43 · PVG 20:43 · LAX 04:43 · JFK 07:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.