从日本一个 ftp 拉 3T 的数据过来，速度很慢

迅雷

主机

代理

FTP

106 条回复 • 2016-12-29 16:34:34 +08:00

1 2

❮

❯

1

shenxian

2016-12-09 11:02:23 +08:00

aria2 起十个进程下载？

2

mrjoel

2016-12-09 11:03:53 +08:00 via iPhone

ftp 本身在日本，速度应该不慢，代理中转如果愿意给流量费可以试试 aws ，直连试试 QQ 旋风离线。

3

duobei

2016-12-09 11:04:44 +08:00

2

拷贝到一个盘，寄回来，这样可能比较快

4

waye

2016-12-09 11:05:39 +08:00

@duobei 哈哈我也想这么说

5

kokutou

2016-12-09 11:06:03 +08:00 via Android

挂个线路牛逼的 ss 。。。

6

zhuzhe1983

OP

2016-12-09 11:10:13 +08:00

@kokutou 有试过 ss ，但是 ss 在美国和日本速度都不理想

7

Laynooor

2016-12-09 11:10:59 +08:00

1

日本主机 → Oneprovider 香港 → 国内移动线路

8

geeksu

2016-12-09 11:11:02 +08:00

拷盘寄+1

9

simapple

2016-12-09 11:11:04 +08:00

4

亚马逊已经论证了，用卡车运数据其实更快。。。

10

zhuzhe1983

OP

2016-12-09 11:11:34 +08:00

@duobei 是在不行的话是打算这么弄～但是增量数据还是希望能够快点，不然 300*1024/200 > 10min

11

zhuzhe1983

OP

2016-12-09 11:12:51 +08:00

@shenxian 估计也是要下很久的～而且后续稳定链路也比较麻烦。

12

zhuzhe1983

OP

2016-12-09 11:13:07 +08:00

@Laynooor 多谢，一会弄个香港主机试试看。

13

Laynooor

2016-12-09 11:14:31 +08:00

接 7 楼
测试 IP ： 27.0.232.1
https://ooo.0o0.ooo/2016/12/09/584a2183e69f6.png

14

ericbize

2016-12-09 11:15:07 +08:00

楼主不放心别人的话就自己先搞到香港，再跑去香港搬回来。放心的话就让外面的给带回来或者邮寄回来～～～

15

yoke123

2016-12-09 11:15:48 +08:00

我擦 3T 的数据厉害啊我的哥开专线？

16

firefox12

2016-12-09 11:15:57 +08:00

3T 的数据你应该考虑数据一致性的修复和验证。

17

ericbize

2016-12-09 11:15:57 +08:00

阿里云隧道打通（国内国外各一台），包带宽？

18

cc930415

2016-12-09 11:17:21 +08:00

如果是企业宽带可以问下是否有外网加速服务（电信精品网，联通企业都有，每个月要加钱）
个人的话可以尝试用微林转发加速走 NTT 线路， 20 元 /24G ，速度可达到 20M （ 2.5 ），但是流量费要 3K 了，可以试着问下客服？，而且根据以往经验，加密大流量会被 GFW 封端口。。。

19

wenymedia

2016-12-09 11:17:48 +08:00 via Android

3T … 飞日本自取可能都比下载快… 两小时航程往返撑死 3 天

20

zhuzhe1983

OP

2016-12-09 11:18:31 +08:00

@yoke123 科研数据～体积比较大

21

mcfog

2016-12-09 11:20:36 +08:00

4

永远不要低估满载硬盘的卡车的带宽

22

zhuzhe1983

OP

2016-12-09 11:23:47 +08:00

@firefox12 首先多谢提醒。多文件一共 3T ，单文件本身有做压缩，而且文件格式比较特殊，破坏了估计是打不开的。

23

zhuzhe1983

OP

2016-12-09 11:24:14 +08:00

@mcfog 哈哈，这个新闻我也看到了

24

debiann

2016-12-09 11:25:56 +08:00

300M/10minute 的话速度是 4Mbps ，用阿里云开固定带宽可以胜任，长期用也没问题。

问题是初始的 3T 。
用美国慢，忽略。
用日本，有快的，但短时间内 3T 流量，容易被停机。

所以还是赶阿里云国际版的末班车下载一波。

25

sfree2005

2016-12-09 11:26:16 +08:00 via iPhone

虽然不知道你的应用场景但是不是这 3T 一定要拉到本地？如果要做各种分析能不能直接就在外面另外弄个服务器在上面处理？

26

zxy

2016-12-09 11:28:54 +08:00

你开个 kcp ，我来帮你试试

27

d7101120120

2016-12-09 11:31:24 +08:00

如果条件允许，办一个移动宽带，便宜方便快速专门用来做数据隧道。

28

DesignerSkyline

2016-12-09 11:40:50 +08:00

基因数据吗？这么大。。

29

ctj

2016-12-09 11:43:20 +08:00

1

移动宽带+1
wget 单线程下载 Linode 东京节点测速文件
2016-12-09 11:42:01 (3.83 MB/s) - ‘ 100MB-tokyo.bin ’ saved [104857600/104857600]
axel 4 线程的话是这个速度
Downloaded 100.0 megabytes in 19 seconds. (5170.48 KB/s)

基本上跑满 50M 带宽

30

zhuzhe1983

OP

2016-12-09 11:46:07 +08:00

@DesignerSkyline netcdf 格式的，多维度气象数据

31

goodbest

2016-12-09 12:01:25 +08:00

科研数据走 cernet ipv6 嘛，速度会很快的。

32

jeocat

2016-12-09 12:01:40 +08:00

找个日本朋友下载这个数据装进硬盘再寄过来～

33

goodbest

2016-12-09 12:04:19 +08:00

各位可能还忽略了一个问题：
既然这么大的数据，难道那个 FTP 自身就不限速么？

34

cedared

2016-12-09 12:10:16 +08:00

微林

35

techmoe

2016-12-09 12:11:33 +08:00 via Android

在不考虑数据安全性的情况下，可以尝试使用 PCS API 上传到百度云试试

36

zzutmebwd

2016-12-09 12:14:48 +08:00

遇到这类问题全部无脑推荐 btsync 极快

37

yulgang

2016-12-09 12:35:55 +08:00

要是用 Amazon S3 中转呢

38

chousb

2016-12-09 12:37:36 +08:00

这种数据量，请考虑使用顺丰协议。

39

jyf007

2016-12-09 12:44:49 +08:00 via Android

@chousb 高

40

cat9life

2016-12-09 12:49:49 +08:00

这么大数据想不到好办法...太快首先源服务器别拖垮了：）

41

zhuzhe1983

OP

2016-12-09 12:55:40 +08:00

@goodbest 在日本主机上下载基本可以跑慢百 M

42

skylancer

2016-12-09 12:55:54 +08:00

老实说，你要速度的流量费足够你飞日本来回几次了
香港飞日本的廉价航班也就 4 500 港币

43

zhuzhe1983

OP

2016-12-09 12:59:32 +08:00

@cedared 由于资源有限，目前我们暂时无法更多的新用户提供服务。 >_<

44

deadEgg

2016-12-09 13:01:54 +08:00

走韩国把，有很棒的路线。
韩国网络非常快，如果走韩国的话你线路的瓶颈在于韩国到你这。应该可以到 10M 左右

45

Sequencer

2016-12-09 13:08:12 +08:00

然后 3t 文件分段
开十个 vultr 的最低配
都装上 btsync

46

imyip

2016-12-09 13:08:17 +08:00 via Android

BBR

47

xzpjerry731

2016-12-09 13:08:41 +08:00

@simapple 求链接或者搜索的姿势……偶尔能看到这个梗，一直找不到出处

48

Actrace

2016-12-09 13:13:22 +08:00

楼主 3T 数据用微林 vxtrans 拉估计要破产。
还是老老实实做成 http 资源，然后用百度或者迅雷什么的离线拉吧。

49

cloudbeyond

2016-12-09 13:14:10 +08:00

TsunamiUDP

50

wclebb

2016-12-09 13:17:19 +08:00 via iPhone

@xzpjerry731 我刚搜到，亚马逊拉满 17 轮卡车。

51

wshedu

2016-12-09 13:17:29 +08:00

1

@xzpjerry731 http://mt.sohu.com/20161208/n475269405.shtml 这里链接

52

misty8873

2016-12-09 13:20:48 +08:00

直接让他们发硬盘吧。。。

53

lynnworld

2016-12-09 13:24:32 +08:00

分成 1500 个 2g 的文件，分发到多个主机上，再分别下载。

54

irainsoft

2016-12-09 13:26:25 +08:00

分卷加密压缩再拉到一个邻居 windows 服务器上百度云吧...

其实最好的方式还是寄回来

55

Wyatt

2016-12-09 13:56:52 +08:00 via Android

找个日本的主机装锐速或者新出的 BBR 当跳板，应该快很多

56

RqPS6rhmP3Nyn3Tm

2016-12-09 14:01:49 +08:00

迅雷离线……讲真

57

ovear

2016-12-09 14:13:22 +08:00

1

正在同步 600G 左右的数据，只能跟 LZ 说，千万不要用 VPN, SS 之类的 GFW 没办法分析的协议。流量一大就 RESET 之，要么就断流。（谁跟我说 CN2 没干扰的_(:з」∠)_，量一大照样干扰的跟渣渣一样，各种 reset ，限速， QOS ）
我现在用的是 UDP 的 SS over KCPTUN + Aliyun HK ，初步稳定下来了，但是问题在于流量放大了两倍左右，不过挺稳定， LZ 可以试试 HTTP 代理。

58

ovear

2016-12-09 14:13:46 +08:00

@ovear 呃用的是 rsync 同步，不过也够呛的

59

cydysm

2016-12-09 14:47:02 +08:00

大阪 speedtest 12Mbps

60

mliilm

2016-12-09 14:50:39 +08:00 via Android

试试迅雷离线下载？

61

zhuzhe1983

OP

2016-12-09 14:51:27 +08:00

现在用日本阿里云 ECS 搭了个 ftp 反向代理，貌似快了很多，杭州本地通过反向代理的 ftp 下载可以到 3M/s ，之前是直接从阿里云国内 ECS 访问日本 ECS ，速度只有 200K/s

感谢 @Laynooor @d7101120120 @ctj 提醒我国内不同网络的差异性

62

zhuzhe1983

OP

2016-12-09 14:52:46 +08:00

@mliilm 这个试过，也不是很理想，而且文件个数很多，添加比较麻烦。

63

zhuzhe1983

OP

2016-12-09 14:53:04 +08:00

@BXIA 这个试过，也不是很理想，而且文件个数很多，添加比较麻烦。

64

zhuzhe1983

OP

2016-12-09 14:55:14 +08:00

@ovear 感谢分享经验，看来刚才断掉是被 reset 掉了。

65

springx

2016-12-09 14:59:33 +08:00

@zhuzhe1983 科研数据不可以走 ipv6 吗，直接 1000M 起飞啊

66

ovear

2016-12-09 15:03:07 +08:00

@zhuzhe1983 刚才看了下， UDP 流量被全掐了，中断了。。看来还是要找个自带重传的软件比较靠谱，我这文件数目也好多，不适合做成 http ，不然直接打包就好了。
lz 找到好方法了记得 @我下哈~，我继续研究怎么传了_(:з」∠)_

67

watara

2016-12-09 15:05:36 +08:00

@zhuzhe1983 个人情况。。。我用日本代理下载日本网盘差不多 8M/s ，可能联通线路连日本比较好

68

springx

2016-12-09 15:06:52 +08:00

如果楼主能接入 ipv6 的话，在日本部署个大带宽的双栈主机做转发，应该可以稳定跑满速。

69

zhuzhe1983

OP

2016-12-09 15:14:50 +08:00

@springx 但是我们不是教育网啊，普通 IT 公司如何接入呢～

70

AsisA

2016-12-09 15:21:15 +08:00

在数据量过大、网络不好的时候，发硬盘确实是个可行的办法， AWS 现在都提供邮寄硬盘的服务了...

71

postlive

2016-12-09 15:38:35 +08:00 via Android

随便找个阿里 B 的梯子 200mbps 跑满就看 FTP 主机的带宽了要不开个 VPS 从 VPS 上往下拖

72

nikubenki

2016-12-09 15:42:27 +08:00

老司机开车吗

73

akwIX

2016-12-09 15:46:59 +08:00

亚太地区的流量很贵的，单向计费的那 3TB 多点，双向计费的得 6TB+的流量呢

你还是寄硬盘吧

74

ppwangs

2016-12-09 15:48:41 +08:00

200k 算你 10 个线程， 2mb/s ，一天 168.75 Gb ， 3T 数据大概 18 天。
我觉得拷到硬盘寄回来可能还要快一点，而且不丢包

75

PeterD

2016-12-09 16:29:45 +08:00

试试 aget

pip3 install aget

$ aget url -s 100

-s N
N 是并发下载个数

76

Gran1987

2016-12-09 16:41:04 +08:00 via iPhone

速度快还便宜的方法我觉得只有邮寄了，在日本找个网速给力的地方把数据拖下来几个小时，寄回中国最多四五天。

77

Clarencep

2016-12-09 16:47:27 +08:00

可以考虑参考菊花厂的这个服务：

http://www.hwclouds.com/product/des.html

78

lslqtz

2016-12-09 16:58:46 +08:00 via iPhone

@debiann 阿里云只有 2t ，所以要两台断点续传

79

debiann

2016-12-09 17:01:48 +08:00

@lslqtz 不用。开两台，只用一台下载。流量包是所有 ECS 实例共享的。

80

wdhwg001

2016-12-09 17:21:21 +08:00

@ovear Resilio 。
文件分片√
正确性验证√
重传√

可惜它仍然是加密的，且 GFW 不可识别。

如果想要 GFW 可识别的话，只能自己写脚本分片到 50M 以下，然后目标服务器在国内，备案，然后走 80 端口和 HTTP 协议，特征不给到这份上的话，估计这么大的东西无论怎么传都会被 GFW 当成加密数据的。

所以我更信赖装着硬盘的卡车。