机器学习和生物信息学实验室联盟

标题: 高性能SSH传输 [打印本页]

作者: xmubingo    时间: 2012-4-25 16:48
标题: 高性能SSH传输
高性能SSH传输

HPN-SSH
http://www.psc.edu/networking/projects/hpn-ssh/
作者: zouquan    时间: 2012-4-25 17:43
你终于搞定了?赞
作者: xmubingo    时间: 2012-4-25 18:07
本帖最后由 xmubingo 于 2012-4-25 18:11 编辑
zouquan 发表于 2012-4-25 17:43
你终于搞定了?赞


目前有两种选择:
一种是压缩之后再传,发现,一两GB的东西,压缩要时间,回头解压也要时间,最后结果合并也要时间。
另一种是,这种高速传输SSH,发现,Master带宽,接收的缓冲区大小,硬盘读写能力都有限。并不能提高多少。
也可以同时采取这两种方法。

我觉得hadoop传回2GB的时间也快不到哪里去。

目前版本,都还没加入以上两种方案,离比单机快的目标还远、、
作者: xmubingo    时间: 2012-5-15 14:55
Remote Method Invocation
http://www.oracle.com/technetwor ... dex-jsp-136424.html

sample
http://www.cnblogs.com/leslies2/archive/2011/05/20/2051844.html
作者: zouquan    时间: 2012-5-15 15:27
xmubingo 发表于 2012-5-15 14:55
Remote Method Invocation
http://www.oracle.com/technetwork/java/javase/tech/index-jsp-136424.html
...

RMI可以用么?weka的多机并行交叉验证就是在RMI基础上开发的
作者: xmubingo    时间: 2012-5-15 18:08
zouquan 发表于 2012-5-15 15:27
RMI可以用么?weka的多机并行交叉验证就是在RMI基础上开发的

还没做。
作者: xmubingo    时间: 2012-5-15 20:51
zouquan 发表于 2012-5-15 15:27
RMI可以用么?weka的多机并行交叉验证就是在RMI基础上开发的

这个RMI是用来远程访问对象的。
有人用它来做传文件,思路是将要传输的数据当作远程函数的返回值传输,服务器接收到返回值之后写入本地文件。
估计效率不如scp吧。




欢迎光临 机器学习和生物信息学实验室联盟 (http://123.57.240.48/) Powered by Discuz! X3.2