机器学习和生物信息学实验室联盟

 找回密码
 注册

QQ登录

只需一步,快速开始

搜索
查看: 5607|回复: 6
打印 上一主题 下一主题

高性能SSH传输

[复制链接]
跳转到指定楼层
楼主
发表于 2012-4-25 16:48:05 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏 转播转播 分享分享
回复

使用道具 举报

沙发
发表于 2012-4-25 17:43:23 | 只看该作者
你终于搞定了?赞
回复 支持 反对

使用道具 举报

板凳
 楼主| 发表于 2012-4-25 18:07:14 | 只看该作者
本帖最后由 xmubingo 于 2012-4-25 18:11 编辑
zouquan 发表于 2012-4-25 17:43
你终于搞定了?赞


目前有两种选择:
一种是压缩之后再传,发现,一两GB的东西,压缩要时间,回头解压也要时间,最后结果合并也要时间。
另一种是,这种高速传输SSH,发现,Master带宽,接收的缓冲区大小,硬盘读写能力都有限。并不能提高多少。
也可以同时采取这两种方法。

我觉得hadoop传回2GB的时间也快不到哪里去。

目前版本,都还没加入以上两种方案,离比单机快的目标还远、、
回复 支持 反对

使用道具 举报

地板
 楼主| 发表于 2012-5-15 14:55:33 | 只看该作者
回复 支持 反对

使用道具 举报

5#
发表于 2012-5-15 15:27:28 | 只看该作者
xmubingo 发表于 2012-5-15 14:55
Remote Method Invocation
http://www.oracle.com/technetwork/java/javase/tech/index-jsp-136424.html
...

RMI可以用么?weka的多机并行交叉验证就是在RMI基础上开发的
回复 支持 反对

使用道具 举报

6#
 楼主| 发表于 2012-5-15 18:08:50 | 只看该作者
zouquan 发表于 2012-5-15 15:27
RMI可以用么?weka的多机并行交叉验证就是在RMI基础上开发的

还没做。
回复 支持 反对

使用道具 举报

7#
 楼主| 发表于 2012-5-15 20:51:41 | 只看该作者
zouquan 发表于 2012-5-15 15:27
RMI可以用么?weka的多机并行交叉验证就是在RMI基础上开发的

这个RMI是用来远程访问对象的。
有人用它来做传文件,思路是将要传输的数据当作远程函数的返回值传输,服务器接收到返回值之后写入本地文件。
估计效率不如scp吧。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

机器学习和生物信息学实验室联盟  

GMT+8, 2024-11-1 18:40 , Processed in 0.071572 second(s), 24 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表