机器学习和生物信息学实验室联盟

标题: weka下的参数优化和搜索算法 [打印本页]

作者: xmubingo 时间: 2013-4-1 10:53
标题: weka下的参数优化和搜索算法
本帖最后由 xmubingo 于 2013-4-1 10:59 编辑

1. classify - meta - CVParameterSelection

可以自定义参数个数和搜索范围。搜索全部可能的点。

优点：参数个数可以自定义
缺点：时间很长。比如SVM的C和G参数，每个参数搜索10个可能的点，那么一共需要跑10*10次的交叉验证。

2. classify - meta - GridSearch

只能进行二维搜索，也就是参数只能两个。

先用2-fold交叉验证快速找到全局最优解，然后对全局最优解周边的点进行10-fold交叉验证得到局部最优解，依次用爬山法寻找隔壁的更好的解。直到陷入。

缺点：只能进行二维空间搜索
优点：时间略短，空间太大，步长小的时候还是耗时

这里GridSearch的参数设置很需要技巧。感谢邱诚的帮助，我顺便写下注意的东西。

[attach]1375[/attach]

其他参数都好理解。关键是Xproperty和Yproperty需要自己设定，和LibSVM里的参数名字一一对应。在过滤器中的设置选择AllFilter，也就是不需要过滤。否则会报出各种class和attribute错误。

3. select attributes - search method - PSOSearch

还有个PSO搜索算法是辅助应用在特征选择上，这个大家比较熟悉。

总结：搜索算法急需并行化，不然大数据的CV很耗时、

欢迎光临机器学习和生物信息学实验室联盟 (http://123.57.240.48/)