机器学习和生物信息学实验室联盟

标题: 关于EML（Extreme learning machine ） [打印本页]
作者: guojiasheng    时间: 2016-7-20 09:23
标题: 关于EML（Extreme learning machine ）
本帖最后由 guojiasheng 于 2016-8-8 23:12 编辑

            上来先发个官方参照链接：http://www.ntu.edu.sg/home/egbhuang/index.html#

             中文叫： 极限学习机。  理论性的东西就参照链接去看吧，我也就大概看了一下，我也解析不清楚。
               
             那还是大致说一下吧，错了请指正：
           （1）其实就是关于神经网络，目前DL这么流行，这个我个人理解其实也差不多。
                   Paper说：对于单隐层前馈神经网络(SLFNs)，ELM比传统的学习算法速度更快。
                   神经网络里面训练模型需要调节参数，这个目前一般都是采用BP反馈调节（误差逆传播算法，调节的网络参数包括连接权，输出阈值），当隐层的结点很多的时候，这是一个很耗时间的过程。
                   ELM说，那我们不训练这些隐层结点参数。直接随机生成这些隐层结点，总可以了吧（据他们分析说，其实这样更好），之后他们就是
                   调节隐层和输出层的参数，然后一大堆公式，把这些要求的参数转化成矩阵公式，直接求逆了什么的，就给求出来了（单隐层）。速度就变快了。  所以我理解他们可以随机生成hidden,隐层结点个数，与输入的链接权重啊。那么后面只需呀要求解最后一层的权重参数即可。
           （2）我们数学不好，还是直接上代码吧，这边基于scikit-learn 以及他们的参考自己写了一个调用方法。
                   路径：
                            /Bioinformatics_Machine_Learning/Machine_Learning/classifier/ELM/Python-ELM
       
                          运行：python runElm.py -f sigmoid -h 10 -c EL heart_scale
                          输出：
  1. begin ELMClassifier init....
  2. elm init with hidden : 10 activation_func : sigmoid
  3. cross
  4. 10 cross validation result
  5. ACC:0.822222222222
  6. Auc:0.784603190927
  7. confusion_matrix
  8. [[132  18]
  9. [ 32  88]]
复制代码


           这边输出包括Auc，那么既然是AUC的话，就是说训练样本必须有正负两个样本，我们在交叉验证的时候，可能正好数据顺序取得，导致训练样本里面只有一个类，就会出错，可以看楼下同学的出错。
        我这边外加一个预处理函数，就是把样本随机打乱：
        例如：
                python preProceeingRandom.py heart_scale
        会在当前目录下生成一个heart_scale_random的文件，之后使用该文件运行ELM。


        包括：ACC 、AUC、混淆矩阵
        参数说明：
        -f :  激活函数，
sine
tanh
tribas
inv_tribas
sigmoid
hardlim
softlim
gaussian
multiquadric
inv_multiquadric

                                -c  elm的分类器，包括EL 、Gen
                                -h  隐层结点个数





来源: 关于EML（Extreme learning machine ）
作者: xingpengwei    时间: 2016-8-5 16:52
本帖最后由 xingpengwei 于 2016-8-5 16:55 编辑

运行一个400D的libsvm文件，出现了错误，不知道为什么，188D的也是
我的特征文件样例：见附件


  2. xingpengwei@biosrv:/Bioinformatics_Machine_Learning/Machine_Learning/classifier/ELM/Python-ELM$ python runElm.py -f sigmoid -h 10 -c EL CPPsite3_peptides_formated_400D.libsvm > error.log
  3. Traceback (most recent call last):
  4.   File "runElm.py", line 121, in <module>
  5.     ELMClassiferM(dgx,dgy,hidden=int(h),fun=f)
  6.   File "runElm.py", line 75, in ELMClassiferM
  7.     cross_val(dgx,dgy,elmc)
  8.   File "runElm.py", line 51, in cross_val
  9.     auc =  cross_val_score(e,x,y,cv=cv,scoring = "roc_auc");
  10.   File "/usr/local/lib/python2.7/dist-packages/sklearn/cross_validation.py", line 1433, in cross_val_score
  11.     for train, test in cv)
  12.   File "/usr/local/lib/python2.7/dist-packages/sklearn/externals/joblib/parallel.py", line 800, in __call__
  13.     while self.dispatch_one_batch(iterator):
  14.   File "/usr/local/lib/python2.7/dist-packages/sklearn/externals/joblib/parallel.py", line 658, in dispatch_one_batch
  15.     self._dispatch(tasks)
  16.   File "/usr/local/lib/python2.7/dist-packages/sklearn/externals/joblib/parallel.py", line 566, in _dispatch
  17.     job = ImmediateComputeBatch(batch)
  18.   File "/usr/local/lib/python2.7/dist-packages/sklearn/externals/joblib/parallel.py", line 180, in __init__
  19.     self.results = batch()
  20.   File "/usr/local/lib/python2.7/dist-packages/sklearn/externals/joblib/parallel.py", line 72, in __call__
  21.     return [func(*args, **kwargs) for func, args, kwargs in self.items]
  22.   File "/usr/local/lib/python2.7/dist-packages/sklearn/cross_validation.py", line 1550, in _fit_and_score
  23.     test_score = _score(estimator, X_test, y_test, scorer)
  24.   File "/usr/local/lib/python2.7/dist-packages/sklearn/cross_validation.py", line 1606, in _score
  25.     score = scorer(estimator, X_test, y_test)
  26.   File "/usr/local/lib/python2.7/dist-packages/sklearn/metrics/scorer.py", line 184, in __call__
  27.     return self._sign * self._score_func(y, y_pred, **self._kwargs)
  28.   File "/usr/local/lib/python2.7/dist-packages/sklearn/metrics/ranking.py", line 257, in roc_auc_score
  29.     sample_weight=sample_weight)
  30.   File "/usr/local/lib/python2.7/dist-packages/sklearn/metrics/base.py", line 79, in _average_binary_score
  31.     return binary_metric(y_true, y_score, sample_weight=sample_weight)
  32.   File "/usr/local/lib/python2.7/dist-packages/sklearn/metrics/ranking.py", line 248, in _binary_roc_auc_score
  33.     raise ValueError("Only one class present in y_true. ROC AUC score "
  34. ValueError: Only one class present in y_true. ROC AUC score is not defined in that case.
复制代码
作者: zouquan    时间: 2016-8-5 22:10
xingpengwei 发表于 2016-8-5 16:52
运行一个400D的libsvm文件，出现了错误，不知道为什么，188D的也是
我的特征文件样例：见附件

是在99服务器出错了吗？可以给佳盛发邮件，或者发给我，我转给佳盛。
作者: guojiasheng    时间: 2016-8-5 23:58
xingpengwei 发表于 2016-8-5 16:52
运行一个400D的libsvm文件，出现了错误，不知道为什么，188D的也是
我的特征文件样例：见附件

Only one class present in y_true. ROC AUC score. 看出错提示原因 。 你的训练集不对，计算auc时候，不能只有一个类别。
作者: xingpengwei    时间: 2016-8-7 00:32
guojiasheng 发表于 2016-8-5 23:58
Only one class present in y_true. ROC AUC score. 看出错提示原因 。 你的训练集不对，计算auc时候，不 ...

两个类别啊，正例负例都有，你可以看看我楼上的附件里的文件，和样例heart_scale一个格式，还请你帮我看看我的文件哪里有问题。
作者: guojiasheng    时间: 2016-8-7 09:57
xingpengwei 发表于 2016-8-7 00:32
两个类别啊，正例负例都有，你可以看看我楼上的附件里的文件，和样例heart_scale一个格式，还请你帮我看 ...

应该可能你数据没有随机，数据是按类别顺序来的，交叉验证的时候，可能就只是顺序取了前k个，k个正好都是+1的类别，你随机打乱一下数据，我稍微加个自动随机的函数。
作者: guojiasheng    时间: 2016-8-8 23:14
guojiasheng 发表于 2016-8-7 09:57
应该可能你数据没有随机，数据是按类别顺序来的，交叉验证的时候，可能就只是顺序取了前k个，k个正好都是 ...

我已经放到服务器，并在上面做了说明。
(1)加了预处理步骤，随机打乱数据。
作者: guojiasheng    时间: 2016-8-8 23:18
xingpengwei 发表于 2016-8-7 00:32
两个类别啊，正例负例都有，你可以看看我楼上的附件里的文件，和样例heart_scale一个格式，还请你帮我看 ...

python preProceeingRandom.py file。做一下预处理， 看上面更新的文字说明，就可以了。



欢迎光临 机器学习和生物信息学实验室联盟 (http://123.57.240.48/) Powered by Discuz! X3.2