关于EML（Extreme learning machine ）

guojiasheng

            上来先发个官方参照链接：http://www.ntu.edu.sg/home/egbhuang/index.html#

             中文叫： 极限学习机。  理论性的东西就参照链接去看吧，我也就大概看了一下，我也解析不清楚。
               
             那还是大致说一下吧，错了请指正：
           （1）其实就是关于神经网络，目前DL这么流行，这个我个人理解其实也差不多。
                   Paper说：对于单隐层前馈神经网络(SLFNs)，ELM比传统的学习算法速度更快。
                   神经网络里面训练模型需要调节参数，这个目前一般都是采用BP反馈调节（误差逆传播算法，调节的网络参数包括连接权，输出阈值），当隐层的结点很多的时候，这是一个很耗时间的过程。
                   ELM说，那我们不训练这些隐层结点参数。直接随机生成这些隐层结点，总可以了吧（据他们分析说，其实这样更好），之后他们就是
                   调节隐层和输出层的参数，然后一大堆公式，把这些要求的参数转化成矩阵公式，直接求逆了什么的，就给求出来了（单隐层）。速度就变快了。  所以我理解他们可以随机生成hidden,隐层结点个数，与输入的链接权重啊。那么后面只需呀要求解最后一层的权重参数即可。
           （2）我们数学不好，还是直接上代码吧，这边基于scikit-learn 以及他们的参考自己写了一个调用方法。
                   路径：
                            /Bioinformatics_Machine_Learning/Machine_Learning/classifier/ELM/Python-ELM
       
                          运行：python runElm.py -f sigmoid -h 10 -c EL heart_scale
                          输出：

1. begin ELMClassifier init....
   
2. elm init with hidden : 10 activation_func : sigmoid
   
3. cross
   
4. 10 cross validation result
   
5. ACC:0.822222222222
   
6. Auc:0.784603190927
   
7. confusion_matrix
   
8. [[132  18]
   
9. [ 32  88]]
   

复制代码

           这边输出包括Auc，那么既然是AUC的话，就是说训练样本必须有正负两个样本，我们在交叉验证的时候，可能正好数据顺序取得，导致训练样本里面只有一个类，就会出错，可以看楼下同学的出错。
        我这边外加一个预处理函数，就是把样本随机打乱：
        例如：
                python preProceeingRandom.py heart_scale
        会在当前目录下生成一个heart_scale_random的文件，之后使用该文件运行ELM。


        包括：ACC 、AUC、混淆矩阵
        参数说明：
        -f :  激活函数，

sine
tanh
tribas
inv_tribas
sigmoid
hardlim
softlim
gaussian
multiquadric
inv_multiquadric

                                -c  elm的分类器，包括EL 、Gen
                                -h  隐层结点个数





来源: 关于EML（Extreme learning machine ）

xingpengwei

运行一个400D的libsvm文件，出现了错误，不知道为什么，188D的也是
我的特征文件样例：见附件

1. 
   
2. xingpengwei@biosrv:/Bioinformatics_Machine_Learning/Machine_Learning/classifier/ELM/Python-ELM$ python runElm.py -f sigmoid -h 10 -c EL CPPsite3_peptides_formated_400D.libsvm > error.log
   
3. Traceback (most recent call last):
   
4.   File "runElm.py", line 121, in <module>
   
5.     ELMClassiferM(dgx,dgy,hidden=int(h),fun=f)
   
6.   File "runElm.py", line 75, in ELMClassiferM
   
7.     cross_val(dgx,dgy,elmc)
   
8.   File "runElm.py", line 51, in cross_val
   
9.     auc =  cross_val_score(e,x,y,cv=cv,scoring = "roc_auc");
   
10.   File "/usr/local/lib/python2.7/dist-packages/sklearn/cross_validation.py", line 1433, in cross_val_score
    
11.     for train, test in cv)
    
12.   File "/usr/local/lib/python2.7/dist-packages/sklearn/externals/joblib/parallel.py", line 800, in __call__
    
13.     while self.dispatch_one_batch(iterator):
    
14.   File "/usr/local/lib/python2.7/dist-packages/sklearn/externals/joblib/parallel.py", line 658, in dispatch_one_batch
    
15.     self._dispatch(tasks)
    
16.   File "/usr/local/lib/python2.7/dist-packages/sklearn/externals/joblib/parallel.py", line 566, in _dispatch
    
17.     job = ImmediateComputeBatch(batch)
    
18.   File "/usr/local/lib/python2.7/dist-packages/sklearn/externals/joblib/parallel.py", line 180, in __init__
    
19.     self.results = batch()
    
20.   File "/usr/local/lib/python2.7/dist-packages/sklearn/externals/joblib/parallel.py", line 72, in __call__
    
21.     return [func(*args, **kwargs) for func, args, kwargs in self.items]
    
22.   File "/usr/local/lib/python2.7/dist-packages/sklearn/cross_validation.py", line 1550, in _fit_and_score
    
23.     test_score = _score(estimator, X_test, y_test, scorer)
    
24.   File "/usr/local/lib/python2.7/dist-packages/sklearn/cross_validation.py", line 1606, in _score
    
25.     score = scorer(estimator, X_test, y_test)
    
26.   File "/usr/local/lib/python2.7/dist-packages/sklearn/metrics/scorer.py", line 184, in __call__
    
27.     return self._sign * self._score_func(y, y_pred, **self._kwargs)
    
28.   File "/usr/local/lib/python2.7/dist-packages/sklearn/metrics/ranking.py", line 257, in roc_auc_score
    
29.     sample_weight=sample_weight)
    
30.   File "/usr/local/lib/python2.7/dist-packages/sklearn/metrics/base.py", line 79, in _average_binary_score
    
31.     return binary_metric(y_true, y_score, sample_weight=sample_weight)
    
32.   File "/usr/local/lib/python2.7/dist-packages/sklearn/metrics/ranking.py", line 248, in _binary_roc_auc_score
    
33.     raise ValueError("Only one class present in y_true. ROC AUC score "
    
34. ValueError: Only one class present in y_true. ROC AUC score is not defined in that case.

复制代码

zouquan

xingpengwei 发表于 2016-8-5 16:52
运行一个400D的libsvm文件，出现了错误，不知道为什么，188D的也是
我的特征文件样例：见附件

是在99服务器出错了吗？可以给佳盛发邮件，或者发给我，我转给佳盛。

guojiasheng

xingpengwei 发表于 2016-8-5 16:52
运行一个400D的libsvm文件，出现了错误，不知道为什么，188D的也是
我的特征文件样例：见附件

Only one class present in y_true. ROC AUC score. 看出错提示原因 。 你的训练集不对，计算auc时候，不能只有一个类别。

xingpengwei

guojiasheng 发表于 2016-8-5 23:58
Only one class present in y_true. ROC AUC score. 看出错提示原因 。 你的训练集不对，计算auc时候，不 ...

两个类别啊，正例负例都有，你可以看看我楼上的附件里的文件，和样例heart_scale一个格式，还请你帮我看看我的文件哪里有问题。

guojiasheng

xingpengwei 发表于 2016-8-7 00:32
两个类别啊，正例负例都有，你可以看看我楼上的附件里的文件，和样例heart_scale一个格式，还请你帮我看 ...

应该可能你数据没有随机，数据是按类别顺序来的，交叉验证的时候，可能就只是顺序取了前k个，k个正好都是+1的类别，你随机打乱一下数据，我稍微加个自动随机的函数。

guojiasheng

guojiasheng 发表于 2016-8-7 09:57
应该可能你数据没有随机，数据是按类别顺序来的，交叉验证的时候，可能就只是顺序取了前k个，k个正好都是 ...

我已经放到服务器，并在上面做了说明。
(1)加了预处理步骤，随机打乱数据。

guojiasheng

xingpengwei 发表于 2016-8-7 00:32
两个类别啊，正例负例都有，你可以看看我楼上的附件里的文件，和样例heart_scale一个格式，还请你帮我看 ...

python preProceeingRandom.py file。做一下预处理， 看上面更新的文字说明，就可以了。