MRMD降维+weka验证+寻找最优分类

shixiang · 发表于 2015-10-10 10:11:55

1. 背景
MRMD是一种对蛋白质序列特征向量降维的方法。但是在实际的蛋白质分类工作中，难以确定究竟在哪个维度下能够得到最精确的分类结果。因此，在魏乐义师兄工作基础上对测试维度程序进行了删改，谢师兄支持。首先借助MRMD对训练集进行降维，再通过这个降维信息对测试集降维，最后调用weka的Liblinear分类器对降维后的训练集、测试集进行分类。如果需要集成其他分类器，可以自行增加类。
Github托管地址：https://github.com/ShixiangWan/MRMD
2. 运行环境：Java JDK1.7
3. 使用方法
3.1 将附件解压缩后直接导入Eclipse或Myeclipse，右键项目Buildpath添加项目文件夹lib中的所有jar包，不应有任何报错；
3.2 修改主文件MRMDFeatureSelection.java中的下面三个字段并运行主程序：

// arff训练集文件名称
String TrainfeaName = "TrainSeq_DD_473D_Features";
// arff测试集文件名称
String TestfeaName = "TestSeq_DD_473D_Features";
// arff文件所在路径
String dir = "C:\\ShixiangWan\\workspace\\MRMD\\arff_data\\";

复制代码

4. 特别提示
4.1 程序处理的所有文件都放在dir路径下，处理的临时文件末尾有“_temp”字样，保存最佳分类结果的文件末尾有“_best”字样；
4.2 默认从10维特征开始，以2的倍数寻找能够得到最佳分类结果的维数。当维数翻倍增加的情况下，分类精确度没有提升，那么将会以10递减维数，回溯寻找匹配最佳精确度的最低维数，直到低于最佳精确度为止。如果你的待降维特征低于10维，请修改如下字段：

int initNum = 10; // 特征选择初始值
int gap = 2; //特征选择间隔

复制代码

4.3 运行结果示例

当前特征维数：10
本次分类准确度：38.1201%, ↑
当前特征维数：20
本次分类准确度：52.7415%, ↑
当前特征维数：40
本次分类准确度：58.4856%, ↑
当前特征维数：80
本次分类准确度：58.7467%, ↑
当前特征维数：160
本次分类准确度：58.7467%, =
当前特征维数：150
本次分类准确度：58.7467%, =
当前特征维数：140
本次分类准确度：58.7467%, =
当前特征维数：130
本次分类准确度：58.7467%, =
当前特征维数：120
本次分类准确度：58.7467%, =
当前特征维数：110
本次分类准确度：58.7467%, =
当前特征维数：100
本次分类准确度：58.7467%, =
当前特征维数：90
本次分类准确度：58.7467%, =
当前特征维数：80
本次分类准确度：58.7467%, =
当前特征维数：70
本次分类准确度：58.7467%, =
当前特征维数：60
本次分类准确度：58.7467%, =
当前特征维数：50
本次分类准确度：57.9634%, ↓
最佳分类准确度：58.7467%
最佳特征维数：80

复制代码

4.4 如果大家有什么建议可以直接留言，谢谢大家。邮箱：shixiangwan@foxmail.com

zouquan · 发表于 2015-10-10 12:57:08

赞！如果可以的话，一起打进一个jar里面，以后的同学使用的时候，就可以直接用个命令行调用等结果了。

xmubingo · 发表于 2015-10-10 13:30:07

动手能力很强啊，会用github！所以，这事实上是一个线性空间搜索方法，寻找最优参数。

zouquan · 发表于 2015-10-10 13:31:39

xmubingo 发表于 2015-10-10 13:30
动手能力很强啊，会用github！所以，这事实上是一个线性空间搜索方法，寻找最优参数。

哈哈，青出于蓝吧

xmubingo · 发表于 2015-10-10 13:32:55

zouquan 发表于 2015-10-10 13:31
哈哈，青出于蓝吧

胜于蓝啊！@shixiang 助力，不怕没paper！

shixiang · 发表于 2015-10-10 14:23:52

谢谢大家支持哈。

再奉献一串小代码，将一个包含正例和反例的大文件分拆成两个特定实例数量的train.arff和test.arff：

/*
* 说明：对于某些正反例文件过大的情形，程序容易处理故障，本代码实现将大文件整合成正例和反例数目相等的文件，
* 同时保留剩余的实例，并删除错误分类的实例。
* 作者：万世想
* 时间：2015-10-05
* */
package demo02;
import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.FileReader;
import java.io.FileWriter;
import java.util.Random;
public class FormatArff {
public static void main(String[] args) {
String input_file_name = "pseb20_uniprot-cytokine70_all.arff"; //输入文件名
int num = 8000; //待选取的正例和反例的数目，如果此值大于文件中的正例或反例，将按照最小的值进行选取
String m_pos = "0"; //正例标记
String m_neg = "1"; //反例标记
String br_line1, br_line2, end;
int pos = 0, neg = 0, error = 0;
try {
//Please input the fasta file.
BufferedReader br = new BufferedReader(new FileReader(input_file_name));
BufferedReader br_main = new BufferedReader(new FileReader(input_file_name));
BufferedWriter bw_main = new BufferedWriter(new FileWriter("main.arff", true));
BufferedWriter bw_re = new BufferedWriter(new FileWriter("remain.arff", true));
//1. Count the number of pos, neg and error.
while (br.ready()) {
br_line1 = br.readLine();
if (br_line1 != null && br_line1.substring(0, 1).matches("[0-9]")) {
end = br_line1.substring(br_line1.lastIndexOf(",") + 1, br_line1.length());
if (end.equals(m_pos))
pos++;
else if (end.equals(m_neg))
neg++;
else
error++;
}
}
System.out.println("POS: " + pos);
System.out.println("NEG: " + neg);
System.out.println("ERROR: " + error);
//2. Get the minus number of instances.
int minNum = Math.min(Math.min(pos, neg), num);
//3. Choose random instance of pos and neg.
Random random = new Random();
boolean r_pos[] = new boolean[pos];
for (int i = 0; i < minNum;) {
int temp = random.nextInt(pos);
if (!r_pos[temp]) {
r_pos[temp] = true;
i++;
}
}
boolean r_neg[] = new boolean[neg];
for (int i = 0; i < minNum;) {
int temp = random.nextInt(neg);
if (!r_neg[temp]) {
r_neg[temp] = true;
i++;
}
}
//4. Integrate the pos and neg.
int i = 0, j = 0;
while (br_main.ready()) {
br_line2 = br_main.readLine();
if (br_line2 != null) {
if (!br_line2.substring(0, 1).matches("[0-9]")) {
bw_main.write(br_line2 + "\n");
bw_re.write(br_line2 + "\n");
} else {
end = br_line2.substring(br_line2.lastIndexOf(",") + 1, br_line2.length());
if (end.equals(m_pos)) {
if (r_pos[i] && i < pos) {
bw_main.write(br_line2 + "\n");
} else {
bw_re.write(br_line2 + "\n");
}
i++;
}
if (end.equals(m_neg)) {
if (r_neg[j] && j < neg) {
bw_main.write(br_line2 + "\n");
} else {
bw_re.write(br_line2 + "\n");
}
j++;
}
}
}
}
br.close();
br_main.close();
bw_main.close();
bw_re.close();
System.out.println("OK!");
} catch (Exception e) {
System.out.println("ERROR");
}
}
}

复制代码

shixiang · 发表于 2015-10-10 14:28:13

zouquan 发表于 2015-10-10 12:57
赞！如果可以的话，一起打进一个jar里面，以后的同学使用的时候，就可以直接用个命令行调用等结果了。

嗯嗯，这样就更好了，我再集成几个分类器，打成jar包。

zouquan · 发表于 2015-10-10 14:42:59

shixiang 发表于 2015-10-10 14:28
嗯嗯，这样就更好了，我再集成几个分类器，打成jar包。

还应该考虑一下时间开销，如果大的话，可以多线程；

wangjingjing · 发表于 2015-10-13 20:57:33

xmubingo 发表于 2015-10-10 13:30
动手能力很强啊，会用github！所以，这事实上是一个线性空间搜索方法，寻找最优参数。

我觉得应该教会大家用git oschina或者github

RockRabbit · 发表于 2015-10-21 12:05:05

很赞，厉害！

		自动登录	找回密码
密码			注册