关于快速确定大文件的行数

xmubingo

一般我们确定行数方法是读一行行：

1. public static void main(String args[])throws Exception
   
2.         {
   
3.                 Long startTime = System.currentTimeMillis();
   
4.                 BufferedReader br = new BufferedReader(new FileReader("F:\\hs37p1.EID\\hs37.intrEID"));
   
5.                 double i=0;
   
6.                 while(br.readLine()!=null)
   
7.                 {
   
8.                         i++;
   
9.                 }
   
10.                 br.close();
    
11.                 System.out.println(String.valueOf(i));
    
12.                 Long endTime = System.currentTimeMillis();
    
13.                 System.out.println("Totle time is "+ (endTime - startTime) + " milliseconds");
    
14.         }

复制代码

网上说有种方法很快：

1. static public void main(String args[]) {
   
2.                 Long startTime = System.currentTimeMillis();
   
3.                 File test = new File("F:\\hs37p1.EID\\hs37.intrEID");
   
4.                 long fileLength = test.length();
   
5. 
   
6.                 LineNumberReader rf = null;
   
7.                 try {
   
8.                         rf = new LineNumberReader(new FileReader(test));
   
9.                         if (rf != null) {
   
10.                                 double lines = 0;
    
11.                                 rf.skip(fileLength);
    
12.                                 lines = rf.getLineNumber();
    
13.                                 rf.close();
    
14.                                 System.out.println(String.valueOf(lines));
    
15.                         }
    
16.                        
    
17.                 } catch (IOException e) {
    
18.                         if (rf != null) {
    
19.                                 try {
    
20.                                         rf.close();
    
21.                                 } catch (IOException ee) {
    
22.                                 }
    
23.                         }
    
24.                 }
    
25.                 Long endTime = System.currentTimeMillis();
    
26.                 System.out.println("Totle time is "+ (endTime - startTime) + " milliseconds");
    
27.         }

复制代码

对一个1.72GB的文件，确定他们的行数871812行。
第一种方法：19466 milliseconds
第二种方法：18732 milliseconds

没觉得快多少。。。。。。。。
18秒对于webserver来说太可怕 了。
有没有更快的方法？求教育

zouquan

第二种方法很有意思，感觉更专业。web server毕竟不去用处理1.7G的文件。

但我猜底层实现是一样的，所以两种方法速度差不多。

如果第一种改成
String s=br.readLine();
i++;

估计就会慢不少

xmubingo

zouquan 发表于 2012-3-29 16:07
第二种方法很有意思，感觉更专业。web server毕竟不去用处理1.7G的文件。

但我猜底层实现是一样的，所以 ...

嗯，我决定采用第二种方法。