关于文本分类的简单处理

guojiasheng

        今天看了以往不知道什么时候写的处理文本的一些代码，记录下来，希望对大家有用。{:101:}
       文本分类，简单的就拿反作弊来说。
       用户发的帖子有时候会包括一些广告，招聘，不健康等内容，我们需要想个办法把这些垃圾帖（spam）干掉，那么帖子有 spam 和 normal，这就是一个二分类问题的。一般来说，spam还是少的，所以有时候也是个不平衡的二分类问题。
      我们这边简单就说明一些如何基于当前用户发的帖子内容进行一些粗超处理，不考虑其他一些用户行为等等。

      当前发的帖子内容，就是文本，有时候还包括图片，图片可以使用OCR技术，识别出文字，接着走文本的流程。

      那如何对这些文本提取特征，训练分类器呢？
     
      这个套路还是比较清晰的，那不管怎么样，我们肯定要把这些训练语料转为某个向量表示吧。
      这边简单使用python的scikit-learn进行一个说明。
      1.首先叫做预处理，preprocessing：
               

• 去除停用词
• 分词
  

        分词可以使用python的jieba库：
          

1. def getsegments(sentence):
   
2.     return jieba.cut(sentence)

复制代码

        去除停用词（stop_words）,就是把那些语气词，没什么卵用的词给去掉，比如啊，好吧，是，也是这一类词，比如下面我这样的，把停用词都放到一个文本里面，然后用map存储，遇到一样的就删除掉。当然这边segin是对文本语聊分词之后的数据。

1. def stopwordfilter(segin,segout):
   
2.     stopwords = open ("newsstopword.txt",'r')
   
3.     stopwords_dict = {}
   
4.     for line in stopwords:
   
5.         stopwords_dict[line.strip()] = "1"
   
6.     stopwords.close()
   
7. 
   
8.     si = open(segin,'r')
   
9.     so = open(segout,'w')
   
10.     tiedic = {}
    
11.     for s in si:
    
12.         words = s.split()
    
13.         newwords = ""
    
14.         for word in words:
    
15.             if stopwords_dict.has_key(word):
    
16.                 continue
    
17.             else:
    
18.                 newwords += (word + "   ")
    
19. 
    
20.             if tiedic.has_key(newwords) == False:
    
21.                 tiedic[newwords] = "1"
    
22.                 so.write('%s\n' % newwords)
    
23.     si.close()
    
24.     so.close()

复制代码

       
      2.在sklearn.feature_extraction.text库里面包含了多种不同的对文本提取特征的方法：
      （1）CountVectorizer   提取了词频tf 特征
      （2）TfidfVectorizer     提取tfIdf
      （3）chi    卡方特征
       这边一般会配合使用SelectKBest()方法，获取靠前的top k个特征。
         
       

1. from sklearn.feature_extraction.text import CountVectorizer
   
2. from sklearn.feature_extraction.text import TfidfTransformer
   
3. from sklearn.feature_selection import SelectKBest, chi2
   
4. from sklearn.feature_extraction.text import TfidfVectorizer
   
5. from sklearn.naive_bayes import MultinomialNB
   
6. import numpy as np
   
7. from sklearn.feature_extraction.text import TfidfVectorizer
   
8. from sklearn import metrics
   
9. from text.textpredict import *
   
10. from sklearn.cross_validation import *
    
11. 
    
12. def train():
    
13.     train_words=["急需 钱用 不用 出售 如图 价值 千多 便宜 出售 出售 急 ",
    
14.                  "读 读 重复 读好输 不变 绿 求高人 指点迷津 ",
    
15.                  "诚召搛只呆家小时工，全职妈妈、在校学生、在家待业者、上班族、游戏者皆可做！每天5",
    
16.                  "发福利了 火熱找小莳工，每天在綫2--3小莳，莳涧地點没限制，薪资鈤结80--150/",
    
17.                  "急招小时工，每天在綫2--3小拭，时间地点没限制，薪资日结80--150/天，适 急招小时工，每天在綫2--3小拭，时间地点没限制，薪资日结80--150/天，适合学生党，手机党，上班族，有空闲时间者，有興趣缪系，QQ（937117723）咨询，此处不回！！",
    
18.                  "发福利来 火熱找小莳工，每天在綫2--3小莳，莳涧地點没限制，薪资鈤结80--150/",
    
19.                  "        读 不好 呜呜 ","这句 话 总是 知道 连读 ","求 师傅 交 口语 求有 耐心 老师 基础 学 ",
    
20.                  "听到 读 "
    
21.                  ]
    
22.     train_tags=[1,0,1,1,1,1,0,0,0,0]
    
23. 
    
24.     ##就提取了词频CountVectorizer
    
25.     count_v1 = CountVectorizer(stop_words=None, max_df=0.5)
    
26.     counts_train = count_v1.fit_transform(train_words)
    
27.     ##卡方检验chi,配合selectkbest 对特征进行选择
    
28.     chi= SelectKBest(chi2,10)
    
29.     mychi2 = chi.fit(counts_train, train_tags)
    
30.     hi2_train = mychi2.transform(counts_train)
    
31.     clf = MultinomialNB(alpha=0.01)
    
32.     clf.fit(hi2_train, np.asarray(train_tags))
    
33.     priedict = cross_val_predict(clf, hi2_train, train_tags)
    
34.     print metrics.confusion_matrix(train_tags, priedict)
    
35. 
    
36.     ##tf-idf
    
37.     Tfidf = TfidfVectorizer()
    
38.     tfidf_train = Tfidf.fit_transform(train_words)
    
39.     clf = MultinomialNB(alpha=0.01)
    
40.     clf.fit(tfidf_train, np.asarray(train_tags))
    
41.     priedict = cross_val_predict(clf, tfidf_train, train_tags)
    
42.     print metrics.confusion_matrix(train_tags, priedict)
    
43. 
    
44. 
    
45.     #print hi2_train
    
46. 
    
47. train()

复制代码