python sklearn CountVectorizer的使用及相关说明

最近想用python对数据集进行数据预处理，想要分析系统调用之间的关系。初步想法是利用n-gram方法，因此查询到了python的sklearn中有一个CountVectorizer方法可以使用，在这里介绍一下这个函数的使用方法，以及其输出的相关含义。

0x01 输入及输出

            
              from sklearn.feature_extraction.text import CountVectorizer
# from sklearn.feature_extraction.text import TfidfTransformer
import pandas as pd

data = ['I love you', 'you are my angle are']


vecl = CountVectorizer(ngram_range=(1, 1), binary=False, token_pattern='\w{1,}')
xl = vecl.fit_transform(data)
print(vecl.get_feature_names())  # 特征名称
print(vecl.vocabulary_)             # 特征在列表中的索引位置
X = vecl.fit_transform(data)
print(X)
df = pd.DataFrame(X.toarray(), columns=vecl.get_feature_names()) # to DataFrame
print(df.head())
            
          

首先调用CountVectorizer方法，其中的几个参数意义如下：

ngram_range：（1,1）表示1-gram （2,2）表示2-gram   （1,2）表示1-gram + 2-gram

binary：FALSE表示不将文本进行二进制表示

token_pattern：通过正则表达式来确定哪些数据被过滤掉，默认情况下单个英文字母会被过滤掉，代码中的\w{1,}可以避免这种情况

            fit_transform(data) 用来对数据进行处理，表示成n-gram的形式
          

            get_feature_names()来获取都获取了哪特征
          

            vocabulary_用来表示特征在get_feature_names()中的列表中的位置
          

调用pandas库主要用于将特征以及生成的稀疏矩阵用表的形式展现出来

以下为输出结果：

图中第一行为获取的特征

第二行为各个特征的索引号，例如‘i’：2 表示字符i在特征表中的索引为2

第三部分为稀疏矩阵 正常的输出矩阵如下面的一部分所示， （0,2） 1  表示在全部矩阵的第0行第2列有数据1 在稀疏矩阵中没有表示的索引全部为0

第四部分为全部矩阵 最左侧的一列表示文本的索引号，0表示第一个文本 'I love you'   1表示'you are my angle are'

再看第二列 angle在0行值为0，在1行值为1 表示angle在一个文本中没有出现，在第二个文本中出现了一次

同理 第二列表示are在第一个文本中没有出现，在第二个文本中出现了两次。