python语言处理初探——分词、词性标注、提取名词_一杯原谅绿茶_python提取名词

未知 02-07 6096

这个教程里我们只需要调库，不需要了解原理，很简单的

参考文章：参考：Python NLTK 自然语言处理入门与例程参考1：NLP入门学习1——分词、词性标注 - CSDN博客参考2：使用nltk进行分词、词性标注、词性提取 - 知乎

介绍和安装：

可以直接下这个压缩包文章代码下载：蓝奏云链接

NLTK是最受欢迎的英文自然语言处理库

其包含了两部分，pip里带有的库，和它另外要下载的扩展库（大概700M）首先我们要用python官方安装器pip安装ntkl库，并用ntkl的函数安装它的扩展库新建一个download.py文件，输入运行以下代码

try: import nltk except ImportError: # 尝试导入nltk库，如果没有则系统运行pip安装 import os os.system('pip install nltk') import nltk nltk.download() # nltk自己的download程序

在弹出来的窗口中点击download下载安装

注意：如果提示“由于目标计算机积极拒绝”，下载出错

这是因为nltk的扩展库下载源来自github，网络被墙了需要自己想办法，或使用我的压缩包里包含的steamcommunity_302软件绕过github服务器

打开包里“绕过github服务器的软件（如果下载出错”文件夹，点开程序，点击“设置” - 打勾“Github访问”，保存设置再点启动服务

代码：

这里我们先导入库，并自定义一段自己的英文文本

# coding: utf-8 # NLTK是最受欢迎的自然语言处理库 import nltk # 自然语言处理 # 使用的文本 text = "Hello Mr. Adam, how are you? I hope everything is going well. Today is a good day, see you dude." 分词

直接调用NLTK的自带分函数

words = nltk.word_tokenize(text) # 单词分词 # print(words) # 也可以直接这样输出 print("words:" + str(words)) # 字符串＋转换成字符串的变量

输出效果： words:[‘Hello’, ‘Mr.’, ‘Adam’, ‘,’, ‘how’, ‘are’, ‘you’, ‘?’, ‘I’, ‘hope’, ‘everything’, ‘is’, ‘going’, ‘well’, ‘.’, ‘Today’, ‘is’, ‘a’, ‘good’, ‘day’, ‘,’, ‘see’, ‘you’, ‘dude’, ‘.’]

可以看到每个单词都被分开了

词性标注 tags = nltk.pos_tag(words) # 对单个字符进行标注 print("tags:" + str(tags))

输出效果： tags:[(‘Hello’, ‘NNP’), (‘Mr.’, ‘NNP’), (‘Adam’, ‘NNP’), (‘,’, ‘,’), (‘how’, ‘WRB’), (‘are’, ‘VBP’), (‘you’, ‘PRP’), (‘?’, ‘.’), (‘I’, ‘PRP’), (‘hope’, ‘VBP’), (‘everything’, ‘NN’), (‘is’, ‘VBZ’), (‘going’, ‘VBG’), (‘well’, ‘RB’), (‘.’, ‘.’), (‘Today’, ‘NN’), (‘is’, ‘VBZ’), (‘a’, ‘DT’), (‘good’, ‘JJ’), (‘day’, ‘NN’), (‘,’, ‘,’), (‘see’, ‘VBP’), (‘you’, ‘PRP’), (‘dude’, ‘VBP’), (‘.’, ‘.’)]

每个单词后面跟着它的词性，词性表可以参考：

提取名词

例：(‘day’, ‘NN’) ↑在列表里判断后一个变量是否为’NN’或’NNP’

NN表示普通名词，NNP表示专有名词

并输出（单词，词性）

NN = [(s1,s2) for (s1,s2) in tags if s2 in ['NN', 'NNP']] #对list列表的tags的两个变量进行判断（s1代表第一个变量，s2代表第二个变量） #提取出tags的NN和NNP单词。NN表示普通名词，NNP表示专有名词 print("N:" + str(NN))

输出效果：

N:[(‘Hello’, ‘NNP’), (‘Mr.’, ‘NNP’), (‘Adam’, ‘NNP’), (‘everything’, ‘NN’), (‘Today’, ‘NN’), (‘day’, ‘NN’)]

或：只输出第一个变量（单词）

NN = [s1 for (s1,s2) in tags if s2 in ['NN', 'NNP']] #对list列表的tags的两个变量进行判断（s1代表第一个变量，s2代表第二个变量） #提取出tags的NN和NNP单词。NN表示普通名词，NNP表示专有名词 print("N:" + str(NN))

输出效果： N:[‘Hello’, ‘Mr.’, ‘Adam’, ‘everything’, ‘Today’, ‘day’]

教程结束谢谢阅读！本文章所有的代码都放在开头了