NLTK :: Natural Language Toolkit

NLTK（Natural Language Toolkit）是领先的 Python 平台，专为处理人类语言数据而构建。它提供超过 50 个语料库和词汇资源（如 WordNet）的易用接口，以及一套用于分类、分词、词干提取、词性标注、句法分析和语义推理的文本处理库，同时封装了工业级 NLP 库，并拥有活跃的讨论社区。

NLTK 适合语言学家、工程师、学生、教育工作者、研究人员和行业用户。它支持 Windows、macOS 和 Linux，是免费、开源、社区驱动的项目，被评价为“使用 Python 进行计算语言学的教学和工作的绝佳工具”和“玩弄自然语言的惊人库”。

主要功能

• 分词与词性标注：对文本进行单词切分并标注词性（如名词、动词等）。
• 命名实体识别：从文本中识别出人名、地名等命名实体。
• 句法分析：生成句子的解析树，展示语法结构。
• 语料库访问：轻松使用数十种语料库和词汇资源。
• 文本分类、语义推理等高级 NLP 任务。

示例应用

以下代码展示了 NLTK 的基本使用：

import nltk
sentence = """At eight o'clock on Thursday morning
Arthur didn't feel very good."""
tokens = nltk.word_tokenize(sentence)
# 输出分词结果
tagged = nltk.pos_tag(tokens)  # 词性标注
entities = nltk.chunk.ne_chunk(tagged)  # 命名实体识别

适用场景

• 教学与学习：配套书籍《Natural Language Processing with Python》提供逐步指导，适合初学者。
• 学术研究：支持计算语言学、文本挖掘、语义分析等研究。
• 工业应用：可用于聊天机器人、情感分析、信息抽取等 NLP 任务。
• 快速原型开发：丰富的库和文档帮助快速实现 NLP 功能。

引用方式

如果使用 NLTK 发表作品，请引用：
Bird, Steven, Edward Loper and Ewan Klein (2009), Natural Language Processing with Python. O’Reilly Media Inc.