南京大学：《自然语言处理 Natural Language Processing（NLP）》课程教学资源（PPT课件讲稿）自然语言处理概述、基于规则的自然语言处理方法（理性方法，传统方法）、机器翻译

自然语言处理 Natural Language Processing(NLP) 陈家骏，戴新宇，吴震 chenjj@nju.edu.cn daixinyu@nju.edu.cn wuz@nju.edu.cn

自然语言处理 Natural Language Processing(NLP) 陈家骏，戴新宇，吴震 chenjj@nju.edu.cn daixinyu@nju.edu.cn wuz@nju.edu.cn

自然语言处理概述

自然语言处理概述

什么是自然语言处理 口充分利用信息将会给人们带来巨大的收益，而大 量的信息以自然语言（英语、汉语等）形式存在。 口如何有效地获取和利用以自然语言形式出现的信 息？ 自然语言处理(Natural Language Processing,简 称NLP)是指用计算机对自然语言信息进行处理的理论、 方法和技术。 ▣与NLP相近的两个研究领域： 自然语言理解(Natural Language Understanding, NLU):强调对语言含义和意图的深层次解释 计算语言学(Computational Linguistics,CL):强调 可计算的语言理论

什么是自然语言处理  充分利用信息将会给人们带来巨大的收益，而大 量的信息以自然语言（英语、汉语等）形式存在。  如何有效地获取和利用以自然语言形式出现的信 息？ ◼ 自然语言处理（Natural Language Processing，简 称NLP）是指用计算机对自然语言信息进行处理的理论、 方法和技术。  与NLP相近的两个研究领域： ◼ 自然语言理解(Natural Language Understanding, NLU)：强调对语言含义和意图的深层次解释。 ◼ 计算语言学(Computational Linguistics, CL)：强调 可计算的语言理论

NLP技术的典型应用 口机器翻译 口自动摘要 口文本分类与信息过滤 口信息检索 口自动问答 口情感分析 口信息抽取 ▣

NLP技术的典型应用  机器翻译  自动摘要  文本分类与信息过滤  信息检索  自动问答  情感分析  信息抽取 

机器翻译 (Machine Translation) 口机器翻译(Machine Translation,简称MT)是指 利用计算机实现自然语言之间的自动翻译。 ■是最早的计算机应用之一 ■分为：文本机器翻译和语音机器翻译 a机器辅助翻译(Machine Aided Translation或 Computer Aided Translation,简称MAT或CAT) 翻译记忆体(Translation Memory,简称TM) ■双语对照的译后编辑

机器翻译（Machine Translation）  机器翻译（Machine Translation，简称MT）是指 利用计算机实现自然语言之间的自动翻译。 ◼ 是最早的计算机应用之一 ◼ 分为：文本机器翻译和语音机器翻译  机器辅助翻译（Machine Aided Translation或 Computer Aided Translation，简称MAT或CAT） ◼ 翻译记忆体（Translation Memory，简称TM） ◼ 双语对照的译后编辑 ◼

自动摘要(Text Summarization) 利用计算机自动地从原始文档中提取全面、准确 地反映该文档中心内容的简洁、连贯的短文。 ■分为单文档摘要和多文档摘要 ■应对信息过载

自动摘要（Text Summarization）  利用计算机自动地从原始文档中提取全面、准确 地反映该文档中心内容的简洁、连贯的短文。 ◼ 分为单文档摘要和多文档摘要 ◼ 应对信息过载

文本分类(Text Classification) 口将一篇文档归于预先给定的一个类别集合中的某一 类或某几类。可用于： ■新闻、出版物等的分类 ■ 网页分类 ·信息过滤（垃圾邮件、黄色网页等） ■推荐系统

文本分类（Text Classification）  将一篇文档归于预先给定的一个类别集合中的某一 类或某几类。可用于： ◼ 新闻、出版物等的分类 ◼ 网页分类 ◼ 信息过滤（垃圾邮件、黄色网页等） ◼ 推荐系统 ◼

信息检索(Information Retrieval,IR) 口基于关键词，从某文档集合中检索出相关的文档。 ■web搜索（谷歌搜索、百度搜索、..） ■属于主题相关的文本获取

信息检索（Information Retrieval，IR）  基于关键词，从某文档集合中检索出相关的文档。 ◼ web搜索（谷歌搜索、百度搜索、... ） ◼ 属于主题相关的文本获取

自动问答(Question Answering,QA) 口针对用户提出的问题，给出具体的答案。 ■各种问答机器人(Applel的Siri、IBM的Natson机器 人、) ■提高信息获取的效率

自动问答（Question Answering，QA）  针对用户提出的问题，给出具体的答案。 ◼ 各种问答机器人（Apple的Siri、IBM的Watson机器 人、…） ◼ 提高信息获取的效率

情感分析 (Sentiment Analysis Opinion Analysis 口分析文章（评论）对某个对象（社会热点事件、 产品或者服务)的态度（正面还是负面）。可用 于： ■政府舆情分析：热点事件发现和预警 ■企业市场决策：产品意见调查 ■消费者购买决策

情感分析（Sentiment Analysis或 Opinion Analysis ）  分析文章（评论）对某个对象（社会热点事件、 产品或者服务）的态度（正面还是负面）。可用 于： ◼ 政府舆情分析：热点事件发现和预警 ◼ 企业市场决策：产品意见调查 ◼ 消费者购买决策 ◼