人工智能简介 - 东南大学计算机科学与工程学院

2012 年 东 南 大 学 软 件 学 院《 人 工 智 能 》 选 修 课人 工 智 能 简 介刘 胥 影liuxy@seu.edu.cnhttp://cse.seu.edu.cn/people/xyliu/course/ai2012/什 么 是 人 工 智 能 ?2

“It is the science and engineering of makingintelligent machines, especially intelligentcomputer programs. ”--John McCarthy3人 工 智 能 历 史• 梦 想 阶 段• 萌 芽 阶 段• AI 的 开 始 和 发 展 (1950 年 — 今 )4

梦 想 阶 段• 《 荷 马 史 诗 》(B.C. 800) 中 的 《 伊 利 亚 特 》提 到 了 会 自 己 移 动 的 椅 子• 希 腊 神 话 中 提 到 了 由 象 牙 雕 刻 的 具 有 生 命的 仆 人5• Ramon Llull (1235‐1316), 西 班 牙 诗 人Ars Magna: 为 了 使 穆 斯 林 人 改 信 基 督 教 的 逻 辑推 理 系 统6

• 1738 年 , 法 国 发 明 者 Jacques de Vaucanson 设 计 了机 械 鸭 子– 嘎 嘎 叫– 拍 翅 膀– 划 水– 喝 水– 吃 食– 消 化 食 物Original designFrederic Vidoni's ANAS, inspired byVaucanson's duck.9• 1920 年 , 捷 克 剧 作 家 Karel Capek 创 造 了 词 ”robot”Robot: 劳 工 苦 役“Robots remember everything, and thinkof nothing new. According to Domin [thefactory director] `They'd make fineuniversity professors.' . . . once in a while,a Robot will throw down his work andstart gnashing his teeth……”A scene from a New York production of R.U.R.10

• Isaac Asimov( 阿 西 莫 夫 ) 著 名 的 “ 机 器 人 三 定 律 ”– 第 一 定 律 : 机 器 人 不 得 伤 害 人 , 也 不 得 见 人 被 伤 害 而袖 手 旁 观– 第 二 定 律 : 机 器 人 应 服 从 人 的 一 切 命 令 , 但 不 得 违 反第 一 定 律– 第 三 定 律 : 机 器 人 应 保 护 自 身 安 全 , 但 不 得 违 反 第 一定 律 或 第 二 定 律11萌 芽 阶 段从 各 个 领 域 分 别 萌 芽 , 各 自 追 寻 智 能 的 某 个 / 些 因 素的 自 动 化• 哲 学• 逻 辑• 生 物• 心 理• 概 率• 工 程12

从 逻 辑 出 发• 亚 里 士 多 德 的 “ 三 段 论 ”三 段 论 的 “ 形 式 ” 可 以 作 为 一 个 自 动 推 理 系 统13• Gottfried Wilhelm Leibniz (1646‐1716, 莱 布 尼 兹 ),德 国 哲 学 家 、 数 学 家 、 逻 辑 学 家 , 是 研 究 自 动 逻辑 推 理 的 先 驱 之 一 。其 工 作 为 如 何 自 动 推 理 提 供 了参 考 :• 建 立 基 于 符 号 的 简 单 的 逻 辑推 理 规 则• 提 供 了 将 简 单 的 推 理 规 则 合并 成 复 杂 推 理 的 方 法“…how much better will it be to bring under mathematical laws human reasoning, which isthe most excellent and useful thing we have.”14

• Stanhope‘s box: 第 一 个 自 动 逻 辑 推 理 机15• George Boole, (1815‐1864, 布 尔 ), 布 尔 代 数 发 明者“to collect. . . some probable intimations concerning thenature and constitution of the human mind”考 查 了 人 类 推 理 的 很 多 逻 辑 原 理 , 并 且 将其 表 达 成 数 学 形 式OR: + p∨q p + qAND: × p∧q p ×q不 可 能 同 时 有 x, 又 同 时 没 有 x显 示 了 可 以 通 过 运 算 表 示 命 题 的 等 式 进 行 逻 辑 推 理 。这 为 自 动 逻 辑 推 理 提 供 了 重 要 的 线 索 。 一 个 与 之 等 价的 逻 辑 系 统 “ 命 题 逻 辑 ” 在 AI 领 域 扮 演 了 重 要 角 色 。16

• Friedrich Ludwig Gottlob Frege (1848‐1925)The x who is predicated to be a person and that it isthe same x who is then claimed to be mortal.等 价 于 :x,P(x) M (x)是 AI 中 的 一 个 重 要 系 统 “ 谓 词 逻 辑 ” 的 前 身 , 并 启 示了 Sense Network, 当 今 AI 很 热 的 一 个 研 究 领 域17从 脑 科 学 出 发• 西 班 牙 神 经 解 剖 学 家 Santiago Ramony Cajal:神 经 元 和 它 们 之 间 的 连 接 对 脑 功 能 有 重 要 作 用( 获 1906 年 诺 贝 尔 奖 )终 端 纽树 突细 胞 体轴 突突 触人 脑 有 10个 神 经 元 , 0.5个 10 突 触12 18

• 美 国 神 经 生 理 学 家 Warren McCulloch 和 逻 辑 学 家Walter Pitts(1943 年 )神 经 元 实 际 上 是 一 个 逻 辑 单 元 , 由 其 组 成 的 网 络可 以 执 行 任 何 计 算 操 作Warren McCullochM‐P 神 经 元 网 络Warren S. McCulloch and Walter Pitts, “A Logical Calculus of Ideas Im- manent inNervous Activity,” Bulletin of Mathematical Biophysics, Vol. 5, pp. 115–133, 1943.19• 加 拿 大 神 经 心 理 学 家 Donald O. Hebb:Hebb rule (Hebbian learning rule), 在 神 经 网 络 技 术中 广 泛 使 用Hebb rule:神 经 网 络 的 学 习 过 程 最 终 是发 生 在 神 经 元 之 间 的 突 触 部位 , 突 触 的 联 结 强 度 随 着 突触 前 后 神 经 元 的 活 动 而 变 化 ,变 化 的 量 与 两 个 神 经 元 的 活性 之 和 成 正 比 。20

从 心 理 学 出 发• 在 B. F. Skinner 的 研 究 之 前 , 心 理 学 的 是 主 观 性 的 研 究• B. F. Skinner 认 为 应 该 只 关 注 于 可 以 被 客 观 测 量 的 , 即 ,研 究 行 为 如 何 响 应 刺 激 。提 出 了 “ 强 化 刺 激 ” 的 想 法 : 对 近期 行 为 进 行 奖 赏 , 可 以 使 该 行 为 更容 易 出 现 。 这 开 启 了 “ 强 化 学 习 ”的 研 究 (Reinforcement learning, AI中 的 一 个 热 门 领 域 )。21认 知 科 学 的 产 生• Symposium on Information Theory, Sep. 10 ‐ 12,1956, at MIT.– George A. Miller: 短 期 记 忆 的 特 点– Chomsky: 三 种 语 法– Allen Newell & Herbert Simon (AI 先 驱 ): 使 用 命 题 逻 辑 进行 定 理 证 明George A. Miller 提 出 了 TOTC (Test‐Operate‐Test‐Exit)机 制 , 开 启 了 认 知 研 究 的 先 河 。认 知 科 学 使 用 “ 目 标 ”,“ 记 忆 ”,“ 任 务 序 列 ” 等 概 念 ,使 用 非 神 经 生 理 学 的 方 法 对 内 部 的 认 知 过 程 进 行 解 释 。22

从 进 化 出 发• 从 生 物 进 化 中 得 到 启 发• 1954 年 第 一 次 尝 试 设 计 算 法 解 决 一 个 简 单 的 逻 辑问 题• 最 杰 出 的 一 项 早 期 工 作 是 60 年 代 初 期 John Holland设 计 的 遗 传 算 法 , 成 为 遗 传 算 法 领 域 (AI 的 热 门 领域 ) 的 基 本 方 法23遗 传 算 法 原 理 示 意 图问 题 的解 决 方 案编 码染 色 体010第 一 代进 化第 二 代10第 n 代变 异交 叉010111110000000111010000024

从 工 程 学 出 发• 在 工 程 学 中 , 为 了 使 机 器 能 对 外 界 环 境 感 知 , 提出 了 “ 反 馈 ” 机 制– 举 例 : 马 桶 水 箱 的 设 计 使 用 了 “ 负 反 馈 ”• 自 组 织 :一 个 含 有 大 量 分 子 或 其 他 结 构 单 元 的 系 统 , 在 其内 在 作 用 力 的 驱 动 下 , 通 过 与 外 界 交 换 能 量 、 物质 和 信 息 , 按 一 定 的 规 律 运 动 使 这 些 结 构 单 元 重新 排 列 组 合 , 并 自 发 聚 集 成 有 规 律 结 构 的 现 象 。25从 概 率 论 出 发• 几 乎 所 有 的 推 理 和 决 策 都 面 对 不 确 定 的 环 境 , 因此 , 解 决 不 确 定 性 带 来 的 问 题 在 自 动 智 能 中 扮 演了 重 要 角 色 。‐‐‐‐ 概 率 和 统 计• 贝 叶 斯 规 则 在 AI 中 占 有 重 要 地 位P(y|x) = P(x|y)P(y)/P(x)If P(y=A|x) >= P(y=B|x), then decide x is from B26

• 贝 叶 斯 规 则 举 例A 箱B 箱从 A 箱 中 取 球 的 概 率 是 0.7, 从 B 箱 取 球 的 概 率 是 0.3.若 取 出 一 个 红 球 , 则 该 球 取 自 A 箱 还 是 B 箱 ?P(y=A) = 0.7, P(y=B) = 0.3P(x|y=A) = 0.5, P(x|y=B) = 0.8P(y=A|x) = P(x|y=A)P(y=A)/P(x) = 0.35/P(x)P(y=B|x) = P(x|y=B)p(y=B)/P(x) = 0.24/P(x)X 取 自 B 箱27• 贝 叶 斯 规 则 在 AI 中 的 重 要 地 位– 构 成 了 模 式 识 别 领 域 (AI 的 热 门 领 域 ) 的 基 础– 在 机 器 学 习 领 域 (AI 的 热 门 领 域 ) 形 成 一 大 流 派• C. S. 的 人 在 做 机 器 学 习• Stat. 的 人 也 在 做 机 器 学 习Michael I. JordanUC Berkeley计 算 机 系 教 授统 计 系 教 授贝 叶 斯 学 派 掌 门 人PatternRecognitionand MachineLearning,by ChristopherBishop28

– Karl Pearson (1857–1936)– Sir Ronald A. Fisher (1890–1962):Fisher 定 理 ,LDA, 模 式 识 别 中 的 经 典 分 类 方 法– Abraham Wald (1902–1950)– Jerzey Neyman (1894–1981) :Pearson‐Neyman 定 理29• 计 算 装 置 的 发 展从 计 算 机 科 学 出 发– Charles Babbage 1822 年 设 计 了 “ 差 分 机 ”, 可以 看 做 是 第 一 台 通 用 的 “ 计 算 机 ”Charles Babbage设 计 模 型2002 年 建 造Video: http://www.computerhistory.org/babbage/30

• 计 算 理 论 的 发 展– 图 灵 机 和 可 计 算 性Alan M. Turing图 灵 机 等 价 于 Church 提 出 的 “ 递 归 ” 和 “lambda 演 算 ”31• 数 字 计 算 机 的 发 展– 德 国 工 程 师 Konrad Zuse 的 Z3 机 是 世 界 上 第 一 台由 程 序 控 制 的 计 算 机– 冯 . 诺 依 曼 体 系 结 构32

• 图 灵 测 试AI 的 开 端I propose to consider the question,"Can Machines Think?”- Alan M. Turing“Computing Machinery and Intelligence” by Turing in 195033• 1956 年 达 特 茅 斯 会 议 : 开 创 了 AI 领 域“We propose that a 2 month, 10 man study of artificialintelligence be carried out during the summer of 1956 atDartmouth College in Hanover, New Hampshire. The study is toproceed on the basis of the conjecture that every aspect of learningor any other feature of intelligence can in principle be so preciselydescribed that a machine can be made to simulate it. An attemptwill be made to find how to make machines use language, formabstractions and concepts, solve kinds of problems now reserved forhumans, and improve themselves. We think that a significantadvance can be made in one or more of these problems if a carefullyselected group of scientists work on it together for a summer…”‐‐ John McCarthy 的 会 议 提 议34

• 1956 年 达 特 茅 斯 会 议 : 开 创 了 AI 领 域– John McCarthy,“ 人 工 智 能 之 父 ”,1971 年 图 灵 奖 获 得 者– Marvin Minsky,“ 人 工 智 能 之 父 ”,1969 年 图 灵 奖 获 得 者– Allen Newell, “ 人 工 智 能 之 父 ”,1975 年 图 灵 奖 获 得 者Herbert Simon,“ 人 工 智 能 之 父 ”,1975 年 图 灵 奖 获 得 者– Claude Shannon, 信 息 论 创 始 人– Arthur Samuel, 设 计 了 第 一 个 西 洋 棋 程 序– Oliver Selfridge,“ 感 知 机 之 父 ”, 对 模 式 识 别 和 机 器学 习 有 很 大 贡 献– Ray Solomonoff, 发 明 了 算 法 概 率 ,“ 算 法 信 息 论 ” 创始 人 , 机 器 学 习 的 开 创 者 之 一– Nathaniel Rochester– Alex Bernstein35• John McCarthy (1927–2011)发 明 LISP 语 言(AI 的 重 要 工 作 )提 出 著 名 的 alpha‐beta 搜索 算 法发 明 分 时 系 统36

• Marvin Minsky (1927‐ )提 出 “ 框 架 理 论 ”开 发 最 早 的 机 器 人倡 导 “ 虚 拟 显 示 ”37• Allen Newell (1927‐1992) &Herbert Simon (1916‐2001)“ 逻 辑 理 论 家 ”IPL 语 言“ 通 用 问 题 求 解系 统 ”: 开 创 问题 求 解 领 域“ 逻 辑 理 论 家 ” 证 明 了 罗 素 、 怀 特 海 的 数 学 名 著 《 数 学 原 理 》 一 书第 二 章 52 个 定 理 中 的 38 个 定 理 .(1963 年 , 经 过 改 进 的 “ 逻 辑 理 论 家 ” 程 序 在 一 部 更 大 的 电 脑 上 ,最 终 完 成 了 第 二 章 全 部 52 条 数 学 定 理 的 证 明 )。38

• Herbert Simon, 中 文 名 司 马 贺认 知 学 、 计 算 机 科 学 、 公 共 管 理 、 经济 学 、 管 理 学 、 科 学 哲 学 、 社 会 学 、政 治 学图 灵 奖 、 诺 贝 尔 经 济 学 奖 、 美 国 科 学家 奖 章 、 美 国 心 理 学 会 终 身 成 就 奖 ……发 展 完 善 了 “ 语 义 网 ”奠 定 了 “ 决 策 支 持 系 统 ” 的 基 础39AI 发 展• 早 期 发 展 阶 段 :1950‐1960• 快 速 发 展 期 :1960 中 期 ‐1970 中 期• 应 用 期 :1970‐1980 初 期• 现 代 AI:1980 之 后 ‐ 今– 机 器 学 习 作 为 主 流 之 一To Be Continued…40

AI 的 研 究 内 容• 研 究 机 器 ( 包 括 计 算 机 程 序 ) 的 自 动 化 、智 能 化究 竟 如 何 定 义 “ 智 能 ”?41人 工 智 能 的 两 大 流 派• 强 人 工 智 能 (Strong AI)John Searle (1980)‐‐ artificial general intelligence“Strong AI is artificial intelligence that matches or exceedshuman intelligence — the intelligence of a machine that cansuccessfully perform any intellectual task that a human being can.”• 弱 人 工 智 能 (Weak AI)‐‐ narrow AI, applied AI“Weak AI is the use of software to study or accomplishspecific problem solving or reasoning tasks that do not encompass(or in some cases are completely outside of) the full range ofhuman cognitive abilities.”42

人 工 智 能 分 支• 规 约 、 推 理 、 问 题 求 解• 规 划• 知 识 表 示• 机 器 学 习• 游 戏• 自 然 语 言 处 理• 机 器 人 学• 机 器 感 知 ( 机 器 视 觉 、 语 音 识 别 等 )• … …43人 工 智 能 与 其 他 学 科 的 关 系计算机44

人 工 智 能 的 一 些 最 新 技 术 应 用‣ 检 测 和 识 别From google image手 写 体 识 别人 脸 检 测 和 人 脸 识 别45‣ 机 器 人 STAIR [Andrew Ng.]The single robot platform will integratemethods drawn from all areas of AI,including machine learning, vision,navigation, manipulation, planning,reasoning, and speech/naturallanguage processing.– Fetch or deliver items around thehome or office.– Tidy up a room, including picking upand throwing away trash, and usingthe dishwasher.– Prepare meals using a normalkitchen.– Use tools to assemble a bookshelf.46

‣ 机 器 人 STAIR [Andrew Ng.]更 多 视 频 :http://stair.stanford.edu/multimedia.php47‣ 火 星 探 路 者 号美 国 国 家 航 空 航 天 局 的 1996 年 火 星 探 测 计 划48

‣ 飞 行 器 自 动 控 制 [Andrew Ng.]– 分 类– 回 归– 强 化 学 习49• 木 牛 流 马 (Bigdog)– 强 化 学 习– 分 类– 聚 类– 物 体 识 别50

• 战 士 的 助 手 CALO 计 划 (DARPA, 2003)– 分 类 、 回 归– 可 视 化– 增 强 现 实 等– 智 能 决 策51• 生 物 信 息 学 Bioinformatics– 结 构 学 习– 分 类– 回 归– 关 联– 因 果 发 现52

• EEG 脑 电 波 分 析53• 意 念 控 制54

• 信 息 检 索55AI 人 才 需 求AI 的 “ 前 途 ” 是 光 明 的 ,“ 钱 途 ” 也 是 光 明 的 !56

Reading Materials1. N. J. Nillson. The Quest for Artificial Intelligence. CambridgeUniversity Press, 2009.[online version: http://ai.stanford.edu/~nilsson/QAI/qai.pdf]2. A. M. Turing. Computing Machinery and Intelligence. Mind, Vol.LIX, No. 236, 433-460, 1950.[http://www.abelard.org/turpap/turpap.php]3. M. A. Boden. The Philosophy of Artificial Intelligence. OxfordUniversity Press, 1990.[ 中 文 版 名 为 “ 人 工 智 能 哲 学 ”, 刘 西 瑞 译 ]4. 周 志 华 . 机 器 学 习 与 数 据 挖 掘 . 中 国 计 算 机 学 会 通 讯 , 2007,3(12): 35-44. ( 特 邀 综 述 )5. 高 小 山 , 孙 吉 贵 , 李 三 江 等 . 人 工 智 能 发 展 近 况 . CCF 通 讯 , 2008,8: 15-25. [http://www.ccf.org.cn/web/resource/cccf/200808/cccf200808‐1.pdf]57《 人 工 智 能 》 选 修 课• 2 学 分• 先 修 课 程 : 高 等 数 学 , 概 率 统 计• 32 学 时 讲 授 +16 小 时 研 讨• 考 核 方 式 :总 评 成 绩 =平 时 成 绩 50%( 课 堂 表 现 , 作 业 , 讨 论 )+ 大 作 业 50%58

《 人 工 智 能 》 选 修 课• 讲 授 内 容– 第 1 课 . 人 工 智 能 简 介– 第 2 课 . 基 本 概 念– 第 3 课 . 概 念 学 习 和 一 般 到 特 殊 序– 第 4 课 . 决 策 树 学 习– 第 5 课 . 人 工 神 经 网 络– 第 6 课 . 评 估 假 设– 第 7 课 . 贝 叶 斯 学 习– 第 8 课 . 计 算 学 习 理 论– 第 9 课 . 基 于 实 例 的 学 习59《 人 工 智 能 》 选 修 课• 基 本 原 理• 经 典 / 流 行 技 术• 提 高 科 学 素 养 , 扩 展 视 野– AI 的 历 史– AI 的 分 支– AI 技 术 前 沿• 提 高 能 力– 自 学 能 力– 思 考 能 力– 演 讲 能 力– 实 践 / 应 用 能 力 ( 实 现 一 个 系 统 , 如 人 脸 检 测 )60

• 教 材 参 考《 人 工 智 能 》 选 修 课1. T. M. Mitchell. Machine Learning. McGraw‐Hill, InternationalEditions, 1997. ( 有 中 文 版 和 影 印 版 )2. E. Alpaydın. Introduction to Machine Learning (2nd edition),MIT Press, 2009. ( 非 常 火 的 一 本 书 )3. N. J. Nilsson. Introduction to Machine Learning. (online)4. R. O. Duda. Pattern Classification (2nd edition). Wiley‐Interscience, 2000. ( 有 影 印 版 )• 课 程 主 页http://cse.seu.edu.cn/people/xyliu/course/ai2012/61‐ 对 AI 感 兴 趣 的 同 学‐ 将 来 的 学 习 、 研 究 、工 作 中 用 到 AI 技 术 的同 学‐ 致 力 于 学 术 研 究 和技 术 创 新 的 同 学‐ 求 职 目 标 为 百 度 等信 息 处 理 类 、 咨 询类 公 司 的 同 学62