数 字 图 书 馆 的 检 索 技 术

北 京 大 学 信 息 科 学 中 心
王 军 杨 冬 青 唐 世 渭

返回


---- 由 于 数 字 图 书 馆 所 包 含 的 内 容 和 涉 及 的 领 域 非 常 广 泛, 其 检 索 技 术 五 花 八 门, 因 此, 所 研 究 的 问 题 基 本 上 涵 盖 了 当 前 信 息 检 索 的 各 个 方 面, 但 基 本 上 集 中 在 以 下 两 方 面, 一 是 解 决 目 前 Internet 上 信 息 检 索 问 题, 二 是 多 媒 体 信 息 的 检 索。

Internet 检 索 技 术 现 状

 

----当 前,Internet 上 的 信 息 检 索 模 式 是 在 交 互 的 过 程 中 进 行 浏 览 和 自 由 词 全 文 检 索。 自 由 词 是 指 检 索 的 关 键 词 是 由 用 户 自 由 选 择 的, 不 受 任 何 限 制。 客 户 端 的WWW 浏 览 和 全 文 查 找 分 别 是 在 服 务 器 端 的HTTP 服 务 器 和 由Web Crawler 等 自 动 搜 索 软 件 产 生 的 索 引 表 的 支 持 下 完 成 的。 面 对 网 上 巨 大 的 信 息 量, 目 前 的 浏 览 方 法 费 时 费 力, 网 络 门 户 的 分 类 索 引 并 不 解 决 根 本 问 题。 全 文 检 索 的 自 由 词, 也 就 是 无 控 词, 可 能 来 自 于 文 献 的 标 题、 作 者、 文 摘 或 全 文; 而 用 户 所 选 择 的 词 又 有 很 大 的 随 意 性。 这 样 的 全 文 查 找, 其 查 准 率 之 低 是 难 以 避 免 的, 更 不 要 说 查 找 图 像、 声 频、 视 频 等 多 媒 体 文 档 了。

----造 成 这 一 问 题 的 关 键 原 因 有 三:

----(1) 自 动 搜 索 及 索 引 软 件 只 是 进 行 关 键 词 匹 配, 而 信 息 检 索 需 要 的 是 概 念 匹 配。

----(2) 网 上 电 子 文 献 的 无 结 构 性。 当 前 网 络 上 的 电 子 文 献 以HTML 为 主,HTML 基 本 上 是 无 结 构 的, 其 主 要 功 能 是 提 供 资 源 的 超 级 链 接。

----(3) 在 传 统 的 图 书 馆 中, 用 户 的 文 献 查 找 过 程 是 在 图 书 馆 员 的 协 助 下 完 成 的, 他 们 帮 助 用 户 确 定 准 确 的 检 索 词, 选 择 查 找 的 信 息 源。 而 现 在 的 网 络 检 索 机 制 没 有 提 供 相 应 的 支 持。

结 构 检 索

 

----好 的 查 找 需 要 好 的 组 织。 所 谓 结 构 检 索, 就 是 首 先 在 服 务 器 端 对 信 息 进 行 良 好 的 组 织 和 结 构 化, 将 所 有 的 信 息 文 档 按 照 统 一 的 方 式 进 行 标 识、 存 储 和 索 引。 在 此 基 础 上, 利 用 文 档 中 的 结 构 化 描 述 实 现 高 精 度 的 检 索。

----下 面, 以UIUC 数 字 图 书 馆 项 目 所 实 现 的 检 索 技 术 为 例 来 说 明。

----利 用 文 档 的 细 粒 度 结 构采 用SGML 来 标 记 文 档 的 结 构, 包 括 全 文、 章 节、 图、 表、 公 式、 文 摘 和 参 考 引 文。 跨 信 息 源 的 查 询 借 助 于 一 套 规 范 的 元 数 据 和 标 签 来 实 现, 将 对SGML 仓 储 的 查 找 和 目 录、 词 表 等 其 他 图 书 馆 的 服 务 结 合 起 来。

----将 文 档 对 象 化 并 保 存 在 仓 储 中仓 储 是 有 组 织 的 对 象 集 合 并 带 有 索 引 和 视 图, 索 引 支 持 查 找, 视 图 支 持 显 示。 对 分 布 式 的 仓 储 进 行 联 邦 化 操 作, 在 仓 储 中 记 录 对 象 的 结 构, 并 利 用 这 种 结 构 导 引 跨 仓 储 的 联 邦 化 查 找。

----按 照 每 个 查 找 的 需 求 调 整 查 找 界 面 例 如, 用 户 可 以 用 布 尔 连 接 符 来 指 定 一 个 短 语 或 多 个 短 语, 用 不 同 的 邻 近 度 来 限 定, 并 使 用SGML 标 签 将 查 找 限 制 在 文 档 的 某 个 指 定 部 分。 也 可 以 从“ 词 轮” 列 表 中 选 择 出 现 在 收 藏 中 的 合 适 的 词 语, 使 用 事 先 选 定 的“ 典 型” 文 档 列 表 直 接 选 择 文 档。

----交 互 式 术 语 提 示在 用 户 的 全 文 查 询 界 面 中 进 行 交 互 式 的 术 语 提 示, 提 供 主 题 词 表 和 同 现 词 表。 主 题 词 表 是 由 专 业 的 图 书 馆 员 将 某 个 专 业 领 域 内 的 重 要 术 语 按 照 语 义 层 次 结 构 排 列 而 成 的 词 汇 表, 其 主 题 词 都 是 专 业 内 的 规 范 词; 同 现 词 表 是 由 自 动 索 引 程 序 对 文 档 进 行 同 现 统 计 分 析, 根 据 词 汇 在 文 档 中 出 现 的 频 率 排 列 而 成 的 词 汇 表, 其 中 包 含 有 更 广 泛 的 词 汇, 能 够 反 映 新 的 词 汇, 也 更 加 灵 活。 用 户 可 以 从 任 一 词 表 中 选 取 词 汇 进 行 全 文 查 询。 一 般 情 况 下, 用 户 先 参 考 主 题 词 表, 得 到 粗 粒 度 的 提 示, 标 识 总 的 主 题 范 围; 然 后 参 考 同 现 词 表, 得 到 细 粒 度 的 提 示, 确 定 所 需 要 的 检 索 用 词 列 表。 最 后, 用 这 些 词 进 行 全 文 查 找。

----状 态 网 关要 从 实 质 上 提 高Web 查 找 的 性 能, 需 要 保 留Web 交 互 的 状 态 信 息, 通 过 状 态 网 关 以 提 供 会 话 历 史。

InterSpace 和 语 义 检 索

 

----信 息 检 索 的 目 的 是 在 信 息 收 藏 中 查 找 包 含 用 户 所 需 的 信 息 内 容 的 文 档。 这 里 有 两 个 问 题 需 要 解 决: 一 是 描 述 文 档 的 信 息 内 容; 二 是 表 达 用 户 的 信 息 需 求。

----传 统 的 解 决 方 法 是 受 控 词 匹 配。 在 统 一 主 题 词 表 的 控 制 下, 专 业 人 员 对 文 档 进 行 描 述 和 标 引, 用 户 选 用 规 范 的 主 题 词 表 达 自 己 的 信 息 需 求。 其 优 点 是 双 方 参 照 统 一 词 表 选 用 相 同 的 词 语 表 达 概 念; 缺 点 是 受 限 于 词 表。

----当 前 的 网 络 信 息 系 统 采 用 自 由 词 匹 配。 用 户 任 意 选 用 词 语 描 述 自 己 的 信 息 需 求, 在 文 档 的 全 文 中 进 行 词 语 匹 配。 其 优 点 是 灵 活; 缺 点 是 有 大 量 的 误 匹 配 和 漏 查。 由 于 并 不 是 文 档 中 的 任 何 一 个 词 都 能 表 达 文 档 的 内 容, 因 此, 用 户 所 选 的 词 也 不 一 定 是 文 中 所 用 的 词, 尽 管 表 达 的 是 同 一 概 念。

----未 来 的 信 息 系 统 应 当 是 概 念 匹 配, 又 称 为 语 义 检 索。 即 自 动 抽 取 文 档 的 概 念, 加 以 标 引; 用 户 在 系 统 的 辅 助 下 选 用 合 适 的 词 语 表 达 自 己 的 信 息 需 求; 然 后 在 两 者 之 间 执 行 概 念 匹 配 — — 匹 配 在 语 义 上 相 同、 相 近、 相 包 含 的 词 语。 例 如, 用 户 要 查 询 的 是“ 操 作 系 统”, 那 么,“Unix” 将 是 与 之 概 念 相 匹 配 的 词 语 之 一。 人 工 智 能 和 自 然 语 言 理 解 在 这 一 领 域 进 行 了 富 有 成 效 的 研 究, 但 是 目 前 所 构 造 的 这 类 系 统 要 求 将 文 献 资 源 限 制 在 一 个 较 窄 的 专 业 领 域 内。

----概 念 匹 配 还 可 以 解 决 信 息 检 索 中 的“ 词 汇 问 题”。 研 究 人 员 常 常 需 要 借 鉴 其 他 领 域 的 研 究 成 果, 但 是 由 于 专 业 术 语 的 隔 阂, 即 便 是 在 非 常 接 近 的 领 域 也 常 常 难 以 找 到 所 需 的 文 献。 例 如, 在 山 谷 中 架 桥 的 工 程 师 为 了 研 究 风 力 对 桥 梁 结 构 的 影 响, 希 望 能 参 考 在 海 底 铺 设 管 道 的 工 程 师 研 究 水 流 对 管 道 结 构 的 影 响 的 成 果。 解 决 词 汇 问 题 的 方 法 是 从 所 涉 及 的 专 业 领 域 中 在 语 义 上 可 匹 配 的 术 语 之 间 进 行 词 汇 切 换。 如 前 述 的 桥 梁 工 程 师 可 直 接 使 用 自 己 熟 悉 的 空 气 动 力 学 术 语, 系 统 则 自 动 将 之 转 换 为 海 洋 流 体 方 面 的 术 语。

----语 义 检 索 只 有 在 相 应 的 信 息 基 础 结 构 上 才 能 实 现。 特 别 是 在 一 个 由 分 布 的、 异 构 的 信 息 仓 储 构 成 的 多 媒 体 网 络 信 息 环 境 中 实 现 仓 储 的 语 义 联 邦 和 检 索 的 概 念 匹 配 — — 语 义 互 操 作, 这 是 数 字 图 书 馆 所 面 临 的 最 大 挑 战。

----DLI 在UIUC 的 项 目InterSpace 中 提 出 了 建 构 互 联 的 信 息 空 间(Inter Space), 以 实 现 跨 仓 储 的 语 义 联 邦 和 语 义 检 索, 指 出 了 本 世 纪 网 络 信 息 环 境 的 发 展 方 向 — — 信 息 分 析 环 境。 主 要 研 究 内 容 如 下:

----语 义 索 引首 先 识 别 并 抽 取 表 达 文 档 内 容 的 概 念。 方 法 是 上 下 文 同 现 统 计 分 析(Co occurence), 分 析 哪 些 词 一 同 出 现 在 同 一 句 中, 并 统 计 其 频 率, 构 造 同 现 词 概 念 图。 然 后 用 抽 取 出 来 的 这 些 概 念 词 对 文 档 自 动 标 引。 仓 储 中 各 文 档 概 念 图 的 集 合 形 成 了 本 仓 储 的 概 念 空 间, 也 就 是 该 仓 储 所 属 的 专 业 领 域 的 概 念 空 间。

----语 义 互 操 作(Semantic Interoperability)即 跨 专 业 领 域 的 词 汇 切 换。 在 不 同 领 域 的 同 现 概 念 图 间 交 叉 互 连, 即 在 分 属 不 同 的 概 念 空 间、 具 有 相 应 语 义 的 术 语 之 间 进 行 映 射, 实 现 跨 仓 储 的 语 义 联 邦。 由 于 这 些 概 念 空 间 常 来 自 于 不 同 的 社 区 图 书 馆, 这 样, 就 提 供 了 一 条 在 不 同 的 图 书 馆 间 进 行 概 念 映 射 的 途 径, 实 现 跨 专 业、 跨 图 书 馆 的 语 义 互 操 作。

----语 义 检 索完 全 的 语 义 检 索 有 待 于 人 工 智 能 技 术 和 自 然 语 言 理 解 技 术 的 成 熟。InterSpace 是 在 词 汇 切 换 和 语 义 联 邦 的 基 础 上, 借 助 交 互 式 的 术 语 提 示 来 实 现 语 义 检 索 的。 在 用 户 检 索 的 过 程 中, 系 统 向 用 户 提 供 概 念 图, 并 根 据 用 户 输 入 的 查 找 词 定 位 相 关 的 部 分, 供 其 选 择 候 选 的 检 索 词。 对 于 词 汇 切 换 问 题, 由 用 户 在 两 个 不 同 领 域 中 指 定 一 个 共 同 的 术 语, 系 统 根 据 此 线 索 在 两 个 专 业 领 域 的 概 念 图 间 交 叉 连 接, 并 显 示 这 两 个 领 域 中 此 术 语 周 围 的 概 念 图。 如 此, 用 户 就 有 了2 个 术 语 提 示 表, 以 比 较 那 些 分 属 于 不 同 的 专 业 领 域 却 表 达 了 同 一 概 念 的2 套 词 语。

----对 未 来 的 期 望 是 将 概 念 空 间 纳 入 到 网 络 信 息 系 统 的 基 础 体 系 结 构 中。 网 络 上 所 有 的 信 息, 个 人 的、 社 区 的, 都 组 织 到 仓 储 中, 概 念 空 间 的 构 建 和 交 叉 互 连 成 为 仓 储 的 基 本 操 作。 这 样, 从 个 人 到 社 区 都 有 自 己 的 信 息 空 间,Inter  Net 成 为Inter Space。 在 概 念 空 间 互 连 和 语 义 匹 配 的 支 持 下, InterSpace 提 供 对 知 识 跨 网 的 透 明 操 作, 其 基 本 功 能 是 互 连 信 息 空 间, 以 完 成 跨 仓 储 的 信 息 关 联(Correlation)。 用 户 在InterSpace 中 选 取 相 关 对 象 的 导 航 路 径, 系 统 自 动 记 录 下 来, 然 后 以 此 路 径 去 匹 配 其 他 仓 储 的 相 关 路 径, 实 现 全 网 的 无 缝 语 义 检 索, 给 我 们 一 个 单 一 的、 虚 拟 的、 统 一 的 网 络, 一 个 联 邦 的 信 息 分 析 环 境。

多 媒 体 检 索 技 术 的 前 沿
— — 数 字 影 像 图 书 馆

 

----数 字 图 书 馆 检 索 技 术 研 究 的 另 一 个 热 点 是 多 媒 体 信 息 检 索 技 术, 如 地 图、 航 测 照 片、 声 频、 视 频 等 基 于 内 容 的 检 索。 其 中 最 有 代 表 性 的 是 卡 内 基 · 梅 隆 大 学 的Informedia 数 字 影 像(Video) 图 书 馆 项 目。Informedia 的 目 标 是 建 立 一 个 大 规 模 的 联 机 数 字 影 像 图 书 馆, 实 现 全 内 容 的、 基 于 知 识 的 查 询 和 检 索。 它 综 合 应 用 了 图 像 处 理、 语 音 识 别、 自 然 语 言 理 解、 视 频 分 析 的 最 新 技 术, 展 示 了 计 算 机 多 媒 体 信 息 处 理 的 无 限 空 间。

----1 . 影 像 处 理 的 技 术 难 点

----影 像 是 一 种 与 文 本 完 全 不 同 的 媒 体 类 型, 影 像 的 组 织、 存 储、 检 索、 传 递 与 利 用 需 要 一 系 列 的 新 技 术, 其 中 的 核 心 问 题 是 如 何 表 示 影 像 的 内 容。 对 于 每 秒 钟30 帧 的 数 据 量, 用 传 统 的 文 字 描 述 的 方 法 是 难 以 想 像 的。 其 他 的 主 要 问 题 有:

----(1) 数 字 影 像 需 要 大 量 的 存 储 空 间

----因 此, 压 缩 技 术 和 高 速 网 络 通 信 技 术 是 大 范 围 影 像 应 用 的 基 础。

----(2) 索 引 影 像 的 内 容

----影 像 含 有 丰 富 的 内 容, 这 些 借 助 视 频 信 号( 镜 头 的 运 动、 场 景 变 换、 颜 色) 和 声 频 信 号( 噪 声、 静 止、 对 话) 来 传 达 的 信 息 用 基 于 文 本 的 处 理 技 术 很 难 处 理, 无 法 想 像 用 关 键 词 等 人 工 标 引 方 法 来 解 决。 怎 样 对 影 像 进 行 有 效 的 索 引 是 数 字 影 像 图 书 馆 要 解 决 的 一 个 关 键 问 题。

----(3) 影 像 的 分 段

----影 像 的 数 据 量 很 大, 在 网 络 中 传 送 整 部 的 影 像 节 目 非 常 费 时, 而 且 不 便 于 用 户 略 读(Skim) 以 定 位 所 需 的 片 段。 最 好 将 影 像 分 割 成 短 片 段 并 有 代 表 性 地 标 识 每 一 片 段 的 内 容。 一 种 方 法 是 直 接 把 影 像 节 目 物 理 地 切 割 成 固 定 长 度 的 短 片 段, 这 样 做 破 坏 了 影 像 节 目 的 完 整 性 且 不 便 于 影 像 的 存 储 组 织。 可 行 的 办 法 是 对 影 像 增 加 索 引, 每 个 索 引 项 指 向 有 意 义 的 短 的 逻 辑 片 段。 需 要 解 决 的 问 题 是:

----·如 何 自 动 识 别 影 像 的 逻 辑 结 构, 如 主 题、 场 景、 人 物、 场 次 的 变 化 等;

----·如 何 在 整 个 影 像 中 迅 速 定 位 有 关 的 部 分 并 传 递 给 用 户;

----·影 像 的 压 缩 方 法 必 须 支 持 所 需 的 随 机 访 问。

----(4) 影 像 片 段 的 代 表 性 表 示

----要 快 速 查 找 影 像 的 内 容, 应 向 用 户 提 供 影 像 的 代 表 性 表 示, 即 影 像 的 层 信 息。 如 一 部 半 小 时 的 影 片 分 别 有 一 个 文 字 标 题、 一 段 文 字 简 介、 一 篇 全 文 脚 本、 一 幅 代 表 性 的 图 像 和 一 段1 分 钟 长 的 略 览 影 像 片 段。 所 有 这 些 代 表 性 的 表 示 构 成 其 层 信 息。 用 户 在 检 索 时 可 以 先 廉 价 地 查 阅 某 一 层 的 代 表 信 息, 再 决 定 是 否 调 看 更 丰 富 的 代 表 层。 但 是, 如 何 自 动 生 成 层 信 息 及 其 描 述, 怎 样 使 这 些 层 信 息 尽 可 能 地 完 全 和 精 确, 这 是 需 要 解 决 的 问 题。

----(5) 影 像 的 检 索

----影 像 所 包 含 的 内 容 广 泛 而 庞 杂, 对 影 像 的 检 索 常 会 产 生 大 的 检 索 结 果 集。 对 检 索 结 果 集 的 处 理 有 两 个 主 要 问 题:

----· 尽 量 返 回 短 小 的 影 像 片 段 这 样 可 以 使 用 户 更 快 地 浏 览 和 过 滤 检 索 结 果 集。 问 题 是 怎 样 生 成 这 些 短 小 的 影 像 片 段, 使 其 能 充 分 代 表 影 像 的 相 关 内 容。 这 需 要 根 据 影 像 的 内 容 将 其 切 分 成 相 对 独 立 的 逻 辑 部 分 并 进 行 索 引。 这 是 建 立 在 对 影 像 内 容 理 解 的 基 础 之 上 的。 那 么, 如 何 实 现 影 像 内 容 的 机 器 理 解 是 需 要 解 决 的 问 题。

----· 检 索 结 果 集 的 可 视 化 可 视 化 是 操 作 大 检 索 结 果 集 的 有 效 途 径, 将 检 索 结 果 集 中 的 对 象 按 照 某 方 面 的 特 征 分 组 并 形 象 化 地 显 示, 包 括 外 延 特 征 和 内 涵 特 征。 问 题 是 如 何 提 取 影 像 的 这 些 特 征 并 加 以 表 示, 以 便 在 可 视 化 的 过 程 中 利 用。 其 关 键 仍 然 是 影 像 内 容 的 机 器 理 解。

----(6) 影 像 的 浏 览

----不 同 于 文 字 和 图 像 的 声 频 与 视 频 是 连 续 时 变 的、 有 着 固 定 输 出 速 率 的 信 息 流。 因 此, 浏 览 由 声 频 和 视 频 组 成 的 影 像 需 要 特 殊 的 处 理。 若 简 单 地 加 快 影 像 的 播 放 速 度, 首 先 需 要 更 高 的 传 输 带 宽; 其 次, 当 回 放 速 度 达 到 普 通 速 度 的1.5 ~2 倍 时, 语 音 就 听 不 懂 了; 再 有, 长 时 间 的 快 放 画 面 是 无 法 忍 受 的。 若 采 用 跳 过 一 定 数 量 的 帧 进 行 扫 览(Scan) 的 办 法, 可 能 跳 过 的 部 分 刚 好 是 要 找 的 内 容。 最 好 的 解 决 办 法 是 影 像 折 叠, 使 用 可 变 比 率 压 缩 影 像。 即 首 先 理 解 影 像 的 内 容, 根 据 内 容 的 主 题 来 区 分 重 要 和 不 重 要 的 部 分, 然 后 保 留 重 要 的 部 分 而 跳 过 不 重 要 的 部 分。 这 样, 用 户 在 扫 览 的 同 时, 仍 然 能 得 到 对 整 个 影 像 段 落 的 完 整 理 解。 其 中, 问 题 的 关 键 仍 是 内 容 理 解。

----(7) 影 像 资 源 的 重 用

----当 用 户 检 索 到 所 需 的 影 像 后, 还 应 支 持 其 对 影 像 的 进 一 步 开 发 利 用, 如 发 表 自 己 的 观 感、 加 注 释、 对 影 像 进 行 编 辑 与 剪 接。 数 字 影 像 图 书 馆 应 将 这 类 开 发 工 具 集 成 到 其 应 用 平 台 中 去。

----2 . 数 字 影 像 处 理 的 关 键 技 术

----由 上 可 见, 影 像 内 容 的 理 解 和 分 段 是 影 像 处 理 的 关 键 所 在。 由 于 影 像 数 据 的 复 杂 性, 对 上 述 问 题 的 完 全 解 决 方 案, 即 从 影 像 中 自 动 抽 取 语 义 信 息 或 通 用 的 视 觉 识 别 系 统, 目 前 还 难 以 实 现。 唯 有 全 方 位 地 综 合 应 用 文 字 描 述、 图 像 处 理、 语 音 识 别、 自 然 语 言 理 解、 视 频 分 析 等 技 术 才 是 一 条 可 行 的 途 径。

----(1) 收 集 文 字 描 述

----尽 可 能 地 收 集 与 影 像 有 关 的 文 字 描 述, 充 分 利 用 已 有 的 成 熟 的 文 字 处 理 与 检 索 技 术, 如 影 像 的 标 题、 解 说 词、 制 作 说 明、 销 售 材 料、 影 评 回 顾、 商 业 宣 传 材 料、 版 权 说 明 等。 将 收 集 到 的 大 量 文 字 资 料 组 织 成 一 定 的 结 构, 如 层 组 织, 与 被 描 述 的 影 像 联 系 起 来。

----(2) 声 频 信 息 的 利 用 和 语 音 识 别

----影 像 的 声 频 信 息 中 所 包 含 的 文 字 和 语 音 是 影 像 处 理 的 重 要 的 信 息 源。 利 用 语 音 识 别 技 术 可 自 动 生 成 影 像 的 文 字 脚 本, 除 了 对 话、 解 说 词 等 语 音 信 息 外, 还 应 识 别 特 殊 的 声 音 效 果, 如 停 顿、 静 止、 音 乐、 笑 声 等, 用 于 补 充 其 他 类 型 的 影 像 描 述 信 息 之 不 足。 例 如, 根 据 停 顿 来 识 别 影 像 段 落 的 自 然 开 始 和 结 束, 制 作 影 像 的 略 览 片 段 时 用 静 止 来 判 断 影 像 可 折 叠 压 缩 的 部 分。

----(3) 自 然 语 言 理 解

----自 然 语 言 理 解 主 要 用 于 以 下 方 面: 自 然 语 言 查 询 处 理, 提 供 各 种 类 型 的 相 似 性 匹 配; 或 然 性 匹 配, 并 返 回 按 等 级 排 列 的 检 索 结 果; 矫 正 利 用 语 音 识 别 自 动 生 成 的 脚 本 中 的 错 误; 影 像 标 题 生 成 和 摘 要 创 建( 如 略 览 版 的 生 成)。

----(4) 图 像 处 理

----图 像 处 理 是 理 解 影 像 内 容 的 关 键 技 术, 在 影 像 的 组 织、 分 类、 分 段、 检 索 和 重 用 中 举 足 轻 重。 各 种 互 相 联 系 的 影 像 分 析 技 术 配 合 起 来, 完 成 对 影 像 基 于 内 容 的 或 与 内 容 无 关 的 特 征 描 述, 实 现 影 像 的 分 段 和 查 找, 如 下 图 所 示。

----(5) 通 过 集 成 处 理 理 解 影 像 内 容, 识 别 重 要 的 影 像 片 段, 折 叠 压 缩, 以 生 成 影 像 的 概 要, 提 供 略 览

----第 一 步, 首 先 应 用 词 语 权 重 衡 量 技 术, 在 影 像 的 文 字 脚 本 中 识 别 出 最 重 要 的 短 语 和 关 键 词, 文 字 脚 本 是 从 影 像 的 音 轨 中 自 动 生 成 的; 然 后 再 到 影 像 中 含 有 这 些 词 汇 的 对 应 位 置 检 查 场 景 的 变 化 和 间 断、 相 关 对 象、 运 动 等。

----第 二 步, 对 分 段 后 的 影 像 统 计 计 算 每 一 个 场 景 内 容 的 相 对 重 要 性。 图 像 的 重 要 性 以 所 想 要 的 镜 头 运 动 和 对 象 呈 现 为 特 征。 通 过 光 线 流 分 析, 确 定 场 景 中 的 哪 一 幅 图 包 含 最 想 要 的 运 动。 通 常, 影 像 的 制 作 人 员 在 镜 头 动 作 之 前 或 之 后 加 上 一 段 静 止 画 面 作 为 给 定 场 景 的 焦 点。 人 脸、 文 字 等 对 象 在 影 像 的 概 要 片 段 制 作 中 是 判 断 重 要 性 的 基 础。

----最 后, 将 上 述 两 步 得 到 的 声 频 和 视 频 集 成 起 来, 形 成 影 像 原 始 内 容 的 概 要 片 段, 提 供 有 效 的 影 像 略 览。

----(6) 建 设 性 的 用 户 界 面

----数 字 影 像 图 书 馆 所 需 的 用 户 界 面 与 以 文 字 为 主 的 普 通 图 书 馆 的 用 户 界 面 有 着 本 质 的 区 别。 其 关 键 特 征 如 下:

----·平 行 呈 现当 某 检 索 包 含 多 个 命 中 时, 系 统 同 时 呈 现 像 标、 智 能 运 动 像 标 和 权 运 动 序 列 及 其 相 应 的 文 字 概 要。

----· 上 下 文 大 小 用 户 能 够 调 节 被 检 索 的 视 频/ 声 频 段 落 的 大 小。 这 里 的 大 小 可 以 是 持 续 的 时 间, 也 可 以 是 其 场 景 或 所 包 含 信 息 的 复 杂 度。

----· 重 用 与 开 发允 许 用 户 对 检 索 到 的 影 像 片 段 进 行 剪 接、 编 辑、 合 成 等 进 一 步 的 开 发。