凯迪微信公众号
扫描二维码关注
发现信息价值

微信扫一扫
分享此帖文

回帖人: | 只看此人 | 不看此人 | 2012/11/3 21:07:38    跟帖回复:
61
另外, 应该明确规定:

1. 成语 是 一种 复合词组, 应视为 一个整体, 不能 用 空格 区隔期间的结构;
2. 习惯用语(短语), 可以视为 一个整体, 不必用 空格 区隔期间的结构;
回帖人: | 只看此人 | 不看此人 | 2012/11/3 21:11:41    跟帖回复:
62
以上几个原则 仅仅是 用于 规范 低密度文本的 分词方法。
回帖人: | 只看此人 | 不看此人 | 2012/11/3 21:18:20    跟帖回复:
63
再来一条 分词原则:

常用副词 可以和 动词 组合。
回帖人: | 只看此人 | 不看此人 | 2012/11/3 21:39:16    跟帖回复:
64
再试一篇, 还是那个网页上的 文章。

==========================================================
    ★ 崇明越江通道

    建设 崇明越江通道 的 设想 1993 正式提出, 通过 长达10年的 讨论, 2003年2月, 崇明越江隧道工程项目 建议书 终获 国务院 批准立项。 2004年8月中旬,崇明越江通道项目 可行性研究报告 在8月中旬 正式获 国务院发改委 批准。 该项目 含 上海长江隧道、 上海长江大桥、 崇启大桥、 崇海大桥 及 相关 接线道路 等 组成部分(见示意图), 总投资 达 123亿元, 是 交通部 确定的 国家重点公路建设规划 中 上海-西安公路 的 重要组成部分。 它 南接 上海 的 浦东区五号沟(东线)、 宝山区罗泾(西线), 经 长兴岛、 崇明岛, 北接 江苏省 的 海门市、 启东市, 与 江苏省 的 宁通启高速公路 相连。 东线 先 实施, 其 走向 为: 浦东五号沟——长兴岛——崇明陈家镇——崇明接线高速公路——崇明牛棚港——江苏海门青龙港——江苏宁通启高速公路, 全长 约 106公里。 2004年12月28日 东线的 上海长江隧道、 上海长江大桥 正式奠基 启动, 2005年8月30日 获 76.16亿元 银行贷款, 此后 工程项目 的 进度 将大大加快。 上海长江隧道 全长 8.95公里,起自 浦东五号沟郊区环线(远东大道——五洲大道)立交, 穿越 南港水域, 于 长兴岛新开河 处 登陆, 接 长兴岛潘园公路立交。 隧道圆形盾构段 长度为 6.97公里 , 隧道 按 双向6车道 布置, 两圆形隧道间 每隔 1.2公里 自由设置 一座横向通道, 共4座 横向通道; 隧道盾构 直径为 15.2米,是 世界上 最大直径的 盾构隧道。 上海长江大桥 全长 10.27公里,起自 长兴岛 北岸, 跨越北港水域, 于 崇明岛奚家港 处 登陆, 接 崇明陈海公路立交。 桥梁主通航孔 和 辅通航孔 采用 斜拉桥 形式,斜拉桥主跨 670米 。
===========================================================

基本上是 按照  每词比分的 原则 分词, 加上 前述的 几个原则, 处理起来 果断多了。 当然, 这篇文章 专有名词 比较多, 看上去 也 井井有条的, 呵呵。
回帖人: | 只看此人 | 不看此人 | 2012/11/3 21:52:24    跟帖回复:
65
总的感觉: 如果 分词规则 定得 细一点, 实际上 无需再分 高密度文本 和 低密度文本。 规则 明确、 细致、 容易掌握的话, 写作者 容易操作, 不再纠结于 如何 分词; 读者 也能形成 预期, 不会感到 混乱。
回帖人: | 只看此人 | 不看此人 | 2012/11/3 23:05:48    跟帖回复:
66
提醒楼主,你这方案 最大的 好处 是 便于 机器阅读 和 人机对话
回帖人: | 只看此人 | 不看此人 | 2012/11/3 23:08:36    跟帖回复:
67

提醒楼主,你这方案 真正的 意义 在于 机器阅读 和 人机对话
回帖人: | 只看此人 | 不看此人 | 2012/11/4 9:34:25    引用回复:
68
转至第47楼第 47 楼 zyx6542 2012/11/3 16:41:01  的原帖:中文 自动 分词 是 个 难题,目前 准确率 大约 百分之九十, 要 达到 百分之九十九点九 才 实用。转至第51楼第 51 楼 cyberhorse 2012/11/3 16:58:49  的原帖:

嗯, 如果 将 空格 正式作为 文本书写格式, 也就 不需要 自动分词了。 吃 这碗饭的 可能会 急, 呵呵。

过去的 大量 文献 要 处理, 需要 这个 技术。 本人 是 研究 数字 图书馆 的。
回帖人: | 只看此人 | 不看此人 | 2012/11/4 10:31:04    引用回复:
69
转至第67楼第 67 楼 猫思猫想5 2012/11/3 23:08:36  的原帖:
提醒楼主,你这方案 真正的 意义 在于 机器阅读 和 人机对话


是的, 对于 计算机的 中文信息处理 来说 可以省去 分词 这一步, 将会 大大提高 人工智能 理解 中文语句的 精度。 毕竟 用 计算机 分词 很难达到 百分之百的 正确率。
回帖人: | 只看此人 | 不看此人 | 2012/11/4 10:33:50    跟帖回复:
70

回帖人: | 只看此人 | 不看此人 | 2012/11/4 10:38:05    引用回复:
71
转至第47楼第 47 楼 zyx6542 2012/11/3 16:41:01  的原帖:中文 自动 分词 是 个 难题,目前 准确率 大约 百分之九十, 要 达到 百分之九十九点九 才 实用。转至第51楼第 51 楼 cyberhorse 2012/11/3 16:58:49  的原帖:

嗯, 如果 将 空格 正式作为 文本书写格式, 也就 不需要 自动分词了。 吃 这碗饭的 可能会 急, 呵呵。
转至第68楼第 68 楼 zyx6542 2012/11/4 9:34:25  的原帖:
过去的 大量 文献 要 处理, 需要 这个 技术。 本人 是 研究 数字 图书馆 的。


  呵呵, 这个 只是 开个玩笑, 别当真。
回帖人: | 只看此人 | 不看此人 | 2012/11/4 10:39:05    引用回复:
72

回帖人: | 只看此人 | 不看此人 | 2012/11/4 10:40:55    跟帖回复:
73
晚上有空 再找 几篇文章 实验一下。
回帖人:
yyyf9  
| 只看此人 | 不看此人 | 2012/11/4 15:36:40   
74
空格间距太大。一半间距就好了(半角)。
先少量,用于歧义位置,易于理解。
后期再全面采用。

此贴已经被作者于 2012/11/4 15:37:44 编辑过

回帖人: | 只看此人 | 不看此人 | 2012/11/4 21:01:38    跟帖回复:
75
下面 是 美国大选 第三场辩论的 总结陈词:
===================================================

    美国大选 的 三次辩论 结束了。 这是 双方 真实能力 和 才华的 公开公平的较量。 辩论时 唇枪舌剑, 刀光火影, 大气磅礴,令人惊叹。 美国人 就用 这种方式 “残酷”磨练他们的领导人, 因为 他将要领导的 是 目前世界上最强大的国家。

    三辩的总结陈词部分 是 二位候选人 对自己上任后 采取政策的总结陈述, 对国家的未来 做出 承诺, 对选民的恳切希望, 充分展示了 自己的领导魅力, 非常激情, 特别值得 政治、 英语 和 演讲爱好者 学习品味。

    主持人 希弗:

    先生们, 这是 一场非常激烈的辩论, 感谢你们。 我们 已经走到 最后一个环节, 最后陈述 的 时候。 总统先生。

    奥巴马:

    非常感谢你, 鲍勃罗·姆尼 州长, 以及 林恩大学。 现在, 你 已经听了 三场辩论, 观摩了 数个月的竞选 和 看到了 无数的电视竞选广告。 现在 各位 应该已经有了 一个选择。 在过去的四年里, 我们 取得了 真正的进展, 我 带领 我们 走出了 这样一个政策困境, 它 曾经带给 我国 两个长期战争、 创纪录的赤字 和 大萧条以来 最严重的经济危机。

    罗姆尼 州长 却希望 把我们重新带回这些政策困境中: 错误的 鲁莽的 外交政策、 不创造 就业机会、 不会减少 赤字, 但 会确保 最高层人士不按照游戏规则行事 的 经济政策。

    我 对美国 却有 不同的看法。 我 想加强 我们的实力。 我 提出 这样一个计划, 奖励 公司和小企业 在美国本土 而不是 在海外 投资, 确保 制造业就业机会 返回到 我们本土。

    我 要确保 我们有世界上最好的教育体系。 我们 要培训 我们的工人, 保证 他们 在未来 能够获得 新工作。

    我 想通过 开发石油和天然气, 开发新能源 以 掌控我们自己的能源。

    是的, 我 想通过 削减开支 减少我们的财政赤字, 也要求 富人做多一点点, 以便 我们 可以投资于 研究和技术开发。 研发, 是 21世纪经济发展的关键。

    作为 三军总司令, 我 将继续保证 我国拥有世界上最强大的军事力量, 我 真诚地信任 我们的军队, 对 那些 伤害我们的 敌人 绝不饶恕。 但 经过十年的战争, 我 想 大家都承认, 我们 需要 做一些国家建设, 要 重建我们的道路、 桥梁, 尤其是要 照顾好我们的退伍军人, 他们 为我们的自由 牺牲了那么多。

    我们 经历过 艰难的时刻, 但 我们 总是 能够反弹回去, 这是 由我们的性格 决定的, 因为 我们总会团结在一起。 如果 我有幸再做四年你们的总统, 我 答应 你们, 我 会永远 倾听 你们的声音, 我 会为 你们的家庭 而战, 我 会努力工作 每一天, 确保 美国仍然是地球上最伟大国家。

    谢谢。

    希弗:

    州长?

    罗姆尼:

    谢谢你。 鲍勃 主席先生, 林恩大学 的朋友, 很高兴 与你们同在这里。 我 对未来 持 乐观态度,  我 对 我国的前景 感到兴奋。 我 希望 看到和平, 我 希望 看到和平 越来越多来到这个国家。 这是 我们的目标。

    现在 我们有一个机会 使我们拥有真正的领导力。 美国 将有 这样的领导, 继续促进 和平的原则, 使世界 成为 一个更安全的地方, 使美国人 更有 信心, 知道 他们的未来是安全的。 我 也想确保 经济持续增长。 现在 国家 有 两个非常不同的道路。 一个 是 由总统代表的, 四年届满之际, 却 意味着 我们有20万亿美元的债务, 象 希腊 那样。 我 会带领 我们 回到平衡预算的轨道上。

    总统的道路 将使我们 拿回家的工资继续下降。 而 我 要确保我们 拿回家的薪水立即开始增长。

    总统的道路 是 使20万人失去工作, 为 取得有一个好工作 而 挣扎。 而 我 将让人们 重新拥有12万个新的就业机会。

    我 要 让人们不再依赖食物桊, 但 不是 通过削减食物桊计划, 而是 让人们有更好的工作。

    美国 要 回归, 要做到 这一点, 我们 必须有 一个可以使 美国 团结起来的总统。 我的州议会里 87% 都是 民主党人。 我 学会了 如何与过道另一边的人相处。 我们 必须 在华盛顿 也这样团结。 华盛顿 已经被损坏了。 而 我 知道 如何才能使国家恢复正常轨道, 我 将和 优秀的民主党人 和 优秀的共和党人 一起 做到这一点。

    这个国家 是 地球的希望。 我们 被上天赐福。 由于 我们最伟大的一代先辈的奋斗, 我们 拥有了 一个自由和繁荣的国家。 先辈们 高擎起 一把火炬, 一把自由、 希望和机会的火炬, 为了 让 整个世界 都可以被照耀。 现在, 轮到我们 接过 这把火炬, 我 相信 我们一定会做好。

    我们 需要 强有力的领导。 有 你们的支持, 我 愿意成为 那位领导。 我 会 与你们一起工作。 我 将 用开放和诚实的方式 带领 你们前进, 我 需要 你们投我一票。 我 愿意成为 美国的 下一任总统, 来 支持和帮助这个伟大的国家。 我们 一起, 会使 美国 继续成为地球的希望!

    谢谢你们。

    希弗:

    先生们, 谢谢 你们两位。 今年的辩论 到此结束。 感谢 林恩大学 的 学生。 每次结束辩论时, 我 都会留下 我妈妈说的一句话 给大家, 她说:“去投票吧。 那会让你 感觉到 自己的强大”。

    晚安。

============================================================

这篇 采用得是 所谓 高密度格式, 也就是 尽可能 少用空格的那种。 说实话, 编排起来 还是 比较费力的。
16294 次点击,106 个回复  1 2 3 4 5 6 7 8
跳转论坛至:
快速回复:[原创]空格断词倡议(2012.11.2 修订版)
本站声明:本站BBS互动社区的文章由网友自行帖上,文责自负,对于网友的贴文本站均未主动予以提供、组织或修改;本站对网友所发布未经确证的商业宣传信息、广告信息、要约、要约邀请、承诺以及其他文字表述的真实性、准确性、合法性等不作任何担保和确认。因此本站对于网友发布的信息内容不承担任何责任,网友间的任何交易行为与本站无涉。任何网络媒体或传统媒体如需刊用转帖转载,必须注明来源及其原创作者。特此声明!

【管理员特别提醒】 发布信息时请注意首先阅读 ( 琼B2-20060022 ):
1.全国人大常委会关于维护互联网安全的决定2.凯迪网络BBS互动区用户注册及管理条例。谢谢!
  • 广告