凯迪微信公众号
扫描二维码关注
发现信息价值

微信扫一扫
分享此帖文

回帖人: | 只看此人 | 不看此人 | 2012/10/4 17:33:42    跟帖回复:
76
您提这个问题时,可能启发来自英文,英文的词和词之间有间隔。Am I right?但中文不是这个意思,分的时候,如何分会带来极大的争议性。Devil in the details。最后,这些“如何分”就会毁了您这个伟大的想法。

语言,母语,自然语言,要“科学化”很难的,几乎不可能。西文的性,属,格,时态,语态,想把语言弄的望而知其意,几千年下来,依然问题多多,自己也在不断革新。如,废掉“格”的用法,如此等等。

再者,不知您是否知道,在德语系统里,在英文是分着的两个词,常是合着的,造成很长词。“我的书”为什么非要 “我的 书”呢。
回帖人: | 只看此人 | 不看此人 | 2012/10/4 17:37:34    引用回复:
77
转至第59楼第 59 楼 露西亚老凯撒 2012/10/4 16:56:23 的原帖:不信你就试试,这是索罗瓦尔登湖的三个自然段,你断下词,词组间距过大,极其容易串行,有标点符号的两行如果同位置,就会如此。而且很难找到固定语句,整个语序乱七八糟。


    有时,对人类社会及其言谈扯淡,对所有村中的友人们又都厌倦了,我便向西而漫
游,越过了惯常起居的那些地方,跑到这乡镇的更无人迹的区域,来到“新的森林和新
的牧场”上;或当夕阳西沉时,到美港山上,大嚼其越橘和浆果,再把它们拣拾起来,
以备几天内的食用。水果可是不肯把它的色、香、味给购买它的人去享受的,也不肯给
予为了出卖它而栽培它的商人去享受的。要享受那种色、香、味只有一个办法,然而很
少人采用这个办法。如果你要知道越橘的色、香、味,你得请问牧童和鹧鸪。从来不采
越橘的人,以为已经尝全了它的色、香、味,这是一个庸俗的谬见。从来没有一只越橘
到过波士顿,它们虽然在波士顿的三座山上长满了,却没有进过城。水果的美味和它那
本质的部分,在装上了车子运往市场去的时候,跟它的鲜丽一起给磨损了,它变成了仅
仅是食品。只要永恒的正义还在统治宇宙,没有一只纯真的越橘能够从城外的山上运到
城里来的。
    在我干完了一天的锄地工作之后,偶尔我来到一个不耐烦的侣伴跟前,他从早晨起
就在湖上钓鱼了,静静的,一动不动的,像一只鸭子,或一张漂浮的落叶,沉思着他的
各种各样的哲学,而在我来到的时候,大致他已自认为是属于修道院僧中的古老派别了。
有一个老年人,是个好渔夫,尤精于各种木工,他很高兴把我的屋子看作是为便利渔民
而建筑的屋子,他坐在我的屋门口整理钓丝,我也同样高兴。我们偶尔一起泛舟湖上,
他在船的这一头,我在船的另一头;我们并没有交换了多少话,因为他近年来耳朵聋了,
偶尔他哼起一首圣诗来,这和我的哲学异常地和谐。我们的神交实在全部都是和谐的,
回想起来真是美妙,比我们的谈话要有意思得多,我常是这样的,当找不到人谈话了,
就用桨敲打我的船舷,寻求回声,使周围的森林被激起了一圈圈扩展着的声浪,像动物
园中那管理群兽的人激动了兽群那样,每一个山林和青翠的峡谷最后都发出了咆哮之声。
    在温和的黄昏中,我常坐在船里弄笛,看到鲈鱼游泳在我的四周,好似我的笛音迷
住了它们一样,而月光旅行在肋骨似的水波上,那上面还零乱地散布着破碎的森林。很
早以前,我一次次探险似的来到这个湖上,在一些夏天的黑夜里,跟一个同伴一起来;
在水边生了一堆火,吸引鱼群,我们又在钧丝钩上放了虫子作鱼饵钓起了一条条鳘鱼;
这样我们一直搞到夜深以后,才把火棒高高地抛掷到空中,它们像流星烟火一样,从空
中落进湖里发出一些响亮的咝声,便熄灭了,于是我们就突然在完全的黑暗之中摸索。
我用口哨吹着歌,穿过黑暗,又上路口到人类的集名处。可是现在我已经在湖岸上有了
自己的家。
    有时,在村中一个客厅里待到他们一家子都要休息时,我就回到了森林里;那时,
多少是为了明天的伙食,我把子夜的时辰消耗在月光之下的垂钓之上,坐在一条船里,
听枭鸟和狐狸唱它们的小夜曲,时时我还听到附近的不知名的鸟雀发出尖厉的啸声。这
一些经验对我是很值得国忆和很宝贵的,在水深四十英尺的地方抛了锚,离岸约二三杆
之远,有时大约有几千条小鲈鱼和银鱼围绕着我,它们的尾巴给月光下的水面点出了无
数的水涡;用了一根细长的麻绳,我和生活在四十英尺深的水底的一些神秘的夜间的鱼
打交道了,有时我拖着长六十英尺的钓丝,听凭柔和的夜风把我的船儿在湖上漂荡,我
时不时地感到了微弱的震动,说明有一个生命在钓丝的那一端徘徊,却又愚蠢地不能确
定它对这盲目撞上的东西怎样办,还没有完全下决心呢。到后来,你一手又一手,慢慢
地拉起钓丝,而一些长角的鳘鱼一边发出咯吱咯吱的声音,一边扭动着身子,给拉到了
空中。特别在黑暗的夜间,当你的思想驰骋在广大宇宙的主题上的时候,而你却感到这
微弱的震动,打断了你的梦想,又把你和大自然联结了起来,这是很奇怪的。我仿佛会
接着把钓丝往上甩,甩到天空里去,正如我同时把钓丝垂人这密度未必更大的水的元素
中去的情况一样。这样我像是用一只钓钩而捉住了两条鱼。
转至第69楼第 69 楼 活水江河 2012/10/4 17:15:43 的原帖:

这是机器断词和词性标注,我不知道这篇文章,但分词索罗瓦尔登湖断开,让我一下就明白这是一个作者和一篇文章名,不仅加速阅读,还可以促进理解。
 索罗/nrf 瓦尔登湖/nsf


不信/v 你/rr 就/d 试试/v ,/w 这/rzv 是/vshi 索罗/nrf 瓦尔登湖/nsf 的/ude1 三个/mq 自然段/nz ,/w 你/rr 断/v 下/f 词/n ,/w 词组/n 间距/n 过/uguo 大/a ,/w 极其/d 容易/ad 串行/b ,/w 有/vyou 标点符号/n 的/ude1 两行/mq 如果/c 同/p 位置/n ,/w 就/d 会/v 如此/rzv 。/w 而且/c 很难/d 找到/v 固定/a 语句/n ,/w 整个/b 语序/n 乱七八糟/al 。/w


有时/d ,/w 对/p 人类社会/nz 及其/cc 言谈/n 扯淡/v ,/w 对/p 所有/b 村/n 中/f 的/ude1 友/ng 人们/n 又/d 都/d 厌倦/v 了/ule ,/w 我/rr 便/d 向/p 西/f 而/cc 漫/v
游/v ,/w 越过/v 了/ule 惯常/nz 起居/n 的/ude1 那些/rz 地方/n ,/w 跑到/v 这/rzv 乡镇/n 的/ude1 更/d 无人迹/nz 的/ude1 区域/n ,/w 来到/v “/w 新的/a 森林/n 和/cc 新/a
的/ude1 牧场/nis ”/w 上/f ;/w 或/c 当/p 夕阳/n 西沉/nz 时/ng ,/w 到/v 美/b 港/n 山上/s ,/w 大嚼/nz 其/rz 越橘/n 和/cc 浆果/n ,/w 再/d 把/pba 它们/rr 拣/v 拾/v 起来/vf ,/w
以/p 备/v 几天/mq 内/f 的/ude1 食用/vn 。/w 水果/n 可是/c 不肯/v 把/pba 它/rr 的/ude1 色/ng 、/w 香/a 、/w 味/ng 给/p 购买/v 它/rr 的/ude1 人/n 去/vf 享受/v 的/ude1 ,/w 也/d 不肯/v 给/p
予/vg 为了/p 出卖/v 它/rr 而/cc 栽培/vn 它/rr 的/ude1 商人/nnt 去/vf 享受/v 的/ude1 。/w 要/v 享受/vn 那种/r 色/ng 、/w 香/a 、/w 味/ng 只有/c 一个/mq 办法/n ,/w 然而/c 很/d
少/a 人/n 采用/v 这个/rz 办法/n 。/w 如果/c 你/rr 要/v 知道/v 越橘/n 的/ude1 色/ng 、/w 香/a 、/w 味/ng ,/w 你/rr 得/ude3 请问/v 牧童/n 和/cc 鹧鸪/n 。/w 从来不/d 采/v
越橘/n 的/ude1 人/n ,/w 以为/v 已经/d 尝/v 全/a 了/ule 它/rr 的/ude1 色/ng 、/w 香/a 、/w 味/ng ,/w 这/rzv 是/vshi 一个/mq 庸俗/a 的/ude1 谬见/n 。/w 从来/d 没有/v 一只/mq 越橘/n
到/v 过/uguo 波士顿/nsf ,/w 它们/rr 虽然/c 在/p 波士顿/nsf 的/ude1 三座/mq 山上/s 长/a 满/a 了/ule ,/w 却/d 没有/v 进/vn 过/uguo 城/n 。/w 水果/n 的/ude1 美味/n 和/cc 它/rr 那/rzv
本质/n 的/ude1 部分/n ,/w 在/p 装/v 上/f 了/ule 车子/n 运往/v 市场/n 去/vf 的/ude1 时候/n ,/w 跟/p 它/rr 的/ude1 鲜丽/nz 一起/s 给/p 磨损/vn 了/ule ,/w 它/rr 变成/v 了/ule 仅/d
仅/d 是/vshi 食品/n 。/w 只要/c 永恒/z 的/ude1 正义/n 还/d 在/p 统治/v 宇宙/n ,/w 没有/v 一只/mq 纯真/a 的/ude1 越橘/n 能够/v 从/p 城外/s 的/ude1 山上/s 运/v 到/v
城里/s 来/vf 的/ude1 。/w


 

已隐藏重复盖楼 [点击展开]

转至第71楼第 71 楼 露西亚老凯撒 2012/10/4 17:17:43 的原帖:你把粉刺标注去掉,你就知道了。
转至第73楼第 73 楼 活水江河 2012/10/4 17:29:55 的原帖:

不 信 你 就 试试 , 这 是 索罗 瓦尔登湖 的 三个 自然 段 , 你 断 下 词 , 词组 间距 过 大 , 极其 容易 串行 , 有 标点符号 的 两行 如果 同 位置 , 就 会 如此 。 而且 很 难 找到 固定 语句 , 整个 语序 乱七八糟 。


      有时 , 对 人类 社会 及 其 言谈 扯淡 , 对 所有 村 中 的 友人 们 又 都 厌倦 了 , 我 便 向 西 而 漫游 , 越过 了 惯常 起居 的 那些 地方 , 跑 到 这 乡镇 的 更 无 人迹 的 区域 , 来到 “ 新 的 森林 和 新 的 牧场 ” 上 ; 或 当 夕阳 西沉 时 , 到 美 港 山 上 , 大 嚼 其 越 橘 和 浆果 , 再 把 它们 拣 拾 起来 ,
 以 备 几天 内 的 食用 。 水果 可是 不肯 把 它 的 色 、 香 、 味 给 购买 它 的 人 去 享受 的 , 也 不肯 给予 为了 出卖 它 而 栽培 它 的 商人 去 享受 的 。 要 享受 那种 色 、 香 、 味 只有 一个 办法 , 然而 很 少 人 采用 这个 办法 。 如果 你 要 知道 越 橘 的 色 、 香 、 味 , 你 得 请问 牧童 和 鹧鸪 。 从来不 采 越 橘 的 人 , 以为 已经 尝 全 了 它 的 色 、 香 、 味 , 这 是 一个 庸俗 的 谬 见 。 从来 没有 一只 越 橘 到 过 波士顿 , 它们 虽然 在 波士顿 的 三座 山 上 长满 了 , 却 没有 进 过 城 。 水果 的 美味 和 它 那 本质 的 部分 , 在 装 上 了 车子 运往 市场 去 的 时候 , 跟 它 的 鲜丽 一起 给 磨损 了 , 它 变成 了 仅仅 是 食品 。 只要 永恒 的 正义 还 在 统治 宇宙 , 没有 一只 纯真 的 越 橘 能够 从 城外 的 山 上 运 到 城里 来 的 。

转至第74楼第 74 楼 露西亚老凯撒 2012/10/4 17:31:23 的原帖:整个句子看起来乱七八糟。你连举手和句尾都很难锁定。

是因为你文章中换行符造成的,我去掉后的结果:

不 信 你 就 试试 , 这 是 索罗 瓦尔登湖 的 三个 自然 段 , 你 断 下 词 , 词组 间距 过 大 , 极其 容易 串行 , 有 标点符号 的 两行 如果 同 位置 , 就 会 如此 。 而且 很 难 找到 固定 语句 , 整个 语序 乱七八糟 。


      有时 , 对 人类 社会 及 其 言谈 扯淡 , 对 所有 村 中 的 友人 们 又 都 厌倦 了 , 我 便 向 西 而 漫游 , 越过 了 惯常 起居 的 那些 地方 , 跑 到 这 乡镇 的 更 无 人迹 的 区域 , 来到 “ 新 的 森林 和 新 的 牧场 ” 上 ; 或 当 夕阳 西沉 时 , 到 美 港 山 上 , 大 嚼 其 越 橘 和 浆果 , 再 把 它们 拣 拾 起来 , 以 备 几天 内 的 食用 。 水果 可是 不肯 把 它 的 色 、 香 、 味 给 购买 它 的 人 去 享受 的 , 也 不肯 给予 为了 出卖 它 而 栽培 它 的 商人 去 享受 的 。 要 享受 那种 色 、 香 、 味 只有 一个 办法 , 然而 很 少 人 采用 这个 办法 。 如果 你 要 知道 越 橘 的 色 、 香 、 味 , 你 得 请问 牧童 和 鹧鸪 。 从来不 采 越 橘 的 人 , 以为 已经 尝 全 了 它 的 色 、 香 、 味 , 这 是 一个 庸俗 的 谬 见 。 从来 没有 一只 越 橘 到 过 波士顿 , 它们 虽然 在 波士顿 的 三座 山 上 长满 了 , 却 没有 进 过 城 。 水果 的 美味 和 它 那 本质 的 部分 , 在 装 上 了 车子 运往 市场 去 的 时候 , 跟 它 的 鲜丽 一起 给 磨损 了 , 它 变成 了 仅仅 是 食品 。 只要 永恒 的 正义 还 在 统治 宇宙 , 没有 一只 纯真 的 越 橘 能够 从 城外 的 山 上 运 到 城里 来 的 。

回帖人: | 只看此人 | 不看此人 | 2012/10/4 17:46:03    跟帖回复:
78
有 道理。围观
回帖人: | 只看此人 | 不看此人 | 2012/10/4 17:46:26    跟帖回复:
79
句首句尾的空间与标点符号空间基本相同,你甚至都找不到句子。
这种问题还用讨论吗?你同意,你这么写,这是你的自由。只要你不嫌麻烦,把汉子倒过来写也没人管得了你。
但是故意拿这些来恶心人,刷存在感,那就是纯粹有病了。
回帖人: | 只看此人 | 不看此人 | 2012/10/4 17:48:37    引用回复:
80
转至第53楼第 53 楼 露西亚老凯撒 2012/10/4 16:45:18 的原帖:英语之所以断词是因为英语只有26个字母,靠的是字母组合,如果不断开就根被没法读。
比如:
Thefriendshipbetweengentlemenisaspureascrystal; ahedgebetweenkeepsfriendshipgreen.
楼主告诉我这是什么意思?
但是汉语,
君子之交淡如水。
你能看懂吗?汉语断词根本没必要。多此一举的神经病行为。
转至第67楼第 67 楼 cyberhorse 2012/10/4 17:07:37 的原帖: 杭州市长春药店= 杭州 市长(的) 春药店 ?

 实际上 个案 并不能 充分 说明问题。 重要的是 分词书写 是不是 减轻 了 阅读负担, 提高了 阅读效率?
转至第72楼第 72 楼 活水江河 2012/10/4 17:22:57 的原帖:这是耶宝的分词结果,

粗粒度: 杭州市长春药店 为一个词。

细粒度:[杭州市/ns 长春/ns 药店/nis]/nt

应该帮助读者阅读和理解正确的意义。 


转至第75楼第 75 楼 老天祖 2012/10/4 17:32:45 的原帖:其实,不用空格,也可以通过标点,实现精细断词。

例如: 杭州市长春药店 

可以断为:杭州市长 春药店
杭州 市长春药店
杭州市 长春药店

用标点:
杭州市,长春药店

用在句子中,可是是这样:
1、我昨天去了杭州市长春药店。
2、我昨天去了杭州市,长春药店。

选择权可以在作者。如果觉得会有歧义,可以通过标点,解决这些问题。

我说过,断词在理论上,肯定比不断词对阅读更有利。但它产生的弊端也是非常多的。怎样取舍,恐怕不是一两个人、一小段时间的克确定的。



















让作者给出断词肯定会增加作者的工作量和改变写作习惯,可让分词工具给出结果,作者再校对。
回帖人: | 只看此人 | 不看此人 | 2012/10/4 17:53:14    引用回复:
81
转至第79楼第 79 楼 露西亚老凯撒 2012/10/4 17:46:26 的原帖:句首句尾的空间与标点符号空间基本相同,你甚至都找不到句子。
这种问题还用讨论吗?你同意,你这么写,这是你的自由。只要你不嫌麻烦,把汉子倒过来写也没人管得了你。
但是故意拿这些来恶心人,刷存在感,那就是纯粹有病了。
空间的大小已经有人讨论,把词间空格减少一半或其他可能更易于阅读。
回帖人: | 只看此人 | 不看此人 | 2012/10/4 17:57:48    引用回复:
82
转至第79楼第 79 楼 露西亚老凯撒 2012/10/4 17:46:26 的原帖:句首句尾的空间与标点符号空间基本相同,你甚至都找不到句子。
这种问题还用讨论吗?你同意,你这么写,这是你的自由。只要你不嫌麻烦,把汉子倒过来写也没人管得了你。
但是故意拿这些来恶心人,刷存在感,那就是纯粹有病了。
转至第81楼第 81 楼 活水江河 2012/10/4 17:53:14  的原帖:空间的大小已经有人讨论,把词间空格减少一半或其他可能更易于阅读。
你理解一句话的时候是一个单词一个单词的理解还是一句一句的理解?
简直就是逆常识。
回帖人: | 只看此人 | 不看此人 | 2012/10/4 17:58:13    跟帖回复:
83
赞同,发明零是一个进步。现在电脑打字,空格轻松,楼主提出的建议很好,建议大家跟帖,可以辩论,共同推进文化进步!
回帖人: | 只看此人 | 不看此人 | 2012/10/4 17:58:13    跟帖回复:
84
这个主意很狗屁,看着也不舒服,又费纸张。
回帖人: | 只看此人 | 不看此人 | 2012/10/4 17:59:21    引用回复:
85
转至第53楼第 53 楼 露西亚老凯撒 2012/10/4 16:45:18 的原帖:英语之所以断词是因为英语只有26个字母,靠的是字母组合,如果不断开就根被没法读。
比如:
Thefriendshipbetweengentlemenisaspureascrystal; ahedgebetweenkeepsfriendshipgreen.
楼主告诉我这是什么意思?
但是汉语,
君子之交淡如水。
你能看懂吗?汉语断词根本没必要。多此一举的神经病行为。
转至第67楼第 67 楼 cyberhorse 2012/10/4 17:07:37 的原帖: 杭州市长春药店= 杭州 市长(的) 春药店 ?

 实际上 个案 并不能 充分 说明问题。 重要的是 分词书写 是不是 减轻 了 阅读负担, 提高了 阅读效率?

已隐藏重复盖楼 [点击展开]

转至第72楼第 72 楼 活水江河 2012/10/4 17:22:57 的原帖:这是耶宝的分词结果,

粗粒度: 杭州市长春药店 为一个词。

细粒度:[杭州市/ns 长春/ns 药店/nis]/nt

应该帮助读者阅读和理解正确的意义。 


转至第75楼第 75 楼 老天祖 2012/10/4 17:32:45 的原帖:其实,不用空格,也可以通过标点,实现精细断词。

例如: 杭州市长春药店 

可以断为:杭州市长 春药店
杭州 市长春药店
杭州市 长春药店

用标点:
杭州市,长春药店

用在句子中,可是是这样:
1、我昨天去了杭州市长春药店。
2、我昨天去了杭州市,长春药店。

选择权可以在作者。如果觉得会有歧义,可以通过标点,解决这些问题。

我说过,断词在理论上,肯定比不断词对阅读更有利。但它产生的弊端也是非常多的。怎样取舍,恐怕不是一两个人、一小段时间的克确定的。



















转至第80楼第 80 楼 活水江河 2012/10/4 17:48:37  的原帖:让作者给出断词肯定会增加作者的工作量和改变写作习惯,可让分词工具给出结果,作者再校对。
这样对工作量的增加更大。没做过文编吧?
回帖人: | 只看此人 | 不看此人 | 2012/10/4 18:00:17    跟帖回复:
86
一些不易识读的字词也应该标注(biaozhu)拼音
回帖人: | 只看此人 | 不看此人 | 2012/10/4 18:00:27    跟帖回复:
87
 楼主累不累?我看着都累。楼主有一句话说得好:习惯就好。我认为现在大家都不脱裤子放屁,习惯了就好。而楼主的 空格断词 是 脱裤子 放屁,阻力 是 小,但是 累。
回帖人: | 只看此人 | 不看此人 | 2012/10/4 18:03:20    跟帖回复:
88
英文的习惯,可以参考,而且并不涉及太大的改革、变化,避免误会。现在的方式,就是法律法规都可能产生歧义。楼主建议很好,建议大家辩论,跟帖。
回帖人: | 只看此人 | 不看此人 | 2012/10/4 18:07:00    引用回复:
89
转至第84楼第 84 楼 淞沪战士 2012/10/4 17:58:13 的原帖:这个主意很狗屁,看着也不舒服,又费纸张。
看是习惯问题,电子文本不存在浪费问题。
回帖人: | 只看此人 | 不看此人 | 2012/10/4 18:09:43    跟帖回复:
90
小学水平的人确实需要这么断开
72605 次点击,558 个回复  1 2 3 4 5 6 7 8 9 10 ... 38 下一页
跳转论坛至:
快速回复:[原创]论中文引入空格符断词的必要性
本站声明:本站BBS互动社区的文章由网友自行帖上,文责自负,对于网友的贴文本站均未主动予以提供、组织或修改;本站对网友所发布未经确证的商业宣传信息、广告信息、要约、要约邀请、承诺以及其他文字表述的真实性、准确性、合法性等不作任何担保和确认。因此本站对于网友发布的信息内容不承担任何责任,网友间的任何交易行为与本站无涉。任何网络媒体或传统媒体如需刊用转帖转载,必须注明来源及其原创作者。特此声明!

【管理员特别提醒】 发布信息时请注意首先阅读 ( 琼B2-20060022 ):
1.全国人大常委会关于维护互联网安全的决定2.凯迪网络BBS互动区用户注册及管理条例。谢谢!
  • 广告