摘要：说明国内外手语研究成果主要方向及研究成果现状，手语鉴别各种方法，手语合成结合部分，手语网络通信解决方案技术信息对及手运动约束难题。
关键词：人体语言 手语 鉴别 合成 通信 运动约束
手语是聋哑人运用语言。它是由手形动作辅的对表情姿势而构成相比较稳定表达系统，是一种靠动作/视觉进行交际特殊语言。
人类交互往往声情并茂，除了使用自然语言口语，书面语言外，人体语言表情，体势，手势也是人类交互基本方法的一。及人类交互相比，人机交互就呆板得多，因而研究成果人体语言理解，即人体语言感知，及人体语言及自然语言资料融合对于提升计算机人类语言理解水平与加强人机接口可实用的性极有意义。手语是人体语言一个非常显要结合部分，它是包含资料量最多一种人体语言，它及语言及书面语等自然语言表达能力相同，因而人机交互方面，手语完全能作为一种手段，而且具有很强视觉效果，它生动，形象，直观。
手语研究成果不仅有助于改善与提升聋哑人生活学习与工作环境，为他们供更好服务。同时也能使用于计算机辅助哑语教学，电视节目双语播放，虚拟人研究成果，电影制作中特技处理，动画制作，医疗研究成果，游戏娱乐等诸多方面。另外，手语研究成果涉及到教学，计算机图形学，机器人运动学，医学等多学科。因此，手语研究成果是一个非常有意义课题。这里将组成国内外手语研究成果关联方向，对手语鉴别，手语合成，手语网络通信，手运动约束这几方面作一下综述。
1 手语鉴别
手语鉴别不但具有深远研究成果意义，而且具有广阔实际使用前景，到少表现在对下几个方面：1能够使得聋哑人，尤其是使得文件程度相比较低聋哑人，运用手语与正常人交流；2从认知科学角度，研究成果人视觉语言理解机制，提升计算机对人类语言理解水平；3采用手势控制vr中智能化；4机器人示范学习；5虚拟现实系统中多模式接口等。
从手语输入设备来看，手语鉴别系统主要分为数据手套鉴别与视觉图像手语鉴别系统。数据手套手语鉴别系统，是采用数据手套与位置跟踪测量使用手势在空间运动轨迹与时序资料。这种方法优点是系统鉴别率高。缺点是打手语人要穿戴复杂数据手套与位置跟踪器，并且输入设备相比较昂贵。采用数据手套等典型传感设备方法，台湾大学liang等人采用单个vpl数据手套作为手语输入设备，可鉴别台湾手语课本中250个基本词条，鉴别率为90.5%。cmuchristopher lee与xu在1995年完成了一个操纵机器人手势控制系统。kadous用power gloves作为手语输入设备，鉴别有95个孤立词构成词汇集，正确率为80%。视觉手势鉴别是采用摄像机收集手势资料，并进行鉴别。该方法优点是输入设备相比较便宜，但鉴别率相比较底，实时性较差，特别是很难应用大词汇量手语录鉴别。在视觉方法方面，具有代表性研究成果成果包括：1991年富士通数据实验室完成了对46个手语符号鉴别工作。davis与shah将戴上指间具有高亮标记视觉手套手势作为系统输入，可鉴别7种手势。starner等在对美国手语中带有词性40个词汇随机结合短句子鉴别率达到99.2%。grobel与assam从视频录像中是取特征，使用hmm技术信息鉴别262个孤立词，正确率为91.3%。此外，vogler及metaxas将两种方法组成应用美国手语鉴别，交互使用一个位置跟踪器及三个互相垂直摄像机作为手势输入设备，完成了53个孤立词鉴别，鉴别率为89.9%。
从鉴别技术信息来看，对往手语鉴别系统主要使用人工神经网络ann及隐markov模型hmm等方法。神经网络方法具有类别特征及抗干扰性，然而由于其处理时间序列能力不强，目前广泛应用静态手势鉴别。著名felsglovetalk系统使用神经网络方法作为鉴别技术信息。对于研究区间内手语信号，通常采取hmm方法进行模型化。hmm是众周知并广泛运用统计方法，普通拓扑构造下hmm具有非常强详解手语信号时空变化能力，在动态手势鉴别领域一直占有主导地址，如卡内基＆#8226;梅隆大学美国手语鉴别系统及台湾大学台湾手语鉴别系统等均使用hmm作为系统鉴别技术信息。另外，grobel及assam采用hmm鉴别由戴有色手套用户通过摄像机输入262个孤立手语词，正确率为91.3%。然而正是由于hmm拓扑构造普通性，导致这种模型在研究手语信号时过于复杂，使得hmm训练与鉴别计算量过大。尤其是在连续hmm中，由于需计算大量状态概率密度，需估计型号参数个数较多，使得训练及鉴别速度相对较慢。因而对往手语鉴别系统所使用hmm普通为离散hmm。
在我国，哈尔滨工业大学吴江琴，高文等给出了ann及hmm混合方法作为手语训练鉴别方法，对增加鉴别方法类别特征与减少模型估计型号参数个数。将ann-hmm混合方法使用于有18个传感器cyberglove型号参数数据手套中国手语鉴别系统中，孤立词鉴别率为90%，简单语句级鉴别率为92%。接下来高文等又选取cyberglove型号参数数据手套作为手语输入设备，并使用了dgmmdynamicgaussianmixturemodel作为系统鉴别技术信息，即采用一个随时间变化具有m个分量混合gaussiann-元混合密度来模型化手语信号，可鉴别中国手语字典中274个词条，鉴别率为98.2%。及hmm鉴别系统相比较，这种模型鉴别精度及hmm模型鉴别精度相当，其训练与鉴别速度比hmm训练及鉴别速度有明显改善。他们为了进一步提升鉴别速度，鉴别模块中选取了多层鉴别器，可鉴别中国手语字典中274个词条，鉴别率为97.4%。及单个dgmm鉴别系统相比较，这种模型鉴别精度及单个dgmm模型鉴别精度基本相同，但其鉴别速度比单个dgmm鉴别速度有明显提升。2000年在国际上他们首次解决方案了5000词对上连续中国手语鉴别系统。另外，清华大学祝远新，徐光等给出了一种视觉动态孤立手势鉴别技术信息，借助于图像运动变阶型号参数模型与鲁棒回归研究，提出一种运动分割图像运动估计方法。图像运动型号参数，构造了两种表现变化模型分别作为手势表现特征，采用最大最小提升算法来建立手势参考模板，并采用模板类别技术信息进行鉴别。对12种手势鉴别率超过90%。在进一步研究成果中，他们又给出了关于连续动态手势鉴别，融合手势运动资料与皮肤颜色资料，进行复杂情景下手势分割；通过组成手势时序资料，运动表现及形状表现，提出动态手势时空表现模型，并提出颜色，启动对及形状等多模式资料分层融合策略抽取时空表观模型型号参数。最后，提出动态时空规整算法应用手势鉴别。对12种手势，平均鉴别率高达97%。
尽管已经解决方案了一些手语鉴别系统，但中国手语鉴别仍然面对许多挑占性课题，如手势不变特征提取，手势的间过度模型，手语鉴别最小鉴别，自动分割鉴别基元，词汇量可扩展鉴别方法，手语鉴别辅助资料，非特定人手语鉴别难题，混合手指语与手势语手语鉴别对及中国手势语语法等。
2 手语合成
手语合成是使聋哑人理解正常语言表达最有效手段，在手语合成中涉及对下几个方面难题：本文输入部分，文本切分部分，文本研究及手语码转换，手语库创建及手语词手语合成与手语显示。
文本输入部分功能是编辑输入汉语句子。文本切分将句子分成词，标点适合单独成词。系统分词过程首先使用最大匹配发切分，然后采用第一步分词结果通过查找词条歧义标志位调用词规则，进而进行歧义校正。文本研究及手语码转换是手语合成显要部分。虽然中国手语是参考汉语制定，但是两种语言差别主要体现在四个方面：语言表达形态，基本词汇，句子构造与构词方法。在语言表达形态上：汉语是靠语音/听觉交际有声语言。中国手语是一种靠动作/视觉交际可视化语言。在基本词汇上：汉语词汇大约有近五万多个字结合，总词汇量可达十万多个。中国手语词汇仅由3330个手势语结合。中国手语手势词语及汉语词语不完全存在一一对应关系。在句子语法构造上：手语句子及汉语句子词序有所不同，此外还省略了日常语言某些词如量词。因此从汉语转换到中国手语，主要完成基本词汇上差别，同时考虑部分词汇差别。手语词库记录了每个手语词手语运动资料，是手语合成显要基础。创建手语词库不仅工作量大，而且其质量也直接影响合成手语结果。目前创建手语词库方法有两种：运动跟踪方法与手工编辑方法。也有人综合运用这两种方法。运动跟踪方法是对腕关节及各手指关节运动由数据手套提取，肩关节及肘关节运动由位置跟踪传感器提取。而手工方法是通过手工数据实验来提取手势型号参数。手语是一种可视语言，合成手语仅仅有显示出来，观察者才能“读”取手语资料及意义。手语合成及显示解决方案方法是：在vrml中有一部分是专门应用详解三维人体模型h-anim基准，根据此基准对虚拟人定义，一个虚人有47关节96个自由度，仅仅要确定这96个自由度角度值，使用运动学方法与计算机图形学方法，就能计算出虚拟人每个肢体位置与方向，由此确定虚拟人一个姿态。一个手语运动是一个人体手势序列，按照预定时间间隔连续显示一个手语运动中每一个手势，既能生成对应手语运动。
3 手语网络通讯
当今，网络通讯已经成为一种显要通讯手段。研究成果哑语通讯，使聋哑人更好地融入网络社会，感受科技进步，更好地为他们服务并且方便了他们生活。而手语作为一种动作语言，从广义上讲，它使用不仅仅局限于聋哑人的间，聋哑人及非聋哑人的间，对及异语种间健常人交流都可能使用到动作语言。从这个意义上，研究成果哑语表达及通讯，具有更加广泛社会意义与实际使用前景。
更解决方案手语网络通讯，必须使用一种恰当技术信息，它既能完成手语图像动画表达，它既能完成手语图像三维动画表达，产生数据，文件应该尽量地短小，且便于压缩，对利于网络输出，提升网络输出速度，避免网络拥塞，解决方案实时说明。能运用三维动画技术信息来解决方案手语动画，但普通三维动画技术信息形成图像虽然可能足够生动逼真条件，却不适合网络使用。因为它们应用图像与动画文件格式是像素，大小与行为都是固定，为了得到特体三维印象，到少需两幅图解，这使输出量巨大且不能解决方案交互。同时，http，html基准www仅仅能表达与传递二维资料，不能足够对三维环境与三维显像具有特定条件使用需求。鉴于这种使用特殊条件，提出使用vrml技术信息。vrmlvirtual reality modeling language是一种能在www上操作方法三维图形可视化工具，vrml 2.0推出于1996年8月，它能够灵活有效方法，将二维，三维图形与动画，影片，声响与音乐等几种效果调与在一起，形成一个综合性单一媒体，在环球网上建立动态世界。vrml本身不是一种传统编程代码语言，它是一种建模语言，有它自己文件格式，人们能用它详解三维场景。它不但能足够图像质量条件，而且存储与输出仅仅是物理三维坐标，图像本身是在本地生成，这就大大减少了网络输出量，也便于进行交互操作方法。同时，运用vrml技术信息生成文件格式是ascii码，能被有效地压缩，这就进一步减轻了网络压力，提升了输出效率，能够解决方案手语图像在网络上高速输出。
另外，日本北海道大学青木由直教授是研究成果手语通讯倡导者，他通过创建一个不同语言手语翻译字典在internet解决方案了日语与韩语手语聊天系统，进一步又研究成果了日本及中国手语变换，手语手成二维及三维动画，对及带有面部表情与嘴唇形状日语与韩语手语聊天系统等。
4 手运动约束
人手结合是一个非常复杂构造。手是由骨头，连接骨头韧带，作为拉力动力服务肌肉，运动时连接肌肉及骨头腱，对及覆盖着保护软组织与皮肤。骨头通过关节连接起来并且不能改变大小，肌肉产生扭矩与关节通过拉力运动都存在一块或更多肌肉群为其服务。因此，手运动极其复杂。由于真实手生理特性，手运动受到一些限制与约束。研究手运动约束，就能更好研究成果虚拟三维人手运动。这样一来就能在关于手动画片中避免一些不真实动作，使其更加拟人化。
手运动约束主要体现在关节运动约束上。有对下四种情况：1关节角度限制与运动种类约束。第二到第五手指第三关节运动仅能弯圣诞节/伸直或一方向运动，并且第一与第二关节也仅能在同一方向上弯曲/伸真。因此，第二到第五手指四个手指在同一平面。2指骨的间关节弯曲约束。对人手指运动来说，在没有外力用处下，不可能存在第一关节弯曲而第二关节不弯曲情况。经研究成果发现，第一关节弯曲角度大约是第二关节弯曲角度2/3。3掌骨及手的间弯曲约束。当第三个关节弯曲时大约角度是90°，而对于第二个手指却少于90°，第三到第五个手指弯曲角度超过90°。这是因为独立一个手指弯曲要受到指状组合型韧带限制，这样一个手指弯曲可能导致其它附近手指弯曲，同时一个手指伸展也要受到其手指弯曲阻止。因此，第三关节弯曲角度依赖于相邻手指弯曲或伸展。4掌骨及手的间关节并拢及分开约束。自然伸开手掌是，并拢及分开可自由进行，而握成一个拳头时，随着手指弯曲角度增加分开及并扰角度减少。第三个手指用处限制并扰及分开。此外手运动约束还包括腕关节，肘关节对及肩关节等。
手语研究成果内容多，范围广，发展很快，是一个很有前景研究成果方向。当然，手语研究成果较为复杂，而且涉及到多学科多领域，许多难题还有待于进一步探索。
- 上一篇：中国手语在实际应用中有三级概念
- 下一篇：妈妈如何读懂宝宝的手语
