AT-DEP5-0015 · 完整条目稿 0.57.0
多模态交际
基础概念必要基础
定义
多模态交际让话语、声音、目光、手势、图像或空间共同参与意义和行动。模态并列与实际协调要分别分析。
深入理解
多模态交际把话语、声音、手势、图像、布局与空间各自贡献及其协调一起分析。资源可互补、矛盾、限定或代替，先有可述作用，才谈它们怎样共同成一行动，不是越多越好。
安全路线可由手势、说话和图标配合，但共同看向不证明路线已懂。去掉一种通道时，哪些信息还能独立取得尤其重要。装饰也可影响基调和注意，不能先说全无意义；须具体证明它在当前分析中有何作用。
思考如何推进
- 清点实际可用资源
- 分别描述各自贡献
- 追时间和空间上的配合
- 检去掉通道后的损失
- 由参与者回应核实际理解
例子
虚构安全说明把出口手势、口头路线和图上标记配合起来，再等待对方回应。组合可帮助定位，却不保证每人已理解。
反例与界限
文字旁有装饰图不单独证明跨模态协调；仍要检查图怎样影响可理解的消息或行动。
与相近概念的区别
与多媒体并存、非语言交际及单纯插图比较；模态和感官通道不总一一对应。
研究与应用
同步标注及用户测试研究协调、冲突和进入障碍，不以形式数量代有效性。
作用与限制
可开多条进入路，也可能超载或互相冲突；更多信号不保证更多理解。
共鸣
一条线索改变另一条的读法，意义在相互调节中形成。
为什么收录这个概念
提供把资源协同当整体研究的框架，同时保每层证据。
从中文阅读出发
中文网页上的图、字、语音须分别检查，单有汉字替代译文不等人人能进入。
历史背景与来源范围
Darwin并谈声、姿势和语言是历史邻证，不是现代多模态理论的完整创立。
实践、术语命名与中文译名的历史须分别核对。本稿不由一个相似例子推出中文术语的首例。
已整理的历史背景
Darwin将声音、手势和有分节的口语并谈为表达交流手段，因此沟通不限词语。但该段未引现代multimodal communication术语，也未建立模态协调理论；所提遗传机制仍是历史假说而非当前发现。
历史分析的结论与边界
要检声音、手势与措辞怎样加强、改写或冲突；同时可用不单独证明协调意义。
图谱中已有的联系
AT-DEP5-0007 · AT-CORE-238-039 · AT-PRA-0001 · AT-CORE-238-049
来源与查阅范围
下列记录保留原资料的书目名称。所列页码不表示本轮重新阅读全文或独立核验其中全部引文。
- Metzler Lexikon Sprache, 6. Aufl. · Multimodale Kommunikation
- https://pmc.ncbi.nlm.nih.gov/articles/PMC4123681/
引用本条
Reich, Michael（编）：多模态交际，AT-DEP5-0015。语言图谱，Release 17.1.0，中文完整条目稿 0.57.0。引用时请注明访问日期及译稿审校状态。