本期推荐一篇最新发表在SMJ上的论文《引入基于机器学习的多模态数据融合方法：微型企业可信度测量的应用》。随着数字化和社交媒体平台的崛起，企业与消费者之间的互动越来越依赖多种形式的沟通，如文本、音频和视频等。这些数据类型被称为多模态数据，它们共同描绘了卖家的行为和形象。然而，传统的战略研究往往依赖于单一模态数据（如文本），忽视了非语言信号（如面部表情、语调等）对消费者决策的影响。这就限制了研究的全面性和预测的准确性。因此，本研究旨在通过引入基于机器学习的多模态数据融合方法，提升对微型企业卖家可信度的评估。
论文采用了来自TikTok平台的直播视频数据，这些视频包含卖家的语言、视觉和音频信息。研究者首先通过人工标注对这些视频中的卖家可信度进行打分，并通过机器学习模型进行训练。标注工作基于可信度的经典框架，包括能力、善意和诚信三个维度。数据融合的核心在于将这些不同模态的数据进行统一处理和分析。具体来说，研究者使用了深度学习中的长短期记忆网络（LSTM）模型，分别从视频中提取文本、语音和视觉特征。语言特征通过自然语言处理工具提取，语音特征则包括语调、音高等信息，而视觉特征则集中在面部表情和肢体语言。研究设计了三种分析方法：全模态融合、部分模态融合和无融合方法，分别比较了它们在预测卖家可信度时的表现。
研究结果表明，全模态融合方法能够显著提升预测准确性，在二元分类中准确率达到94.37%，远优于仅分析单一模态数据的方法。更重要的是，卖家的可信度与其销售表现呈显著正相关，特别是在体验型产品中，可信度对销售转化率的影响更为显著。该研究不仅为微型企业在数字平台上的经营提供了策略指导，还展示了多模态数据分析在战略管理中的巨大潜力。未来，随着更多数据平台的引入和技术的进步，这一研究方法可以进一步扩展应用到更多行业和领域。
Introducing machine-learning-based data fusion methods for analyzing multimodal data: An application of measuring trustworthiness of microenterprisesXueming Luo, Nan Jia, Erya Ouyang, Zheng Fang
