针对胃肠疾病高发与传统诊断手段受限的双重困境，本实验室研发了基于深度双线性与多模态特征融合框架的新型舌象计算机视觉架构，面向胃病与胃癌诊断构建了人工智能驱动的无创胃肠疾病智能筛查平台。目前全球有超过 20 亿人患有胃肠道疾病，仅中国就有超过 1.2 亿患者，胃肠道癌症约占中国所有癌症相关死亡病例的 45%（2020 年）；胃癌及癌前病变（胃萎缩、肠化生）早期无症状且致死率高。临床金标准内镜检查结合活检虽有创但成本高、体验差，无法普及全民早期筛查，易错过干预窗口。中医舌诊作为传统无创诊断手段，虽可通过舌象反映胃肠脏腑状态，但人工舌诊主观性强、缺乏统一量化标准。依托健康中国战略对 AI 医疗与中医药现代化的大力扶持，以及深度学习与多模态图像融合技术的成熟，本项目实现了舌象数字化建模，仅需一张舌部照片即可筛查胃肠道疾病与癌症风险、识别中医体质并提供个性化膳食建议。

系统构建了完整的技术路线。在图像采集与预处理环节，采用 U-Net 编码器—解码器架构结合跳跃连接实现高精度舌体分割，性能优于 FCN 与 Snake 算法，能够保留精细空间细节并处理多变的舌部形态；针对医学数据类别不平衡问题，提出混合采样算法 BSFCM，将 Borderline-SMOTE 过采样（仅在决策边界附近对少数类采样）与模糊 C 均值欠采样相结合，在防止过拟合的同时提高对罕见病理的敏感性，最大限度降低筛查假阴性率。在舌象特征提取环节，系统融合手工特征与深度特征：手工特征覆盖颜色（颜色矩、颜色直方图）、纹理（GLCM 灰度共生矩阵、LBP 局部二值模式、小波分解）与形状（圆形度、7 个 Hu 不变矩）等多色彩空间描述子；深度特征采用在 ImageNet 预训练的 VGG16（512 维）与 ResNet50（2048 维）迁移学习提取，浅层捕捉边缘纹理颜色、深层学习抽象形态结构。

在算法模型层面，系统构建了双层诊断引擎。通用胃肠道疾病引擎评估生理标志物、检测慢性胃炎、功能性消化不良、黏膜炎症等常见疾病，建立胃肠健康基线；胃癌及癌前病变引擎则进行高分辨率表型分析与癌症分诊。模型构建采用两条并行路径：一是基于信息融合的决策模型，将多色彩空间手工特征与深度特征在特征级融合、筛选降维后，交由逻辑回归、随机森林、SVM、KNN、XGBoost 等基学习器并通过堆叠集成实现决策级融合；二是基于双重注意力机制的分类模型，以 SE-ResNet50 为主干网络提取特征，引入 SlotAttention 槽注意力模块，通过 GRU 迭代更新槽表征、以竞争机制聚焦关键舌象区域，实现可解释的疾病判别，并采用 Grad-CAM 进行可视化验证。此外，系统构建了基于证型先验的中医体质辨识模型，整合机器学习、深度学习与中医证候数据，采用 LMF 损失函数有效处理 9 类不平衡体质类型，并通过 Vision Transformer 全局特征提取与证候融合提升辨识准确率；还设计了用于营养风险筛查的深度与视觉特征混合模型，以带 CBAM 通道—空间注意力机制的 ResNet50 提取深度特征，结合舌色、苔质、裂纹等手工特征，通过监督对比学习（SupCon）在潜在空间拉近同类样本、推远异类样本，实现快速无创的营养缺乏检测。

实验结果表明系统性能优异：信息融合模型在胃癌分类上 AUC 达 0.9064，胃萎缩 0.8752、肠化生 0.8296 等关键癌前病变指标均优于对比模型；整体框架经逻辑回归后融合后 AUC 达 0.886、TPR 达 0.965、F1 达 0.902，对患病患者具有高灵敏度；营养风险筛查模型（ResNet50 + CBAM + SupCon）AUC 达 0.912、准确率 90.3%、F1 达 0.865，显著优于 ResNet50（AUC 0.765）等基准模型；中医体质辨识以 CrossViT + LMF 损失 + 证候融合取得最佳效果，AUC 达 0.84、准确率提升 9% 至 66%。来自合作医院的 3000 名患者参与了平台测试，APP 实测胃肠道疾病诊断准确率 86.6%、证型判断准确率 84%、平均诊断时间 5 秒、实际时间成本降低 65%、饮食推荐依从性 86.5%、食物数据库覆盖率 96.2%。

系统已形成涵盖胃肠道疾病诊断、中医体质辨识、智能膳食推荐三大模块的全栈式移动平台，采用 Flutter、Flask、PyTorch 与 MySQL 技术架构，支持体质报告检测、疾病风险评估与个性化膳食建议等完整服务流程。项目对接国家公共卫生战略，以无创胃肠筛查与营养风险筛查为核心，推动中医舌诊诊断的标准化与数字化，未来将持续拓展临床验证规模、优化罕见病理识别能力，为全民消化道疾病早筛与中医智能化诊疗提供可落地的技术方案。