多模态有哪些可做的方向?

651次阅读
没有评论

多模态技术目前被视为一个热门方向和重点。近三年的顶会上,多模态论文占比增长最高超10%,并增设了MMNLP、ViGIL等多模态研讨会与workshop。

可以说,如今的多模态还处在大爆发早期。在后GPT时代,多模态极有可能是科研与工程领域最大的机会

打铁还需自身硬。想要在多模态领域拥有“技术壁垒”,同学们需要更多的知识储备实战练习

这里分享195篇多模态论文3节多模态基础与2节Kaggle全程实战课以及272页《多模态深度学习》综述书PDF。欢迎大家扫码领取。

多模态有哪些可做的方向?

《通关多模态基础与实战》课程大纲

多模态生成

-Image caption、 Image generation

-Video caption、Video generation

多模态深度学习

-多模态任务:视觉语言问答、多模态情感分析、对话系统…

-多模态技术:GAN、VAE、CLIP…

多模态Paper精读

CLIP— 多模态领域鸿蒙之钟巨作

Kaggle实战:Shopee商品匹配大赛

赛题介绍与Baseline讲解

-图像特征提取与图像检索

-文本特征提取与文本检索

-商品多模态匹配

-信息检索比赛复盘

-模型融合与集成

Kaggle实战:宠物预测大赛

-赛题介绍与Baseline讲解

-CV相关理论介绍及其代码讲解

-调参技巧与数据增强设计

-多模态特征聚合理论介绍

-CV和其他模态数据讲解

-比赛总结复盘

多模态有哪些可做的方向?

《多模态深度学习》PDF

2023年最新发布,概述了多模态深度学习中使用的SOTA方法,以克服来自非结构化数据和组合不同模态输入的挑战。

该书内容涵盖广泛且通俗易懂,无论作为深入学习还是知识扩展都是一本极好的书籍。共272,可以扫描下方二维码下载。

多模态有哪些可做的方向?多模态有哪些可做的方向?

 

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy