【实习】基于多模态大模型的视频分析/理解/画质评估及增强与视频智能编码/表达-音视频技术（杭州）

团队介绍：视频与边缘部门承载了字节跳动的媒体内容分发基建及技术中台，支持了字节跳动全系产品，如抖音、今日头条、番茄小说、西瓜视频等APP的点播、直播、实时通信、图片等多媒体业务发展，同时将业务发展过程中沉淀下来的技术能力和工具，通过火山引擎对外输出，面向各行各业用户提供视频云产品和服务，愿景是为内外部业务伙伴提供最低成本、最优画质、最低延时、最安全可靠的富媒体内容分发解决方案，助力业务伙伴降本提效实现持续增长。 课题介绍： 随着4K、HDR等技术成为主流标准，消费者对视频画质的要求日益提升。然而，视频在拍摄、传输和压缩过程中，画质往往受损，影响观看体验。多模态大模型的出现为视频分析、理解、画质评估、及画质增强提供了新的可能性，因此希望能够探索多模态大模型在多媒体场景的应用可行性，发掘基座大模型在大规模业务视频内容应用的潜力，建立业内领先的多媒体场景的多模态大模型解决方案。 1、画质分析以及人眼感知：利用多模态大模型，深入分析视频内容及画质退化问题，研究人眼对色彩、帧率、清晰度等画质维度的感知能力，从而使得画质评估更为准确，画质增强对退化的处理更为智能，增强的结果更符合人眼主观； 2、生成式画质增强：利用生成式大模型的先验信息，大幅提升画质增强的效果天花板，并且解决生成伪像、生成保真度、生成稳定性等当前生成式算法存在的问题； 3、视频时域任务：研究画质理解和增强在视频上的拓展，包括时域信息表征建模，时域退化理解，时域画质增强连续性，时域推理加速等； 4、用户视角的验证：在大规模用户环境中，从用户的实际观看体验出发，验证画质增强算法的有效性和用户满意度； 5、视频智能编码及表达：近年来，深度学习在视频及图像压缩领域逐渐成为研究热点。随着传统编码标准逐渐逼近性能瓶颈，深度学习方法受到了业界的高度重视，发展极为迅速。目前在部分场景下深度学习方法已经可以接近甚至超过H.266/VVC的压缩效率。然后相对传统编码，深度学习方法也面临着诸多挑战，例如在很多应用场景下的压缩效率依然落后于传统编码技术，运算复杂度高，跨平台编解码缺乏兼容性，难以标准化等等。此外，如何将传统编码算法和深度学习算法在统一的硬件架构下实现，并达到极致的算力利用效率，涉及到算法和硬件架构创新，是研究的难点。 课题挑战： 基于多模态大模型的分析/理解/画质评估和增强面临如下挑战： 1、多模态长视频复杂时序关系建模； 2、少样本grounding-based理解画质评估模型； 3、可交互/用户偏好对齐的视频处理/增强模型。 视频智能编码及表达面临如下挑战： 1、如何实现压缩效率显著超越传统编码器； 2、如何满足可接受的复杂度及功耗要求； 3、如何保证跨平台编解码一致性； 4、如何高效压缩token等新兴智能信息； 5、如何有效表达语义信息。 课题价值： 基于多模态大模型的分析/理解/画质评估和增强的研究价值： 1、提升中长视频语义理解与事件定位能力及处理效率，支撑广告推荐、内容理解、视频价值评估和转码增强等核心业务； 2、降低画质标注成本，实现局部退化可解释评估，提升跨内容泛化能力，支持像素级画质质检与优化。 视频智能编码及表达的研究价值： 1、传统视频编码技术逐渐接近其能力极限，视频的智能编码技术有希望突破该极限，实现前所未有的视频压缩效率； 2、在新的应用场景中，Token等新兴智能信息将占据显著带宽。对新兴智能信息的压缩将显著提高传输与存储效率； 3、高效视频智能编码及表达一旦实现标准化，将在市场中占据有利位置，有巨大潜在专利价值； 4、高效视频智能编码及表达有可能明显节省带宽及存储，直接创造经济收益。 【任职要求】 1、2027届及以后毕业，博士在读，人工智能、计算机、通信、芯片设计等相关专业优先； 2、优秀的代码能力、数据结构和基础算法功底或芯片架构设计； 3、在TPAMI/CVPR/NeurIPS/ICCV等顶级期刊会议上发表论文者优先； 4、向标准组织提出过提案并有标准会议经验的同学优先； 5、出色的问题分析和解决能力，有自主探索解决方案的能力。