Intern Multi-Camera Video Capture For Real-Time 3Dgs Avatars H/F - InterDigital

About InterDigital

InterDigital is a global research and development company focused primarily on wireless, video, artificial intelligence (AI), and related technologies. We design and develop foundational technologies that enable connected, immersive experiences in a broad range of communications and entertainment products and services. We license our innovations worldwide to companies providing such products and services, including makers of wireless communications devices, consumer electronics, IoT devices, cars and other motor vehicles, and providers of cloud-based services such as video streaming. As a leader in wireless technology, our engineers have designed and developed a wide range of innovations that are used in wireless products and networks, from the earliest digital cellular systems to 5G and today's most advanced Wi-Fi technologies. We are also a leader in video processing and video encoding/decoding technology, with a significant AI research effort that intersects with both wireless and video technologies. Founded in 1972, InterDigital is listed on Nasdaq.

InterDigital is a registered trademark of InterDigital, Inc.

À propos d'InterDigital

InterDigital est une entreprise mondiale de recherche et de développement qui se concentre principalement sur les technologies sans fil, vidéo, d'intelligence artificielle ("AI") et les autres technologies connexes. Nous concevons et développons des technologies fondamentales qui permettent des expériences connectées et immersives dans une large gamme de produits et de services de communication et de divertissement. Nous concédons des licences sur nos innovations dans le monde entier à des entreprises qui fournissent de tels produits et services, notamment des fabricants d'appareils de communication sans fil, d'appareils électroniques grand public, d'appareils IoT, de voitures et d'autres véhicules à moteur, ainsi que des fournisseurs de services basés sur le cloud, tels que la diffusion vidéo. En tant que leader de la technologie sans fil, nos ingénieurs ont conçu et développé un large éventail d'innovations utilisées dans les produits et les réseaux sans fil, depuis les premiers systèmes cellulaires numériques jusqu'à la technologie 5G et les technologies Wi-Fi les plus avancées d'aujourd'hui. Nous sommes également un leader dans le domaine du traitement vidéo et de la technologie de codage/décodage vidéo, avec un important effort de recherche en matière d'IA qui recoupe à la fois les technologies sans fil et les technologies vidéo. Fondée en 1972, InterDigital est une société cotée au NASDAQ.

InterDigital est une marque déposée d'InterDigital, Inc.

Pour plus d'informations, n'hésitez pas à consulter le site www.interdigital.com.

Summary

The InterDigital Immersive Video Lab is dedicated to advancing avatar-based communication. In this context, this internship aims to transform an existing photography setup comprising 14 DSLR cameras into a multi-view video capture rig. The primary objective is to develop a complete acquisition pipeline for synchronized recordings of facial expressions and head movements. The work will begin by assessing the cameras' video capabilities, synchronization options, and data transfer constraints. It will include camera calibration, lighting configuration, and the development of tools to control and monitor recording sessions. Particular attention will be given to temporal alignment, consistent exposure, and image quality across viewpoints. A facial capture protocol will define the expressions, speech sequences, and head movements required for avatar reconstruction and animation. The second objective is to produce a structured multi-view video dataset for real-time avatar calls using 3D Gaussian Splatting. The dataset will include recordings from multiple participants, calibration data, capture metadata, and predefined training and evaluation sequences. The expected outcomes are an operational video capture rig, a documented acquisition workflow, and a quality-checked dataset collected with participant consent.

Responsibilities

State-of-art on avatar representation formats (ARF, DNA, USD, VRM, FBX etc.)

Development of a prototype of interop platform

Demonstrator to assess the ARF interoperability

Résumé

L'Immersive Video Lab d'InterDigital se consacre au développement de la communication basée sur les avatars. Dans ce contexte, ce stage vise à transformer un dispositif photographique existant, composé de 14 appareils photo reflex numériques, en un système de capture vidéo multivue. L'objectif principal est de développer une chaîne d'acquisition complète permettant des enregistrements synchronisés des expressions faciales et des mouvements de la tête. Les travaux débuteront par l'évaluation des capacités vidéo des appareils, des options de synchronisation et des contraintes de transfert des données. Ils comprendront l'étalonnage des caméras, la configuration de l'éclairage et le développement d'outils de pilotage et de suivi des sessions d'enregistrement. Une attention particulière sera portée à l'alignement temporel, à la cohérence de l'exposition et à la qualité d'image d'un point de vue à l'autre. Un protocole de capture faciale définira les expressions, séquences de parole et mouvements de tête nécessaires à la reconstruction et à l'animation des avatars. Le second objectif est de constituer un jeu de données vidéo multivue structuré pour des appels avec avatars en temps réel reposant sur le 3D Gaussian Splatting. Ce jeu de données comprendra des enregistrements de plusieurs participants, des données d'étalonnage, des métadonnées de capture ainsi que des séquences prédéfinies d'entraînement et d'évaluation. Les résultats attendus sont un système de capture vidéo opérationnel, une procédure d'acquisition documentée et un jeu de données dont la qualité a été contrôlée, recueilli avec le consentement des participants.

Missions

État de l'art des formats de représentation d'avatars (ARF, DNA, USD, VRM, FBX, etc.)

Développement d'un prototype de plateforme d'interopérabilité

Démonstrateur permettant d'évaluer l'interopérabilité d'ARF

Qualifications

Master - High level in programming, code architecture and format interoperability. Some knowledge in 3D computer vision, computer graphics, 3D modeling, rendering or Maya/Houdini/Blender would be appreciated

undefined

Profil recherché

Master. Très bon niveau en programmation, en architecture logicielle et en interopérabilité des formats. Des connaissances en vision par ordinateur 3D, informatique graphique, modélisation 3D, rendu ou Maya/Houdini/Blender seraient appréciées