Nous avons appris en mai qu’Apple utilisait déjà son propre chatbot IA en interne, que certains ont surnommé Apple GPT. Un nouveau document de recherche semble viser à permettre à un système de type ChatGPT de fonctionner sur les iPhones.
Un deuxième article d’Apple AI examine les moyens de générer des avatars 3D animés à partir d’une vidéo standard, avec une application évidente à Vision Pro…
EntrepriseBeat j’ai repéré les journaux.
‘Apple GPT’
Celui du chatbot est intitulé LLM en un éclair : inférence efficace de grands modèles de langage avec une mémoire limitée.
Le « flash » dans le titre est un jeu de mots, car il s’agit de minimiser la quantité de données qui doivent être transférées du stockage flash vers la RAM. LLM est le terme générique désignant les systèmes de chat IA qui ont été formés sur de grandes quantités de texte.
Les LLM (ont) des exigences intensives en matière de calcul et de mémoire (qui) présentent des défis, en particulier pour les appareils avec une capacité DRAM limitée. Cet article aborde le défi de l’exécution efficace des LLM qui dépassent la capacité DRAM disponible en stockant les paramètres du modèle sur la mémoire flash mais en les transférant à la demande dans la DRAM. Notre méthode consiste à construire un modèle de coût d’inférence qui s’harmonise avec le comportement de la mémoire flash, nous guidant dans une optimisation dans deux domaines critiques : réduire le volume de données transférées depuis la mémoire flash et lire les données en morceaux plus grands et plus contigus.
Cette approche permet aux LLM de s’exécuter jusqu’à 25 fois plus rapidement sur des appareils dotés de RAM limitée. Les chercheurs concluent :
Cette avancée est particulièrement cruciale pour déployer des LLM avancés dans des environnements aux ressources limitées, élargissant ainsi leur applicabilité et leur accessibilité.
Génération d’avatars 3D animés à partir d’une vidéo « plate »
Si vous souhaitez filmer une vidéo spatiale pour une visualisation 3D sur Vision Pro, la deuxième version bêta d’iOS 17.2 vous permet de le faire sur votre iPhone.
Mais nous avons tous des masses de vidéos « plates » (monoculaires), et le deuxième article d’Apple sur l’IA décrit une méthode permettant de transformer une vidéo 2D en avatars 3D animés.
Le document indique que généralement, si vous souhaitez générer un avatar 3D réaliste, cela nécessite une configuration multi-caméras pour capturer des images sous différents angles, en les combinant dans un modèle 3D. Ce qu’Apple a réalisé ici, c’est une méthode pour y parvenir à partir d’une très courte séquence vidéo standard.
Le document est profondément technique, avec même le résumé et les conclusions remplis d’acronymes, mais l’essentiel est que la méthode d’Apple est environ cent fois plus rapide que les méthodes existantes pour obtenir le même résultat.
Notre méthode prend uniquement une vidéo monoculaire avec un petit nombre d’images (50 à 100) et apprend automatiquement à démêler la scène statique et un avatar humain entièrement animable en 30 minutes.
Cela a des applications évidentes pour Vision Pro, mais peut également permettre des choses comme des vêtements virtuels ajustés sur votre iPhone, vous permettant de créer un avatar 3D de vous-même et de voir ensuite à quoi vous ressembleriez dans divers vêtements.
Quand tout cela sera publié, c’est une toute autre question, Kuo ayant déclaré en août qu’il n’y avait encore « aucun signe » que la société lancerait son propre chatbot IA en 2024.
Photo: Max Langelot/Unsplash
FTC : Nous utilisons des liens d’affiliation automatique générateurs de revenus. Plus.
