Quelles nouveautés pour iOS 18 (IA) ?

Dans quelques semaines, Apple présentera ses nouveaux systèmes, avec -on l'espère- une refonte d’envergure pour iOS 18 intégrant des fonctions dopées à l'IA.

Siri boosté à l'IA !

Après bien des mystères sur les avancées exactes d'Apple en matière d'IA, Tim Cook a promis des révélations en 2024 ! Aussi beaucoup attendent la WWDC avec impatience. Dans le cadre des changements, Cupertino aurait grandement amélioré Siri.

Celui-ci ne serait pas un chatbot conversationnel, mais serait beaucoup plus réactif et capable de répondre avec justesse à son interlocuteur. D'après Mark Gurman, il serait doté de fonctionnalités pour aider les utilisateurs dans leur vie quotidienne, dans une approche désignée comme intelligence proactive.

On trouverait ainsi des services, tels que la synthèse automatique des notifications à partir de l'iPhone, un résumé rapide des articles de presse et la transcription des mémos vocaux, ainsi que l'amélioration des fonctionnalités existantes pour compléter automatiquement votre calendrier ou suggérer des applications. Mais rien qui n'existe déjà à la concurrence !

Dernièrement, on avait appris que Cupertino devait améliorer la façon dont Siri et l'application Messages peuvent répondre aux questions et remplir automatiquement les phrases. Cette nouvelle version de Siri pourrait être basée sur la technologie des modèles de grand langage, similaire à ChatGPT (OpenAI) ou Gemini (Google). Ainsi, l'assistant pourrait animer des images fixes grâce à l'IA !

Un bémol toutefois : Apple ne devrait pas lancer son propre chatbot d'IA avec iOS 18. Mais la firme serait en discussions -plus ou moins avancées- avec des entreprises comme OpenAI, pour intégrer des fonctions de ChatGPT à son système (directement à Siri ou via un autre assistant virtuel ?), mais également Google avec Barde ou encore Baidu pour les iPhone chinois en raison de la réglementation applicable.

iOS 18, l'avènement de l'IA !

Apple aurait en vue de de nouvelles fonctionnalités IA pour Apple Music (pour générer automatiquement des listes de lecture), ou encore Pages, Keynote et Numbers (pour créer des résumés, créer des contenu...). Apple s'est d'ailleurs offert un nouveau nom de domaine : iwork.ai. Ce dernier pourrait être annonciateur d'une nouvelle plateforme, d'autant que Cupertino a également racheté 32 firmes spécialisées dans l'IA en 2023. De quoi booster ses équipes en interne !

Xcode ne serait pas en reste avec la possibilité de créer des blocs de code automatiquement ou tester des applications. D’après Mark Gurman, le nouveau système d'Apple serait similaire à GitHub Copilot de Microsoft. Il utilisera l'intelligence artificielle pour prédire et compléter des blocs de code dans le but de simplifier le travail requis pour le développement de logiciels. La firme explorerait aussi la manière d'utiliser l'IA pour générer du code pour tester les applications.

Les recherches via Spotlight recevraient une IA générative et la possibilité d'effectuer des tâches plus complexes. On pourrait aussi récupérer du coaching dans Santé et sur l'Apple Watch. Mais iOS 18 prévoirait ainsi d'intégrer de grands modèles de langage, et ce, afin d'automatiser des tâches complexes, ce qui impliquerait une plus grande intégration avec l'application Raccourcis.

En fouillant le code des bêtas, le développeur Nicolás Álvarez a découvert des références à Safari browsing assistant, un assistant de navigation inconnu au bataillon. A ce stade, tout n'est que spéculation. Mais nul doute que les ajouts liés à l'iA seront nombreux et Safari ne devrait pas être oublié, d'autant que d'autres navigateurs iOS intègrent déjà de l'IA. On pense bien évidemment à Microsoft Edge secondé effacement par Copilot (alimenté par GPT-4).

Par ailleurs, Nicolás Álvarez a aussi trouvé une fonctionnalité dénommée Encrypted visual search, qui utiliserait elle aussi l'infrastructure Relai Privé. Là aussi, on ne dispose pas vraiment d'indication sur cet outil. On peut d'ailleurs imaginer une recherche affinée (par exemple pour mieux identifier des objets dans des photos) ou bien améliorée pour le Vision Pro.

Des améliorations profondes pour les applications natives d’Apple

D'après Mark Gurman, les applications natives devraient également avoir droit à leur révolution. Nombre d'entre elles devraient bénéficier d'un coup de boost, avec ou sans IA. L'interface arborerait ainsi un design plus simple et plus modulaire. Certains diraient même plus proche de celui de visionOS.

L'écran d'accueil de l'iPhone devrait être nettement plus personnalisable, même si on ne sait pas très bien ce que cela représente. L’arrivée des widgets et des modes de concentration avait été assez chronophage -voire complexe- impliquant de passer un temps certain à paramétrer son écran d’accueil en fonction de ses humeurs ou son agenda !

Il nomme d'ailleurs pour la première fois, Mail, Photos ou encore Fitness. Dernièrement, il était question d'une intégration mathématique à Notes (pour résoudre des équations) et d'une option pour enregistrer des vocaux. A priori, Apple testerait une version considérablement améliorée de l'application Calculette. Cette dernière porterait le petit nom de code GreyParrot, en référence au Perroquet Gris du Gabon, réputé pour son intelligence et ses capacités cognitives.

Parmi les nouveautés envisagées, on pourrait notamment avoir un menu latéral incluant un historique des opérations, mais également un système de conversion amélioré et intégré à l'interface principale, avec des options dédiées aux taux de change à jour ou peut-être aux différents systèmes métriques. Enfin autre ajout : la possibilité de régler la taille de la fenêtre dans les présentations existantes, avec des boutons paramétrables (taille et forme). Cette nouvelle version serait également disponible sur iOS 18, mais également iPadOS 18 !

l'Accessibilité mise en avant

Sur son site web et en amont de la WWDC, Apple a confirmé l'arrivée de nouvelles fonctions d'accessibilité, même si ces dernières devraient arriver un plus tard cette année.

Au programme, on trouve le suivi oculaire, un moyen pour les utilisateurs ayant un handicap physique de contrôler l'iPad ou l'iPhone juste avec leurs yeux (on pourrait rapprocher cette fonction du mode de fonctionnement du Vision Pro). La fonction Music Haptics devrait permettre aux personnes malentendantes de découvrir une expérience musicale via le Taptic Engine dans l'iPhone.



Aux dernières rumeurs, la firme travaillerait également sur des raccourcis activés par la voix via un son personnalisé. Cette fonctionnalité permettra aux utilisateurs de retranscrire une phrase parlée unique et d'exécuter un paramètre d'accessibilité. Les utilisateurs pourront créer celle de leur choix et de sélectionner sa fonction. Avec ce raccourci vocal adaptatif, on pourra basculer les fonctionnalités d'accessibilité existantes telles que VoiceOver, le contrôle vocal, le zoom, etc.

Du côté de la voiture, CarPlay devrait être compatible avec le nouveau système de reconnaissance sonore pour aider à la navigation. De même, iOS devrait analyser les signaux de mouvement du véhicule pour aider à réduire le mal des transports lors de l'utilisation de l'iPhone ou de l'iPad.

La fonction Parole en direct ou Live Speech, qui existe déjà, recevra une nouvelle section pour les catégories créées par l'utilisateur. Lors de leur création, les utilisateurs auront la possibilité de choisir un nom et une icône choisis parmi les vingts proposés. Une fois créée, on pourra ajouter les phrases de son choix.

Enfin Cupertino a aussi pensé à toutes les personnes ayant un problème de vue, notamment pour voir de près. A titre d'exemple, rappelons que la presbytie se manifeste entre 40 et 50 ans et concerne près de 26 millions de Français.

Ainsi la firme californienne a l'intention d'étendre la prise en charge de la taille de texte réglable à d'autres applications. Il s'agit d'une fonctionnalité existante (sur iOS : Réglages > Accessibilité > Affichage et taille du texte), qui permet de choisir des tailles de police personnalisées pour des applications individuelles et de sélectionner leur taille de police préférée pour la lecture.

Le Mac prend actuellement en charge les tailles de police personnalisées pour les cinq applications suivantes : Calendrier, Localiser, Mail, Messages, Notes. Avec macOS 15, cette fonctionnalité étendra la prise en charge de cinq applications supplémentaires : Livres (enfin), News, Bourse, Astuces et Météo.

Adoption de la norme RCS (sous conditions)

Après des mois de refus, Apple a annoncé en fin d'année l’adoption prochaine de la norme RCS (Rich Communication Services). La fonctionnalité sera lancée via une mise à jour logicielle en 2024.

Beaucoup y ont vu le résultat d'une grosse pression des régulateurs de l’UE (qui ont considéré au début qu'iMessage devait être soumis au DMA) mais aussi des firmes concurrentes comme Google et Samsung. Si personne n'a le fin mot de l'histoire, il est certain que l’entrée en vigueur des normes européennes et l’interopérabilité entre les messageries doivent quand même y être pour quelque chose !

Plus tard l'année prochaine, nous ajouterons la prise en charge du RCS Universal Profile, la norme actuellement publiée par l'Association GSM. Nous pensons que le RCS offrira une meilleure expérience d'interopérabilité par rapport aux SMS ou aux MMS. Cela fonctionnera avec iMessage, qui continuera d'être la meilleure et la plus sûre expérience de messagerie pour les utilisateurs d'Apple.

La norme RCS va apporter de nombreuses fonctionnalités de style iMessage entre les iPhone et les Android : les accusés de lecture, les indicateurs de saisie, ou encore les images et les vidéos de haute qualité (enfin)... Il sera possible de partager son emplacement avec d'autres personnes à l'intérieur des fils de discussion et d’envoyer des messages aussi bien en cellulaire qu’avec le WiFi.

Pour autant ce n’est pas la fin d’iMessage qui continuera d'être la plate-forme de messagerie utilisée entre les utilisateurs d'iPhone (pas question, dit Apple, de renoncer à la sécurité d'iMessage). L’adoption du RCS ne devrait impacter que les SMS envoyés et reçus vers / depuis un Android et existera séparément d'iMessage lorsqu'il sera disponible. Y aura-t-il une seule application qui prendra en charge les deux systèmes (comme les anciennes apps multiplateformes) ou deux applications différentes ? Enfin, la dernière question qui reste est donc de savoir ce qu’il adviendra des bulles bleues et vertes.

Plans passe la seconde !

L'entreprise serait également susceptible de développer de nouvelles idées de produits à partir de la technologie réutilisée de l'Apple Car. On pense évidemment à CarPlay avec une meilleure intégration au sein des véhicules, ce qui pourrait être transféré à une app Maison 2.0. Accusant un sérieux retard sur la concurrence, Plans pourrait proposer la possibilité de rentrer un itinéraire sélectionné par l'utilisateur. En effet, on ne peut que choisir parmi les options proposées par Apple. .

En effet, dans le code de l'application, se cache un fichier CustomRouteCreation, dont le nom évoque cette faculté. En dehors du nom, on ne dispose que d'une maigre information : cette fonctionnalité serait limitée aux États-Unis au lancement, comme d'habitude !

Dans tous les cas, les chemins personnalisés permettraient de définir les routes spécifiques que l'on veut parcourir, histoire de faire un détour voulu et passer par un endroit particulier, ou encore pour emprunter des voies familières... Il s'agit d'une fonctionnalité très demandée depuis plusieurs années. Ainsi, Google Maps- propose déjà de créer des itinéraires personnalisés sur un Mac, puis de les visualiser sur un appareil iOS.

En outre, Apple se préparerait à ajouter les cartes topographiques à l’application Plans dans ses prochains systèmes. Disponible depuis watchOS 10, ces dernières intègrent de nombreuses indications sur les chemins à suivre, notamment lors de randonnées.

On pourra ainsi être renseigné sur les sentiers, les courbes de niveau, les altitudes sur son parcours et des points d'intérêt, tout ce qui peut rendre sa balade plus agréable et utile. On trouvera le nom, la distance à parcourir, la durée pour arriver, le gain en altitude, la difficulté et les photos fournies.

Pour le moment ces cartes sont disponibles sur la totalité du territoire des États-Unis mais seulement sur les Apple Watch. Apparemment, Cupertino serait prête à les étendre vers les iPhone, Mac et son casque Vision Pro.