DAWNBench : un concours d'IA où David peut encore battre Goliath
Par June Cantillon - Publié le
L'intelligence artificielle et l'apprentissage automatique sont dans toutes les bouches, et d'importants efforts financiers sont concédés par les géants de la technologie, afin de figurer en bonne place sur ce marché en devenir.
Le DAWNBench, lancé par des chercheurs de l'université de Stanford, offre aux forces en présence, une sorte de concours, afin de mesurer les performances des différentes solutions dans des conditions réelles d'utilisation. Certaines de ces épreuves demandent par exemple de reconnaitre au moins 93 % des images représentant un chien, dans une banque d'image donnée. Une fois les résultats établis, on obtient un classement pour la rapidité de la performance, prenant aussi en compte le coût, ou encore le temps nécessaire pour
Si les résultats d'une firme comme Google sont impressionnants, le fait de prendre en compte les coûts amène quelques surprises. En effet, le groupe autofinancé fast.ai dispose de chercheurs ayant obtenu de très bons scores, parfois les meilleurs. Son cofondateur, Jeremy Howard, indique que
La créativité serait donc encore une ressource permettant de battre l'avalanche de moyens des grosses entreprises. En utilisant le principe de
Bien sûr, Google a brillé dans de nombreuses épreuves, comme celle de l'analyse de la banque ImageNet, ou la firme prend les trois premières places en termes de temps nécessaire à l'apprentissage, fast.ai terminant quatrième, et troisième en coût. Toutefois les solutions de Mountain View tournent sur du matériel dédié, les fameux Tensor Processing Units, ou TPU, hors de portée du commun des mortels, contrairement aux machines utilisées par l'équipe deJeremy Howard.
Ces résultats permettent d'analyser les besoins à venir, mais aussi l'accessibilité aux technologies d'intelligence artificielle, et d'apprentissage automatique, pour lesquelles un matériel très couteux ne sera pas forcément nécessaire à une solution performante.
Source
Le DAWNBench, lancé par des chercheurs de l'université de Stanford, offre aux forces en présence, une sorte de concours, afin de mesurer les performances des différentes solutions dans des conditions réelles d'utilisation. Certaines de ces épreuves demandent par exemple de reconnaitre au moins 93 % des images représentant un chien, dans une banque d'image donnée. Une fois les résultats établis, on obtient un classement pour la rapidité de la performance, prenant aussi en compte le coût, ou encore le temps nécessaire pour
entrainerle programme.
Si les résultats d'une firme comme Google sont impressionnants, le fait de prendre en compte les coûts amène quelques surprises. En effet, le groupe autofinancé fast.ai dispose de chercheurs ayant obtenu de très bons scores, parfois les meilleurs. Son cofondateur, Jeremy Howard, indique que
la victoire de ses élèves revenait à penser de manière créative, et que cela montre que n'importe qui peut obtenir des résultats de classe mondiale en utilisant des ressources de base.
La créativité serait donc encore une ressource permettant de battre l'avalanche de moyens des grosses entreprises. En utilisant le principe de
super convergence, œuvre du seul ingénieur Leslie Smith, les chercheurs de fast.ai ont réussi à entrainer leur algorithme en vue de réussir le test CIFAR en moins de trois minutes, la meilleure équipe n'utilisant pas la
super convergenceayant eu besoin de plus d'une demi-heure pour parvenir au même résultat. Cette méthode consiste à commencer par faire traiter à l'algorithme un flux léger d'informations, puis à en augmenter au fur et à mesure la cadence.
Bien sûr, Google a brillé dans de nombreuses épreuves, comme celle de l'analyse de la banque ImageNet, ou la firme prend les trois premières places en termes de temps nécessaire à l'apprentissage, fast.ai terminant quatrième, et troisième en coût. Toutefois les solutions de Mountain View tournent sur du matériel dédié, les fameux Tensor Processing Units, ou TPU, hors de portée du commun des mortels, contrairement aux machines utilisées par l'équipe deJeremy Howard.
Ces résultats permettent d'analyser les besoins à venir, mais aussi l'accessibilité aux technologies d'intelligence artificielle, et d'apprentissage automatique, pour lesquelles un matériel très couteux ne sera pas forcément nécessaire à une solution performante.
Source