« Le Web évolue, comme devraient le faire les outils de test JavaScript qui mesurent sa performance », affiche Google en ouverture du billet d'annonce lié à Octane, son nouveau benchmark dédié au JavaScript qui viendra donc concurrencer le fameux test SunSpider. Sous l'appellation Octane se cache en réalité une évolution du benchmark actuel de Google, V8 Benchmark Suite, auquel a été ajouté cinq nouveaux tests, censés coller à des scénarios d'usage « réels » plutôt qu'à la simple mise en oeuvre de tel ou tel script abstrait.
« De nombreux micro-benchmarks, tels que SunSpider, ont été écrits à une époque où le JavaScript n'était pas encore utilisé comme la pierre angulaire de grandes applications Web enrichies », commente Google dans la FAQ associée à Octane. Parmi ces nouveaux tests, on trouve le portage JavaScript d'un moteur physique en 2D (Box2DWeb) ainsi que du moteur D Bullet Engine, l'affichage de documents via la bibliothèque pdf.js, un émulateur Gameboy et CodeLoad, qui appellera scripts et bibliothèques courants. La liste complète des 13 tests effectués est accessible en ligne.
Sur ordinateur, Chrome et les navigateurs qui reposent sur Webkit s'acquittent sans coup férir de la suite de tests. Avec Internet Explorer 9, le benchmark ne se lance pas, tandis que Firefox et Opera le passent sans encombres, en terminant toutefois sur un score nettement inférieur à celui de Chrome. Sur mobile, avec les navigateurs intégrés par défaut à iOS ou Android, certains des tests ne passent pas, même si la suite dans son ensemble est correctement exécutée. Les curieux pourront mesurer les performances de leur navigateur via ce lien. La compatibilité des différents navigateurs, fixes ou mobiles, est détaillée sur cette page.