Sputnik – porovnejte si kvalitu implementací JavaScriptu v prohlížečích
Google před časem zveřejnil projekt Sputnik sestávající z více jak 5000 testů zaměřených na standard ECMA-262 (což je ECMAScript alias JavaScript).
Testy si nyní můžete spustit přímo ve vašich prohlížečích. Průběh trvá několik minut. Autor webové verze Juriy Zaytsev zveřejnil srovnávací graf, který můžete vidět níže (menší čisla = menší počet chyb = lepší implementace vzhledem ke standardu). Při namátkovém testování jsem viděl o něco menší čísla než ta v grafu, ale více méně odpovídala, tak předpokládám, že i zbytek grafu bude:
O pořadí v grafu
Jako první je Opera (9.64!!!) těsně následovaná Firefoxem a Chrome, o něco dále je Safari a následně s větším odstupem IE.
Všimněte si, že rozdíly mezi jednotlivými verzemi IE jsou minimální - je vidět, že zatímco renderovací jádro bylo v IE8 přepsáno, tak JS engine zůstal stejný. Zároveň můžete vidět, jak velký pokrok za poslední roky udělalo Safari (možná ještě pamatujete, že jeho starší verze měly s JavaScriptem docela problém). Překvapivý je ovšem velký propad Opery 10 (je na tom dokonce hůř než IE!!!), zatímco Opera 9.64 je nejlepší v řadě. Tomu nějak nerozumím. Opera sice pracuje na novém JS engine s názvem Carakan (který má být poměrně slušně rychlý) - ten má ale podle všeho přijít až po verzi Opera 10. Opera 10 měla pokud si pamatuji obsahovat stejný engine jako Opera 9.x, možná jen s nějakými vylepšeními (v relase notes je zmiňován nový engine na regulární výrazy, ale že by mohl za tak velký rozdíl, to se mi nezdá). Jsem proto z toho rozdílu zmaten a budu moc rád za nějaké vysvětlení.
Více se o celé testu dozvíte z článku Sputniktests web runner, ze kterého jsem převzal i graf výše.
Vše z Blog Root.cz
Pro vysvětlení propadu Opery by to chtělo si projít výsledky testů, ale jeden možný důvod mě napadá: Sputnik AFAIK testuje ECMAScript 3, zatímco prohlížeče se pomalu ale jistě připravují na budoucí ECMAScript 5. Je tedy možné, že některé věci v Opeře 10 už fungují podle nové specifikace a v testech staré tak generují chyby - vzhledem k podrobnosti těch testů by to bylo docela dobře možné.
Další možný důvod propadu je zlepšení kompatibility s webovým obsahem či ostatními prohlížeči, které místy může jít proti specifikaci.
Davide o ES5 i kompatibilitě s weby jsem trochu přemýšlel, ale to by muselo být podobně znát i u některých dalších prohlížečů - nejen u Opery.
Projel jsem teď test na Safari na Macu, konkrétně ve verzi 4.0.3 (5531.9) a výsledek je 239. Navic jsem koukal, ze ve výpisu chyb je velká spousta opakujících se věcí, konkrétně třeba hláška "The Date.prototype.setDate property has not the attributes DontDelete", která se opakuje 40x pro jednotlive atributy třídy Date a podobné "skupiny" chyb jsou tam asi 4 další...
@lukas Ano, cela ta sada testu je dost podrobna a jedna pricina tak casto vyvola jednotky az desitky selhanych testu. To je videt i ve vysledcich u dalsich prohlizecu.
FF 3.5 - 213 chyb
SeaMonkey 2.0:
* Current test: 15_Native_ECMA_Script_Objects/15.11_Error_Objects/15.11.4_Properties_of_the_Error_Prototype_Object/S15.11.4_A4
* Tests completed: 5230
* Total errors: 189
* Total failures: 24
* Elapsed time: 12:29
* Status: Completed. Final score (errors + failures; less is better): 213
Prave som skusal prehliadac Midori (verzia 0.2.0) a vysledok je az neuveritelny: iba 3 chyby!
Cim to moze byt?
@mnicky Midori sprostě podvádí! 8-)
Midori (verzia 0.2.0) tentokrat dokonca:
Current test: 15_Native_ECMA_Script_Objects/15.11_Error_Objects/15.11.4_Properties_of_the_Error_Prototype_Object/S15.11.4_A4
Tests completed: 5230
Total errors: 0
Total failures: 0
Elapsed time: 5:45
Status: Completed. Final score (errors + failures; less is better): 0
@mnicky No vždyť povídám. Sprostý podvod!
Chromium 4 (rev. 31567) - 225
Opera 10.10 beta, build 1857, 358 chyb
...tak toto vysvetľuje prečo mi nebežia niektoré veci v novej Opere, ktoré v starej bežali. Už viem kde udělali soudruzi z Norska chybu...
SeaMonkey 2.0.1pre - 210 chyb
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.1.6pre) Gecko/20091108 SeaMonkey/2.0.1pre
* Current test: 15_Native_ECMA_Script_Objects/15.11_Error_Objects/15.11.4_Properties_of_the_Error_Prototype_Object/S15.11.4_A4
* Tests completed: 5230
* Total errors: 186
* Total failures: 24
* Elapsed time: 6:54
* Status: Completed. Final score (errors + failures; less is better): 210
Taky se trochu "pochlubím":
Midori 0.2.0-5434ad6 (git verze), WebKit r50540:
Current test: 15_Native_ECMA_Script_Objects/15.11_Error_Objects/15.11.4_Properties_of_the_Error_Prototype_Object/S15.11.4_A4
Tests completed: 5230
Total errors: 183
Total failures: 115
Elapsed time: 8:03
Status: Completed. Final score (errors + failures; less is better): 298
Takže i na Midori dojde. Ale spíš to bude tím WebKitem.
FF 3.5.5
Completed. Final score (errors + failures; less is better): 209
FF 3.5.4
Completed. Final score (errors + failures; less is better): 215
FF 3.0.15
# Tests completed: 5230
# Total errors: 203
# Total failures: 24
# Elapsed time: 5:55
# Status: Completed. Final score (errors + failures; less is better): 227
Shiretoko/3.5.5 == Firefox/3.5.5 v Archlinuxe
Mozilla/5.0 (X11; U; Linux x86_64; en-US; rv:1.9.1.5) Gecko/20091106 Shiretoko/3.5.5
# Tests completed: 5230
# Total errors: 185
# Total failures: 24
# Elapsed time: 6:25
# Status: Completed. Final score (errors + failures; less is better): 209
FF 3.5.5 na Windows Vista Business 64bit
# Tests completed: 5230
# Total errors: 175
# Total failures: 24
# Elapsed time: 5:29
# Status: Completed. Final score (errors + failures; less is better): 199
Firefox 3.5.4 pod Kubuntu 8.10 (64-bit):
# Tests completed: 5230
# Total errors: 177
# Total failures: 24
# Elapsed time: 7:33
# Status: Completed. Final score (errors + failures; less is better): 201
WebKit r50807:
Tests completed: 5230
Total errors: 84
Total failures: 113
Elapsed time: 5:35
Status: Completed. Final score (errors + failures; less is better): 197
FF 3.5 @ Windows 7 64bit
Mozilla/5.0 (Windows; U; Windows NT 6.1; cs; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5
# Tests completed: 5230
# Total errors: 113
# Total failures: 3
# Elapsed time: 7:00
# Status: Completed. Final score (errors + failures; less is better): 116
Tak se nám to tu pěkně zvrhlo v malou soutěž 8-) Je dobré vidět, že se něco děje a že i na úrovni minoritních verzí nebo dokonce nočních buildů prohlížečů najdeme ve výsledcích rozdíly. Je vidět, že pořadí uvedené výše zatím více méně platí, ale nemusí to vydržet dlouho. Díky všem, kdo se zúčastnili.