Root.czBlogyMartin Hassman: nejen o prohlížečích

Sputnik – porovnejte si kvalitu implementací JavaScriptu v prohlížečích

Martin Hassman, 10. 11. 2009, 17:10 v kategorii Webové prohlížeče, štítky: , , , , ,

Google před časem zveřejnil projekt Sputnik sestávající z více jak 5000 testů zaměřených na standard ECMA-262 (což je ECMAScript alias JavaScript).

Testy si nyní můžete spustit přímo ve vašich prohlížečích. Průběh trvá několik minut. Autor webové verze Juriy Zaytsev zveřejnil srovnávací graf, který můžete vidět níže (menší čisla = menší počet chyb = lepší implementace vzhledem ke standardu). Při namátkovém testování jsem viděl o něco menší čísla než ta v grafu, ale více méně odpovídala, tak předpokládám, že i zbytek grafu bude:

O pořadí v grafu

Jako první je Opera (9.64!!!) těsně následovaná Firefoxem a Chrome, o něco dále je Safari a následně s větším odstupem IE.

Všimněte si, že rozdíly mezi jednotlivými verzemi IE jsou minimální - je vidět, že zatímco renderovací jádro bylo v IE8 přepsáno, tak JS engine zůstal stejný. Zároveň můžete vidět, jak velký pokrok za poslední roky udělalo Safari (možná ještě pamatujete, že jeho starší verze měly s JavaScriptem docela problém). Překvapivý je ovšem velký propad Opery 10 (je na tom dokonce hůř než IE!!!), zatímco Opera 9.64 je nejlepší v řadě. Tomu nějak nerozumím. Opera sice pracuje na novém JS engine s názvem Carakan (který má být poměrně slušně rychlý) - ten má ale podle všeho přijít až po verzi Opera 10. Opera 10 měla pokud si pamatuji obsahovat stejný engine jako Opera 9.x, možná jen s nějakými vylepšeními (v relase notes je zmiňován nový engine na regulární výrazy, ale že by mohl za tak velký rozdíl, to se mi nezdá). Jsem proto z toho rozdílu zmaten a budu moc rád za nějaké vysvětlení.

Více se o celé testu dozvíte z článku Sputniktests web runner, ze kterého jsem převzal i graf výše.

Komentáře (23)

  1. 10. 11. 2009, 17:26 David Majda napsal:

    Pro vysvětlení propadu Opery by to chtělo si projít výsledky testů, ale jeden možný důvod mě napadá: Sputnik AFAIK testuje ECMAScript 3, zatímco prohlížeče se pomalu ale jistě připravují na budoucí ECMAScript 5. Je tedy možné, že některé věci v Opeře 10 už fungují podle nové specifikace a v testech staré tak generují chyby - vzhledem k podrobnosti těch testů by to bylo docela dobře možné.

    Další možný důvod propadu je zlepšení kompatibility s webovým obsahem či ostatními prohlížeči, které místy může jít proti specifikaci.

  2. 10. 11. 2009, 17:53 Martin Hassman napsal:

    Davide o ES5 i kompatibilitě s weby jsem trochu přemýšlel, ale to by muselo být podobně znát i u některých dalších prohlížečů - nejen u Opery.

  3. 10. 11. 2009, 18:25 lukas ;) napsal:

    Projel jsem teď test na Safari na Macu, konkrétně ve verzi 4.0.3 (5531.9) a výsledek je 239. Navic jsem koukal, ze ve výpisu chyb je velká spousta opakujících se věcí, konkrétně třeba hláška "The Date.prototype.setDate property has not the attributes DontDelete", která se opakuje 40x pro jednotlive atributy třídy Date a podobné "skupiny" chyb jsou tam asi 4 další...

  4. 10. 11. 2009, 18:42 Martin Hassman napsal:

    @lukas Ano, cela ta sada testu je dost podrobna a jedna pricina tak casto vyvola jednotky az desitky selhanych testu. To je videt i ve vysledcich u dalsich prohlizecu.

  5. 10. 11. 2009, 18:48 Elven napsal:

    FF 3.5 - 213 chyb

  6. 10. 11. 2009, 18:59 David napsal:

    SeaMonkey 2.0:
    * Current test: 15_Native_ECMA_Script_Objects/15.11_Error_Objects/15.11.4_Properties_of_the_Error_Prototype_Object/S15.11.4_A4
    * Tests completed: 5230
    * Total errors: 189
    * Total failures: 24
    * Elapsed time: 12:29
    * Status: Completed. Final score (errors + failures; less is better): 213

  7. 10. 11. 2009, 20:47 mnicky napsal:

    Prave som skusal prehliadac Midori (verzia 0.2.0) a vysledok je az neuveritelny: iba 3 chyby!
    Cim to moze byt?

  8. 10. 11. 2009, 21:15 Martin Hassman napsal:

    @mnicky Midori sprostě podvádí! 8-)

  9. 10. 11. 2009, 21:53 mnicky napsal:

    Midori (verzia 0.2.0) tentokrat dokonca:

    Current test: 15_Native_ECMA_Script_Objects/15.11_Error_Objects/15.11.4_Properties_of_the_Error_Prototype_Object/S15.11.4_A4
    Tests completed: 5230
    Total errors: 0
    Total failures: 0
    Elapsed time: 5:45
    Status: Completed. Final score (errors + failures; less is better): 0

  10. 10. 11. 2009, 21:58 Martin Hassman napsal:

    @mnicky No vždyť povídám. Sprostý podvod!

  11. 11. 11. 2009, 01:03 bq napsal:

    Chromium 4 (rev. 31567) - 225

  12. 11. 11. 2009, 08:23 Patrick napsal:

    Opera 10.10 beta, build 1857, 358 chyb

  13. 11. 11. 2009, 09:48 tiso napsal:

    ...tak toto vysvetľuje prečo mi nebežia niektoré veci v novej Opere, ktoré v starej bežali. Už viem kde udělali soudruzi z Norska chybu...

  14. 11. 11. 2009, 10:18 Adam Hauner napsal:

    SeaMonkey 2.0.1pre - 210 chyb
    Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.1.6pre) Gecko/20091108 SeaMonkey/2.0.1pre

    * Current test: 15_Native_ECMA_Script_Objects/15.11_Error_Objects/15.11.4_Properties_of_the_Error_Prototype_Object/S15.11.4_A4
    * Tests completed: 5230
    * Total errors: 186
    * Total failures: 24
    * Elapsed time: 6:54
    * Status: Completed. Final score (errors + failures; less is better): 210

  15. 11. 11. 2009, 13:00 David napsal:

    Taky se trochu "pochlubím":

    Midori 0.2.0-5434ad6 (git verze), WebKit r50540:

    Current test: 15_Native_ECMA_Script_Objects/15.11_Error_Objects/15.11.4_Properties_of_the_Error_Prototype_Object/S15.11.4_A4
    Tests completed: 5230
    Total errors: 183
    Total failures: 115
    Elapsed time: 8:03
    Status: Completed. Final score (errors + failures; less is better): 298

    Takže i na Midori dojde. Ale spíš to bude tím WebKitem.

  16. 11. 11. 2009, 15:27 Mr.Dan napsal:

    FF 3.5.5
    Completed. Final score (errors + failures; less is better): 209

    FF 3.5.4
    Completed. Final score (errors + failures; less is better): 215

  17. 11. 11. 2009, 15:50 šachy napsal:

    FF 3.0.15
    # Tests completed: 5230
    # Total errors: 203
    # Total failures: 24
    # Elapsed time: 5:55
    # Status: Completed. Final score (errors + failures; less is better): 227

  18. 11. 11. 2009, 16:39 partizann napsal:

    Shiretoko/3.5.5 == Firefox/3.5.5 v Archlinuxe
    Mozilla/5.0 (X11; U; Linux x86_64; en-US; rv:1.9.1.5) Gecko/20091106 Shiretoko/3.5.5

    # Tests completed: 5230
    # Total errors: 185
    # Total failures: 24
    # Elapsed time: 6:25
    # Status: Completed. Final score (errors + failures; less is better): 209

  19. 11. 11. 2009, 19:25 minem napsal:

    FF 3.5.5 na Windows Vista Business 64bit
    # Tests completed: 5230
    # Total errors: 175
    # Total failures: 24
    # Elapsed time: 5:29
    # Status: Completed. Final score (errors + failures; less is better): 199

  20. 11. 11. 2009, 20:18 livthomas napsal:

    Firefox 3.5.4 pod Kubuntu 8.10 (64-bit):
    # Tests completed: 5230
    # Total errors: 177
    # Total failures: 24
    # Elapsed time: 7:33
    # Status: Completed. Final score (errors + failures; less is better): 201

  21. 11. 11. 2009, 21:18 jirka napsal:

    WebKit r50807:

    Tests completed: 5230
    Total errors: 84
    Total failures: 113
    Elapsed time: 5:35
    Status: Completed. Final score (errors + failures; less is better): 197

  22. 11. 11. 2009, 23:34 Jindřich napsal:

    FF 3.5 @ Windows 7 64bit

    Mozilla/5.0 (Windows; U; Windows NT 6.1; cs; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5

    # Tests completed: 5230
    # Total errors: 113
    # Total failures: 3
    # Elapsed time: 7:00
    # Status: Completed. Final score (errors + failures; less is better): 116

  23. 12. 11. 2009, 00:21 Martin Hassman napsal:

    Tak se nám to tu pěkně zvrhlo v malou soutěž 8-) Je dobré vidět, že se něco děje a že i na úrovni minoritních verzí nebo dokonce nočních buildů prohlížečů najdeme ve výsledcích rozdíly. Je vidět, že pořadí uvedené výše zatím více méně platí, ale nemusí to vydržet dlouho. Díky všem, kdo se zúčastnili.

K tomuto spotu není povoleno přidávání komentářů.