Tweekers' Blog

Aller au contenu | Aller au menu | Aller à la recherche

Balise - benchmark

Fil des billets

Benchmark de UT2004 : Ubuntu 8.10 vs Windows 7 vs Arch Linux

Les benchmarks de Phoronix font de plus en plus parler d'eux ces derniers temps, avec dernièrement un match de Fedora 10 contre Ubuntu 8.10 (un beau match nul).
Mais s'il y a un reproche que je ferais a Phoronix c'est celui de ne pas inclure les systèmes Windows dans ses tests ni d'utiliser des distributions réputées comme rapides. Bref, l'idée de départ est de porter PTS sous Windows (autant que possible car tout les programmes du benchmarks ne sont pas présents sur Win) et donc voila un premier résultat qui met face à face :

  • Ubuntu 8.10
  • ArchLinux
  • Windows 7 pre-beta

Je regrette juste de ne pas avoir fait de tests sur Windows XP mais malheureusement il n'est pas installé sur ma machine.
Le benchmark lancé était UT2004 en 1024x768 avec les réglages de PTS 1.4 c'est a dire les paramètres :
as-convoy?spectatoronly=1?numbots=8?quickstart=1?attractcam=1 -benchmark -seconds=120 -nosound
Et voila les résultats : (cliquez dessus pour agrandir)
Donc première surprise, ce sont les détracteurs d'Ubuntu qui peuvent se la fermer, avec un gros vainqueur du coté d'Intrepid Ibex. Archlinux est réputé pour être une distribution beaucoup plus rapide qu'Ubuntu, qui serait sensé se trainer comme un veau. Nous voyons bien qu'ici que lorsque l'ont sort les chiffre, la réalité est toute autre. J'ai toujours douté de la crédibilité des détracteurs d'Ubuntu, sans pour autant refuser de les croire. Cependant il faut avouer qu'ici, rien ne permet de leur donner raison. Attention toutefois a ne pas tirer de conclusions hâtives car c'est un test unique et seuls des benchmarks supplémentaires peuvent confirmer ces résultats.
Deuxième surprise, c'est la faible performance de Windows 7 pour UT2004 qui traditionnellement tourne mieux sur Windows que sur Linux, ce qui est moins surprenant en revanche c'est la performance moindre en OpenGL par rapport a Direct3D (J'avais déjà constaté une baisse de performances de l'OpenGL avec Vista).
Troisième point remarquable et un autre mythe qui se brise, c'est le faible impact de Compiz Fusion sur les résultats : moins d'une image par seconde. La aussi, d'avantages de tests seraient nécessaires pour confirmer cela mais personnellement je ne coupe que rarement Compiz pour jouer depuis longtemps ...

Phoronix Test Suite : Le benchmarking sur Linux

Phoronix est un webzine anglophone traitant de l'actualité hardware mais sur Linux. On y trouve aussi bien des articles sur les dernières cartes graphiques que sur les dernières distributions et les jeux vidéo. C'est a ma connaissance le seul site disposant d'un information aussi complète sur le matériel compatible Linux, le plaçant d'emblée comme une référence incontournable. (Et je conseille fortement de s'abonner au flux rss ).
Comme tout site testant du matériel, les articles vont contenir de nombreux benchmarks, permettant d'évaluer les performances du hardware ou du software. Si les outils de benchmark sont nombreux sur Windows on ne peut pas en dire autant pour Linux. Ca ne signifie pas qu'il est impossible de mesurer les performances logicielles sur Linux, mais juste qu'il est plus compliqué d'obtenir des résultats pouvant être présentés dans un article.
Phoronix s'est servi de son expérience de 4 ans dans le benchmarking pour nous offrir un outil très complet : Phoronix Test Suite ou PTS en abrégé.
J'ai suivi depuis le lancement de ce programme les évolutions et les mises a jours sans pour autant tenter son installation, puis avec l'annonce de Phoronix sur la dégradation des performances d'Ubuntu au fil des versions, je me suis dit qu'il serait bien de constater ça par soi même. En effet, s'il y a un reproche qui est fait à Ubuntu par les utilisateurs expérimentés c'est sa prétendue lourdeur et ici Phoronix le démontre par des chiffres. Les benchmarks sont le seul argument recevable quand il s'agit de discuter de la rapidité d'une distribution et malheureusement ils sont trop souvent absent des débat du style "Debian est tellement plus rapide qu'Ubuntu". Pour prendre un exemple concret, les tests sur Fedora qui ont suivi ceux sur Ubuntu ont montré que Fedora se démarque très peu d'Ubuntu et Ubuntu 7.04 conserve une nette largeur d'avance sur toutes les versions confondues.
Il ne s'agit pas de se servir de ces résultats pour savoir vers quelle distribution revenir mais de les étudier afin de déterminer quels sont les éléments qui ralentissent les version actuelles. Pour faire progresser les distributions Linux il faudra effectuer le plus de tests possibles en modifiant la distribution actuelle. Il faut aussi installer d'autres distributions récentes et moins récentes pour avoir des points de référence, qui vont permettre d'atteindre des objectifs de rapidité. Une fois que l'on a déterminé quelle est la vitesse maximale a atteindre, les possibilités de modification de la distribution a améliorer sont nombreux, on pourra par exemple : recompiler son noyau avec différentes options, supprimer certains services, utiliser différentes versions de drivers, recompiler certains programmes, changer d'environnement de bureau, etc...
Une méthode intéressante pourrait être de faire une installation minimale et d'insaller chaque composant supplémentaire, en les intercalant de benchmarks, jusqu'a trouver les composants coupable des ralentissement. Il faut bien sur pour cela que la distribution minimale atteigne les objectifs de vitesse désirés, et heureusement l'installation minimale sera plus facile a modifier qu'une installation complète (moins de choix de composants a modifier).
Dans tout les cas, une seule chose est sûre : un linux est un linux : n'importe quelle distribution peut être modifiée afin de ressembler point par point a une autre même si cela demande un lifting conséquent.
Passons maintenant a l'installation de PTS. Avant toute chose il est très conseillé de s'inscrire sur Phoronix Global cela permettra de regrouper tout les tests effectué sur une page et d'y avoir facilement accès. Ensuite il faudra installer quelques dépendances pour faire fonctionner PTS, il s'agit de php5-cli et php5-gd. On pourra télécharger PTS en .deb pour Ubuntu ou Debian, ou ses sources pour les autres distributions. Dans le 2ème cas, aucune compilation n'est nécessaire puisque PTS est écrit en PHP, un simple make install suffira.

Une fois installé il faudra installer les différents tests désirés. Ceux qui ont beaucoup de temps a perdre et beaucoup d'espace disque pourront télécharger la totalité des tests en tapant phoronix-test-suite install universe. Les plus raisonnables choisiront judicieusement les tests en tapant phoronix-test-suite list-tests pour afficher la liste des tests ou phoronix-test-suite list-suites pour afficher les suites qui sont des regroupement de tests par thème (des meta-paquets en quelque sorte). Une fois téléchargé et installé (certains tests demandent une phase de compilation), on peut lancer les tests avec phoronix-test-suite benchmark <nom_du_test>.

Voici le lien vers ma page sur Phoronix Global, qui devrait s'étoffer au fil du temps: http://global.phoronix-test-suite.com/?k=author&u=strycore