IT Benchmarking: “perform or perish”

IT Benchmarking: "perform or perish"

door Martijn Hoogeveen

Voor IT-organisaties en voor hun produkten is een goede performance van levensbelang. Niet het wetenschappelijke publish or perish, maar perform or perish is het adagium in de hyperdynamische IT-wereld. Alvorens in te gaan op sites over benchmarking IT-organisaties en benchmarks voor computerprestaties even een paar problemen bij het zoeken naar deze onderwerpen.

Het zoekproces is zeker geen sinecure. Bij het zoeken op IT benchmarking via de betere zoekrobotten Excite en Alta Vista (zie Computable 20-12-’96) blijkt ‘computer benchmarking’ een goed trefwoord omdat dit aansluit bij de angelsaksische naamgeving van faculteiten voor informatica, nl. Computer Science. Verder is het een proces van vele uren om de generieke benchmarking-pagina’s, waaronder ook steeds meer reclamemateriaal van firma’s die hun business performance-databases aanbieden, te omzeilen en de beste IT benchmarking sites te vinden. De infovervuiling op het Web neemt groteske proporties aan waardoor het een groot probleem is te bepalen wat betrouwbare informatie is en wat niet. Bijvoorbeeld bij verschillende relevante boeken die worden aangeprezen - zoals The Benchmark Handbook For Database and Transaction Processing Systems van Jim Gray (http://literary.com/mkp/pages/2925/ ) - is het net als in de boekhandel zeer lastig om de kwaliteit te bepalen op basis van slechts de titel, auteursnaam, samenvatting en inhoudsopgave. Waar blijven de onafhankelijke recensies in gezaghebbende Net-zines, magazines op het Net? Die zijn er dus nog nauwelijks. Met betrekking tot de beoordeling van sites ga ik vaak achtereenvolgens af op de geboden inhoud, de achtergrond van de auteur(s) en de reputatie van hun organisaties, de verwijzingen van anderen naar de site, en de populariteit (indien bekend).

Allereerst, wat is IT benchmarking? Het kan gaan om benchmarking van IT-organisaties danwel computer benchmarking. Een aardige definitie van wat benchmarking van organisaties is wordt gegeven in Prosi Magazine (http://prosi.intnet.mu:80/334nov/bench334.htm ) ontleend aan Watson’s Benchmarking Workbook:

"Effective benchmarking links the desire to learn from other companies with the need to strategically allocate an organisation's resources. By linking benchmarking with strategic planning, organisations can focus their change-management ability on the areas that will provide the highest payoff in terms of quality, productivity, and customer satisfaction." Twee internationale benchmark-netwerken springen in het oog: de Benchmarking Club (http://165.227.88.1/) en het Global Benchmarking Network (http://www-izb.ipk.fhg.de/english/gbn.htm ).

De Benchmarking Club biedt een uitgebreid forum aan personen en organisaties die zich richten op benchmarking en procesverbetering voor het uitwisselen van ervaringen en informatie. The Global Benchmarking Network is een beginnend netwerk van benchmarking-instituten. Er is nog geen Nederlands instituut verbonden. Relevant voor IT is hier het benchmarken van IT-organisaties.

Computer benchmarking is voor bedrijven vooral relevant bij hun inkoop van IT-produkten en -diensten. Helaas wordt dan meestal vooral gelet op de snelheid van een computer, en niet op de mate waarin bedrijfsprocessen verbeterd worden. Een goed achtergrondartikel over de ontwikkeling van benchmarking van functies van informatiesystemen wordt gegeven door Steven Gordon (http://www.babson.edu/faculty/gordon/f94bench.html ). Een wereldwijd onafhankelijk onderzoek van Xephon (http://www.xephon.co.uk/ ) wijst uit dat Compass, KPMG Nolan & Norton en Real Decisions respectievelijk de meest actieve computer benchmarking-firma’s zijn. Hun belangrijkste opdrachtgevers zijn banken en verzekeraars, en de gemiddelde opdracht varieert van $22.000 (Nolan Norton) tot $132.000 (IBM) (http://www.compass-analysis.com/xephon/xephon.htm ).

De meest indrukwekkende en meestgeprezen on-line site op het gebied van computer benchmarking is zonder twijfel System Optimization Information (http://www.dfw.net/~sdw/ ). Deze site biedt tal van interessante links naar surveys op het gebied van performance tests, en FAQ’s (antwooren op Frequently Asked Questions). Benchmark’ers kunnen hun hart ophalen vanwege de vele benchmarkprogramma’s en -statistieken. Verder tips voor het bouwen en optimaliseren van je eigen PC. Vooral nuttig hierbij zijn de Top 10 hardware ratings van modems (No 1 = US Robotics Courier V Everything), moederborden (No 1 = EliteGroup P5HX-B), SCSI-kaarten (No 1 = BusLogic 956C), monitoren (No 1 = NEC 6FG), geluidskaarten (No 1 = Roland SCD-15) en grafische kaarten (No 1 = Hercules Stingray 64/Video).

Een goede site is The Performance Database Server (http://performance.netlib.org:80/performance/html/PDStop.html ), een zeer uitgebreide wetenschappelijke database met testresultaten. De opmaak ontbeert iedere franje, maar biedt wel de good old stuff waar het Net groot door is geworden: gratis papers in ASCII en PostScript, softwarecode en onderzoekservaringen. Bijv. over onverwacht veel computersystemen waarvan de bekendsten zijn: SGI, Apple, Fujitsu, Siemens, MIPS, Compaq, Hitachi, nCUBE, Sun, Cray, HP, NEC, IBM, Digital.

Beperkter maar gelikter is de site van The Silk Road Group, die in haar Linux-benchmarks (in http://www.silkroad.com/linux-bm.html ) indrukwekkend-uitgebreide testresultaten geeft over de CPU-performance van verschillende Intel Pentium-uitvoeringen, van 486/386 chips en van Sun Sparc.

Voor grafische toepassingen worden vaak zwaardere computers gebruikt en is computer performance zeer belangrijk. De Graphics Performance Characterization Group biedt nieuws en actuele rapporten over graphicsgerelateerde performance van systemen van diverse leveranciers. Bijvoorbeeld in het Picture Level Benchmark Project komt de HP C180-XP VISUALIZE-48XP als krachtigste naar voren. In dit kader de moeite waard is ook het CAD Benchmarking Laboratory van de North Carolina State University. Hierin zijn zoekacties op databases mogelijk om vergelijkingen tussen CAD-systemen te kunnen maken. Nuttig voor vakgenoten is verder het overzicht van conferenties en literatuur, zowel op aanpalende gebieden, zoals die van zeer grote systemen (http://www.cbl.ncsu.edu/www/CBL_Home.html ). Nadeel is dat de interface met de zoekdatabases nog niet altijd webgebaseerd is en met forms werkt.

Naast de besproken inhoudelijke sites op het gebied van IT Benchmarking is er een zee van commerciële sites waarin bedrijven hun diensten aanbieden. Laagdrempelig en leuk is de aanbieding van het Institute for Information Management at the University of St. Gallen (http://www-iwi.unisg.ch:80/bm_offer/ ) om voor slechts 600 Zwitserse Franken je logistieke SAP-toepassing te laten benchmarken. De prijs is laag omdat hun tool nog in een precommerciële fase is. Aardig van deze aanbieding is verder dat ook naar de performance van de logistieke bedrijfsprocessen gekeken wordt. Niet onbelangrijk voor Nederland Distributieland waar de wet van de markt, perform or perish, meedogenloos is.

Dr. Martijn Hoogeveen is manager Partnership Development voor PTT Telecom Interdiensten en is voorzitter van Sticht. Cyber Ventures.

email: martijn@cyber-ventures.nl