Projekt History Toolbox
Kriterien zur Evaluation von WebSites
Wir haben uns bei der letzten Sitzung vom 8.2.2000 (vgl. Kurzprotokoll) darauf geeinigt, dass wir anhand konkreter Beispiele die Tauglichkeit von Evaluationskriterien testen wollen und dann aufgrund der gewonnenen Erkenntnisse darüber entscheiden wollen, ob wir diese Kriterien überhaupt anwenden wollen.
Bei Oekomedia, dem Umwelt-Informations-Vermittler, bei dem Jan arbeitet, gibt es eine ähnliche Datenbank, wie die History Toolbox sie werden soll. Diese "OekoWeb" genannte Datenbank hat nicht den wissenschaftlichen Anspruch der HTB. Dennoch können die Bewertungskriterien, besonders, da sie versuchen, mit einem Punkteraster zu arbeiten, als Vergleichsbasis interessant sein. Die Kriterien wurden aufgrund ähnlicher Überlegungen zusammengestellt wie bei der History Toolbox.
Im Anschluss fügen wir noch Punkte an, die explizit von der entsprechenden Arbeitsgruppe zusammengetragen worden sind, und die in der Vorlage zu "OekoWeb" fehlen.
Wir schlagen vor, dass Ihr Euch zu folgenden drei WebSites Gedanken macht anhand des Kriterienkataloges, den wir hier zusammengestellt haben. Jene Kriterien, die offensichtlich keinen Sinn machen (etwa die Beschränkung auf "Informationsangebote) könnt Ihr einfach ignorieren. In der ersten Sitzung nach den Ferien wollen wir uns über die Erfahrungen bei der Anwendung dieses Kriterienrasters austauschen und das weitere Vorgehen diskutieren.
Ausgewählte Links
http://www.radiotv2000.ch
Populär und witzig. Technisch nicht ganz trivial.
http://www.onb.ac.at/ben/ariadfr.htm
"Ariadne ist eine Serviceeinrichtung der Österreichischen
Nationalbibliothek mit den Arbeitsschwerpunkten: erstens das Sammeln und
Erschließen von Literatur zur Frauenforschung / Feministischen Forschung
/ Genderforschung, zweitens die Durchführung frauenspezifischer
Recherchen und drittens die Erstellung einer Datenbank für
unselbständige Literatur." (hist.net)
http://www.ucis.pitt.edu/reesweb
"Dieses Verzeichnis gehört zum WWW Virtual Library und ist wohl die
unfassendste Zusammenstellung zu osteuropäischen und russischen
WWW-Adressen, die man finden kann. Die Einträge sind thematisch,
geographisch und systematisch erschlossen, ausserdem bietet REESWeb eine
Suchfunktion." (hist.net)
http://digital.library.pitt.edu/pittsburgh/
Historic Pittsburgh Project: Volltext, Karten, Findmittel: Quellenerschliessung via WWW von lokalen Quellen
- Aufnahme
- Bewertete und unbewertete Einträge
- Bewertung
- Kriterien mit Zeiger-Charakter
- Kriterien mit "Mehr-Weniger"-Charakter
- Allgemeiner Eindruck
- Gesamtbewertung
Zusätzliche Kriterien
Als Grundlage dienen die Evaluationskriterien, wie sie das EU-Projekt Desire aufgestellt hat. Information dazu finden Sie unter http://www.desire.org und besonders beim interaktiven Tutorial "Internet Detective", welches durch Desire entwickelt wurde (http://www.sosig.ac.uk/desire/internet-detective.html).
Wir nehmen in OekoWeb Websites auf, die für unsere Nutzerinnen und Nutzer und ihre Arbeit von Interesse sein könnten. Wir konzentrieren uns daher auf den deutschen Sprachraum. Insbesondere treffen wir bei der Aufnahme von Websites nach folgenden Gesichtspunkten eine Auswahl:
a) Qualität und Glaubwürdigkeit
Alle Websites, die wir in unsere Datenbank aufnehmen, müssen gewisse Standards in Bezug auf Glaubwürdigkeit und Qualität erfüllen: dazu gehören Angaben über die Betreiber der Website sowie Quellenangaben der Informationen und damit die Möglichkeit, mit Quervergleichen die Glaubwürdigkeit der Informationen abschätzen, beziehungsweise bei Unklarheiten an den Verfasser oder die Verfasserin Rückfragen stellen zu können. Zu den Qualitätsstandards gehören Sprache (Stil, Grammatik, Orthographie - analog zu Anforderungen bei Printpublikationen), klare Kennzeichungen und Konsistenz des Informationsangebots, klare Aussagen über den Aktualisierungsrhythmus, bzw. Angaben zu vorgenommenen Aktualisierungen. Falls wir eine Webiste für so interessant oder wichtig halten, dass wir sie in die Datenbank aufnehmen, obwohl sie einige dieser Punkte erfüllt, weisen wir in der Kurzbesprechung explizit darauf hin.
Wir konzentrieren uns auf Websites, die Informationen anbieten, die für Nachhaltigkeit und Ökologie von Relevanz sind. Die meisten Firmenwebsites ziehen wir daher nicht in Betracht. Diese Aufgabe müssen wir Branchenverzeichnissen wie Umwelt.de oder Ambios.ch überlassen.
Bei internationalen Websites konzentrieren wir uns
- auf unverzichtbare internationale Organisationen (Greenpeace, UN) und die wichtigsten nationalen Behörden (EPA) und Forschungseinrichtungen.
- auf Meta-Angebote, also zum Beispiel ein Verzeichnis aller Fahrrad-Organisationen in Europa oder eine andere Linkssammlung ähnlich wie OekoWeb
- auf Websites mit Referenzcharakter ("so müsste/könnte/sollte man das machen"), auch wenn sie wenig Nutzwert für deutschsprachigen Raum haben, zum Beispiel eine täglich aktualisierte "Bike-News" Website in Dänemark mit dänischen und einigen internationalen Meldungen.
Bei den deutschen Webangeboten streben wir eine möglichst komplette Abdeckung an.
Bewertete und unbewertete Einträge
Die bewerteten Einträge umfassen einerseits die weiter unten beschriebenen Bewertungskriterien, die in einem Rating-Schema angezeigt werden. Zudem schauen wir uns die Websites eingehend an und schreiben eine kurze Zusammenfassung über die Betreiber, das Ziel, den Inhalt, den Aufbau und die wichtigsten Merkmale einer Website.
Neu werden wir zwischen bewerteten und unbewerteten Einträgen unterscheiden. Unbewertete Einträge entsprechen einer vorläufigen Aufnahme. Zugleich bilden unbewertete Einträge den "erweiterten" Datenbestand, die bewerteten den Kerndatenbestand. Bitte beachten Sie, dass unbewertete Einträge nicht schlechter sind als die bewerteten. Wir haben sie lediglich noch nicht einer eingehenden redaktionellen Überprüfung unterzogen.
Wir werden neu die Bewertungskriterien differenzieren. Das Kriterium Inhalt wird in Menge und Einzigartigkeit, das Kriterium Gestaltung in Klarheit und Index aufgeteilt, neu kommt das Kriterium Links dazu. Die Bewertungsskala wird in Punkten angegeben und reicht von eins bis fünf Punkten.
Dabei gibt es zwei "Sorten" von Kriterien
Kriterium mit "Zeiger-Charakter"
Thematische Ausrichtung (Specificity)
Die Bewertung gilt der Spezialisierung auf einen bestimmten Sachbereich.
1 = sehr generalistisch, sehr grosser Fachbereich (zum Beispiel: Medizin)
2 = ziemlich generalistisch (Umweltmedizin)
3 = allgemein thematisch (Alles über Umweltgifte)
4 = spezifisch (Medizinische Aspekte von Umweltgiften)
5 = sehr spezifisch (Alles über die medizinischen Auswirkungen von Umweltgift xy)
Inhalt Menge (Content Quantity)
Die Bewertung gilt den Dokumenten, die verwertbare Informationen enthalten: Presseerklärungen, Rohdaten, Info-Grafiken, Artikel, Dokumentationen, Bibliographien. Selbstbeschreibungen, Navigationshilfsmittel, kurze Produktbeschreibungen etc. werden bei diesem Kriterium nicht berücksichtigt. Die Menge wird geschätzt.
1 = weniger als 20 Dokumente
2 = 20 bis 100 Dokumente
3 = 100 bis 500 Dokumente
4 = 500 bis 1000 Dokumente
5 = mehr als 1000 Dokumente
Inhalt Abdeckung (Content Coverage)
In diesem Kriterium wird bewertet, wie dicht das entsprechende Thema auf der Website dokumentiert ist
1 = Einzelne gute Dokumente, insgesamt aber grössere Lücken
2 = gute Abdeckung, Lücken erkennbar
3 = ausgewogene Abdeckung
4 = sehr gute Abdeckung
5 = ausgezeichnete Abdeckung, keine Fragen bleiben offen
In diesem Kriterium bewerten wir die Benutzerfreundlichkeit und die Qualität der Navigation. Weniger als fünf Kategorien auf der Homepage? Weniger als fünf Klicks zum Dokument? Konsistente Navigation; Quer- und Aufwärtslinks? Bildschirmdarstellung (Lesbarkeit) und Vermeiden von Scrolls? Kontaktadressen und About-File? Ladezeiten? Umsetzung von Frames? Note als Ausdruck eines Gesamteindrucks.
In diesem Kriterium bewerten wir die Hilfsmittel, die die Erschliessung eines Web-Angebots ermöglichen: Suchfunktionen und Sitemap. Je ein Punkt für
- Sitemap (grafisch, die Gliederung erschliesst)
- Index (textuelle Erschliessung der Site, grosse Tabelle auf einer Seite)
- Browse-Modus (Schlagwortbaum; vergleichbar mit Yahoo)
- einfache Suche
- komplexe Suche
In diesem Kriterium werden Menge, Gliederung und Kommentierung von Links bewertet.
0 = keine Links
1 = einige wenige ausgewählte Links
2 = Linklist, unkommentiert
3 = Linklist, gegliedert, unkommentiert oder kommentiert, ungegliedert
4 = Linklist, gegliedert und kommentert
5 = Linklist-Datenbank
Hier wertet die Redaktion von Oekomedia den allgemeinen Eindruck, den die WebSite auf sie gemacht hat:
1 = ausreichend
2 = befriedigend
3 = gut
4 = sehr gut
5 = ausgezeichnet; Referenz
Gesamt-Bewertung (Overall Rating)
ist eine Durchschnittsberechnung aller Kriterien nach folgendem Schema
(((Links + Index + Clarity + Coverage + Quantity) : 5) + General Impression) : 2 = Overall Rating
Zusätzliche Kriterien
Zeiger-Charakter
Bildungseinrichtung/Wissenschaft, Staatlich, Kommerziell, Organisation (NGO)
Plus-Minus-Charakter
Ist die Gliederung des Angebots übersichtlich? Ist deutlich, wie man vorgehen muss, um Information zu kriegen?
Folgt die Struktur des Informationsangebots einer inneren Logik, d.h. finde ich auf der gleichen Ebene auch immer nur eine Informationsebene (Referenz- & Sachinformation)? Macht diese Hierarchie der Informationsaufbereitung auch einen Sinn oder ist das eher zufällig zusammengeschustertes Material?
Sind die Abfragemöglichkeiten gut? Sind sie auch klar? Ist zum Beispiel deutlich, wie man ein Jahrhundert oder ein Jahrzehnt abfragen muss? Mehrsprachigkeit der Keywords? Mehrwortsuche?
- "Wissenschaftlicher Apparat", der als Referenz-, Transparenz- sowie Konrollinstanz angegeben wird (ob überhaupt). Für uns heisst das ja nicht zuletzt, ist das Angebot für wissenschaftliches Weiterverarbeitung ohne grossen Mehraufwand (Recherche/Kontrolle) möglich.
- Aktualität. Das meint einerseits die Aktualität der Primärinformation (etwa in einem Zeitungsarchiv), aber auch die Aktualität etwa des Forschungsstandes
- Vollständigkeit. Findet man unter einer Site, die Luthers deutsche Reden ankündigt wirklich auch alle oder nur ausgewählte (welche? weshalb diese?) Reden des Reformators.
Wie häufig wird eine Site von anderen Sites als link angegeben. Dies lässt sich mit Suchmaschinen mit geringem Aufwand rauskriegen und kann als Referenzinformation einen Eindruck/Relation vermitteln.
[Fokus/Kurse/Akteure/Ressourcen]
Peter Haber (haber@hist.net)
Jan Hodel (jan.hodel@hist.net)
P.O. Box - CH 4013 Basel
Letze Änderung dieser Seite am 14.3.2000 durch webmaster@hist.net