Wenn Sie beabsichtigen, ein erfolgreiches Donut-Geschäft zu starten, müssen Sie den besten Donut auf dem Markt vorbereiten. Während Ihre technischen Fähigkeiten und Erfahrungen eine entscheidende Rolle in Ihrem Donuts-Geschäft spielen, müssen Sie Ihre Donuts mit den bestmöglichen Zutaten zubereiten, damit Ihre Delikatesse bei Ihren Zielgruppen wirklich ankommt und wiederkehrende Geschäfte abwirft.
Die Qualität Ihrer einzelnen Zutaten, der Ort, von dem Sie sie beziehen, wie sie sich mischen und ergänzen und mehr ausnahmslos den Geschmack, die Form und die Konsistenz des Donuts bestimmen. Gleiches gilt auch für die Entwicklung Ihrer Machine-Learning-Modelle.
Auch wenn die Analogie bizarr erscheinen mag, sollten Sie sich bewusst sein, dass die beste Zutat, die Sie in Ihr Modell für maschinelles Lernen einfließen lassen können, hochwertige Daten sind. Ironischerweise ist dies auch der schwierigste Teil der Entwicklung von KI (Künstliche Intelligenz). Unternehmen haben Schwierigkeiten, qualitativ hochwertige Daten für ihre KI-Trainingsverfahren zu beschaffen und zusammenzustellen, was entweder die Entwicklungszeit verzögert oder eine Lösung mit weniger Effizienz als erwartet auf den Markt bringt.
Aufgrund begrenzter Budgets und betrieblicher Einschränkungen sind sie gezwungen, auf unkonventionelle Datenerhebungsmethoden wie verschiedene Crowdsourcing-Techniken zurückzugreifen. Funktioniert das also? Ist Crowdsourcing von qualitativ hochwertigen Daten wirklich möglich? Und wie lässt sich Datenqualität überhaupt messen?
Lass es uns herausfinden.
Was ist Datenqualität und wie misst man sie?
Datenqualität beschränkt sich nicht allein auf die Sauberkeit und Struktur Ihrer Datensätze. Das sind eher ästhetische Kriterien. Entscheidend ist vielmehr die Relevanz Ihrer Daten für Ihre Lösung. Wenn Sie beispielsweise ein KI-Modell für eine Gesundheitslösung entwickeln und Ihre Datensätze größtenteils nur Vitaldaten von Wearables enthalten, dann sind Ihre Daten unbrauchbar.
Damit gibt es überhaupt kein greifbares Ergebnis. Die Datenqualität läuft also auf Daten hinaus, die im Kontext zu Ihren Geschäftszielen stehen, vollständig, mit Anmerkungen versehen und maschinenbereit sind. Datenhygiene ist eine Teilmenge all dieser Faktoren.
Nachdem wir nun wissen, was minderwertige Daten sind, haben wir auch eine Liste mit 5 Faktoren zusammengestellt , die die Datenqualität beeinflussen.
Wie misst man die Datenqualität?
Verhältnis von Daten zu Fehlern
Dies verfolgt die Anzahl der Fehler, die ein Datensatz in Bezug auf sein Volumen aufweist.
Leere Werte
Diese Metrik gibt die Anzahl der unvollständigen, fehlenden oder leeren Werte in Datensätzen an.
Fehlerquoten bei der Datentransformation
Dadurch wird die Menge der Fehler verfolgt, die auftreten, wenn ein Datensatz transformiert oder in ein anderes Format konvertiert wird.
Dunkles Datenvolumen
Dark Data sind alle Daten, die unbrauchbar, redundant oder vage sind.
Zeit bis zum Wert der Daten
Dies misst die Zeit, die Ihre Mitarbeiter für das Extrahieren der erforderlichen Informationen aus Datensätzen aufwenden.
So stellen Sie die Datenqualität beim Crowdsourcing sicher
Es wird Zeiten geben, in denen Ihr Team unter Druck steht, Daten innerhalb enger Fristen zu sammeln. In solchen Fällen sind Crowdsourcing-Techniken sehr hilfreich . Bedeutet das aber, dass die Beschaffung qualitativ hochwertiger Daten per Crowdsourcing immer ein realistisches Ergebnis ist?
Wenn Sie bereit sind, diese Maßnahmen zu ergreifen, würde sich Ihre Crowdsourcing-Datenqualität bis zu einem gewissen Grad verstärken, sodass Sie sie für schnelle KI-Trainingszwecke verwenden könnten.
Klare und eindeutige Richtlinien
Crowdsourcing bedeutet, dass Sie sich über das Internet an Crowdsourcing-Mitarbeiter wenden, um mit relevanten Informationen zu Ihren Anforderungen beizutragen.
Es gibt Fälle, in denen echte Leute keine korrekten und relevanten Details angeben, weil Ihre Anforderungen mehrdeutig waren. Um dies zu vermeiden, veröffentlichen Sie eine Reihe klarer Richtlinien darüber, worum es bei dem Prozess geht, wie ihre Beiträge helfen würden, wie sie einen Beitrag leisten könnten und vieles mehr. Um die Lernkurve zu minimieren, führen Sie Screenshots zur Übermittlung von Details ein oder zeigen Sie kurze Videos zum Verfahren.
Datenvielfalt und Beseitigung von Verzerrungen
Veröffentlichen Sie Ihre Crowdsourcing-Kampagne in verschiedenen Marktsegmenten, Zielgruppen, Ethnien, Altersgruppen, sozioökonomischen Schichten usw. So erhalten Sie einen umfangreichen Datenpool für unvoreingenommene Ergebnisse.
Mehrere QS-Prozesse
Idealerweise sollte Ihr QS-Verfahren zwei Hauptprozesse umfassen:
- Ein Prozess, der von Modellen des maschinellen Lernens geleitet wird
- Und ein Prozess, der von einem Team professioneller Qualitätssicherungsmitarbeiter geleitet wird
QA für maschinelles Lernen
Dies könnte Ihr vorläufiger Validierungsprozess sein, in dem Modelle des maschinellen Lernens prüfen, ob alle Pflichtfelder ausgefüllt, notwendige Dokumente oder Details hochgeladen wurden, ob die Einträge relevant für die veröffentlichten Felder sind, die Diversität der Datensätze und vieles mehr. Für komplexe Datentypen wie Audio, Bilder oder Videos könnten Modelle des maschinellen Lernens auch trainiert werden, um notwendige Faktoren wie Dauer, Audioqualität, Format usw. zu validieren.
Manuelle QS
Dies wäre ein idealer Qualitätsprüfungsprozess der zweiten Ebene, bei dem Ihr Team von Fachleuten schnelle Audits von Zufallsdatensätzen durchführt, um zu überprüfen, ob die erforderlichen Qualitätsmetriken und -standards erfüllt werden.
Wenn die Ergebnisse ein Muster aufweisen, könnte das Modell für bessere Ergebnisse optimiert werden. Der Grund, warum manuelle QA kein idealer vorbereitender Prozess wäre, liegt in der Menge an Datensätzen, die Sie schließlich erhalten würden.
So, was ist dein Plan?
Dies waren also die praktischsten Best Practices zur Optimierung der Qualität von Crowdsourcing -Daten. Der Prozess ist zwar mühsam, aber Maßnahmen wie diese erleichtern ihn. Setzen Sie sie um und überprüfen Sie Ihre Ergebnisse, um festzustellen, ob sie Ihren Vorstellungen entsprechen.
