Mir verstinn all datt d'Leeschtung vun engem kënschtlechen Intelligenz (AI) Modul ganz vun der Qualitéit vun den Datesätz hänkt, déi an der Trainingsphase geliwwert ginn. Wéi och ëmmer, si ginn normalerweis op iwwerflächlechem Niveau diskutéiert. Déi meescht vun de Ressourcen online spezifizéieren firwat Qualitéitsdaten Acquisitioun wesentlech ass fir Är AI Trainingsdatenstadien, awer et gëtt e Lück a punkto Wëssen, déi d'Qualitéit vun net genuch Daten differenzéiert.
Wann Dir méi déif an Datesätz verdéiwen, mierkt Dir Tonne Verwierklechungen a Subtletien déi dacks iwwersinn ginn. Mir hu beschloss, dës manner geschwat Themen Liicht ze werfen. Nodeems Dir dësen Artikel gelies hutt, hutt Dir eng kloer Iddi vun e puer vun de Feeler déi Dir maacht wärend der Datesammlung an e puer Weeër wéi Dir Är AI Trainingsdatenqualitéit optiméiere kënnt.
Loosst eis ufänken.
D'Anatomie vun engem AI Projet
Fir déi oninitiéiert ass en AI oder e ML (Maschinn Léieren) Projet ganz systematesch. Et ass linear an huet e festen Workflow.
- Beweis vum Konzept
- Modell Validatioun a Modell Scoring
- Algorithmus Entwécklung
- AI Training Daten Virbereedung
- Modell Deployment
- Algorithmus Training
- Post-Deployment Optimisatioun
Statistike weisen datt no bei 78% vun all AI Projeten op engem oder anere Punkt gestoppt sinn ier se an d'Deploymentphase kommen. Wärend et grouss Schleifen, logesch Feeler oder Projektmanagement Themen op enger Säit sinn, ginn et och subtile Feeler a Feeler déi massiv Decompte bei Projete verursaachen. An dësem Post wäerte mir e puer vun den heefegsten Subtletien entdecken.
Daten Viraussetzung
Datebias ass déi fräiwëlleg oder onfräiwëlleg Aféierung vu Faktoren oder Elementer, déi d'Resultater negativ op oder géint spezifesch Resultater verschwannen. Leider ass Bias eng plagéiert Suerg am AI Trainingsraum.
Wann dëst komplizéiert fillt, verstitt datt AI Systemer keen eegene Geescht hunn. Also, abstrakt Konzepter wéi Ethik, Moral, a méi existéieren net. Si sinn nëmme sou intelligent oder funktionell wéi déi logesch, mathematesch a statistesch Konzepter, déi an hirem Design benotzt ginn. Also, wann d'Mënschen dës dräi entwéckelen, ginn et offensichtlech e puer Viruerteeler a Favoritismus agebaut.
Bias ass e Konzept dat net direkt mat AI assoziéiert ass awer mat alles anescht ronderëm et. Sinn et staamt méi aus mënschlech Interventioun a kéint zu all Zäitpunkt agefouert ginn. Et kéint sinn wann e Problem fir méiglech Léisungen adresséiert gëtt, wann d'Datesammlung geschitt, oder wann d'Donnéeën virbereet ginn an an en AI Modul agefouert ginn.
Kënne mir Bias komplett eliminéieren?
D'Eliminatioun vun Bias ass komplizéiert. Eng perséinlech Preferenz ass net ganz schwaarz a wäiss. Et bléift am groe Beräich, an dofir ass et och subjektiv. Mat Bias ass et schwéier eng holistesch Fairness vun iergendenger Aart ze weisen. Donieft ass Bias och schwéier z'identifizéieren oder z'identifizéieren, präzis wann de Geescht onfräiwëlleg zu bestëmmten Iwwerzeegungen, Stereotypen oder Praktiken geneigt ass.
Dofir preparéieren AI Experten hir Moduler mat potenziellen Viraussetzungen an eliminéiert se duerch Konditiounen a Kontexter. Wann et richteg gemaach gëtt, kann d'Skewing vun de Resultater op e Minimum gehale ginn.
Datenqualitéit
Datequalitéit ass ganz generesch, awer wann Dir méi déif kuckt, fannt Dir verschidde nuancéiert Schichten. Datequalitéit kann aus de folgende besteet:
- Mangel un Disponibilitéit vu geschätzte Volumen vun Daten
- Feele vu relevanten a kontextuellen Donnéeën
- Feele vu rezenten oder aktualiséierten Donnéeën
- D'Heefegkeet vun Daten déi onbrauchbar ass
- Mangel un erfuerderlechen Datentyp - zum Beispill Text anstatt Biller an Audio anstatt Videoen a méi
- Bias
- Klauselen déi Dateninteroperabilitéit limitéieren
- Schlecht annotéiert Donnéeën
- Ongerecht Dateklassifikatioun
Bal 96% vun AI Spezialisten kämpfen mat Datequalitéitsprobleemer, déi zu zousätzlech Stonnen Optimiséierung vun der Qualitéit resultéieren, sou datt Maschinnen effektiv optimal Resultater liwweren.
Onstrukturéiert Donnéeën
Datewëssenschaftler an AI Experten schaffen méi op onstrukturéiert Daten wéi hir komplette Kollegen. Als Resultat gëtt e bedeitende Betrag vun hirer Zäit verbruecht fir Sënn vun onstrukturéierten Donnéeën ze maachen an se an e Format ze kompiléieren dat Maschinnen kënne verstoen.
Onstrukturéiert Donnéeën sinn all Informatioun déi net mat engem spezifesche Format, Modell oder Struktur entsprécht. Et ass desorganiséiert an zoufälleg. Onstrukturéiert Donnéeën kéinte Video, Audio, Biller, Biller mat Text, Ëmfroen, Berichter, Presentatiounen, Notizen oder aner Forme vun Informatioun sinn. Déi relevantst Abléck aus onstrukturéierten Datesätz musse vun engem Spezialist identifizéiert a manuell annotéiert ginn. Wann Dir mat onstrukturéierten Donnéeën schafft, hutt Dir zwou Méiglechkeeten:
- Dir verbréngt méi Zäit fir d'Daten ze botzen
- Akzeptéieren verréckte Resultater
Mangel u PMEen fir glafwierdeg Donnéeën Annotatioun
Vun all de Faktoren, déi mir haut diskutéiert hunn, ass glafwierdeg Dateannotatioun déi eng Subtilitéit iwwer déi mir bedeitend Kontroll hunn. Dateannotatioun ass eng entscheedend Phas an der AI Entwécklung déi diktéiert wat a wéi se solle léieren. Schlecht oder falsch annotéiert Donnéeën kéinten Är Resultater komplett verschwannen. Zur selwechter Zäit kënnen präzis annotéiert Donnéeën Är Systemer glafwierdeg a funktionell maachen.
Dofir sollt d'Dateannotatioun vu PMEen a Veteranen gemaach ginn, déi Domainkenntnisser hunn. Zum Beispill, Gesondheetsdaten solle vun Fachleit annotéiert ginn, déi Erfahrung hunn mat Daten aus deem Secteur ze schaffen. Also, wann de Modell an enger liewensspuerender Situatioun ofgesat ass, leeft et un d'Erwaardungen. Datselwecht ass wouer fir Produkter an Immobilien, Fintech eCommerce, an aner Nischplazen.
Wrapping Up
All dës Faktore weisen an eng Richtung - et ass net ubruecht sech an d'AI Entwécklung als Standalone Eenheet z'entwéckelen. Amplaz ass et e kollaborativen Prozess, wou Dir Experten aus alle Beräicher braucht fir zesummen ze kommen fir déi eng perfekt Léisung auszerollen.
Dofir empfeelen mir Iech a Kontakt mat Donnéeën Kollektioun an Annotatioun Experten wéi Shaip fir Är Produkter a Léisunge méi funktionell ze maachen. Mir si bewosst iwwer d'Subtletien déi an der AI Entwécklung involvéiert sinn an hu bewosst Protokoller a Qualitéitskontrollen fir se direkt ze eliminéieren.
kréien in Déngschtleeschtunge mat eis fir erauszefannen wéi eis Expertise Är AI Produktentwécklung hëllefe kann.
