Data Science-Abschlussprojekte, Gruppe Nr. 33

Wir freuen uns sehr, die Erfolge unserer neuesten Absolvent:innen aus dem Zürcher Online-Batch #33 zu feiern, die ihre Data-Science-Reise mit zwei herausragenden praxisnahen Projekten abgeschlossen haben.

In den abschließenden Präsentationen wurde eindrucksvoll gezeigt, wie Data Science und KI in unterschiedlichsten Branchen direkten Impact schaffen können – von der Transformation von Business-Development-Prozessen bis hin zur Neugestaltung von Lernkonzepten im Bildungsbereich.

KI-gestützte Defekterkennung an Spannseilen

Studierende: Tobias Rieker, Amruthraj Gudimalla, Mastanvali Shaik, Pratik Shroff

VSL ist ein weltweit führendes Unternehmen im Bauwesen und in der Instandhaltung von Infrastrukturen und spezialisiert auf komplexe Lösungen für Brücken, Gebäude und komplexe Bauwerke. Ein zentraler Bestandteil der Arbeit von VSL ist die regelmäßige Inspektion von Spannseilen in Brücken, um Sicherheit, Zuverlässigkeit und langfristige Leistungsfähigkeit zu gewährleisten.

Diese Inspektionen erzeugen tausende hochauflösende Bilder, die von Expert:innen manuell gesichtet und annotiert werden müssen – ein zeitaufwändiger, kostenintensiver Prozess, der bei wachsendem Datenvolumen anfällig für menschliche Fehler ist.

Das Ziel dieses Projekts war die Automatisierung der Defekterkennung und -segmentierung auf Spannseilen mittels Deep Learning. Dadurch sollten

• der manuelle Inspektionsaufwand und die Kosten reduzieren werden,
• Ingenieur:innen durch KI-gestützte Entscheidungsunterstützung entlastet werden,
• skalierbare Pipelines für die Überwachung der Infrastruktur ermöglicht werden.

Graphik 1: Automatisierte Überwachungspipeline / Human-in-the-Loop-Konzept

 

Das Team entwickelte eine zweistufige, KI-gestützte Computer-Vision-Pipeline, die reale Inspektionsabläufe abbildet.

Stage 1 – Defekt vs. Kein Defekt

Eine Klassifizierung durch EfficientNet-V2 sortiert die eingehenden Bilder schnell und identifiziert rund 99 % der Bilder ohne Defekt. Dies reduziert Rechenaufwand sowie Überprüfungen durch Menschen drastisch.

Stage 2 – Defekt Erkennung & Segmentierung

Bilder, die Defekte enthalten, werden an Segmentierungsmodelle weitergeleitet, welche Defekte sowohl lokalisieren als auch präzise umreißen:

• YOLOv8-Seg (Nano) – schnell, Analysen in Echtzeit möglich
• Mask R-CNN (ResNet-101, Detectron2) – hochpräzise Segmentierung

Das System erkennt und segmentiert verschiedene Defekttypen, darunter kritische Defekte wie tiefe Kratzer und beschädigte Verbindungen / geöffnete Schweißnähte.

Die Modelle wurden anhand des AP50 Scores (Average Precision bei IoU = 0,5) bewertet.

Zentrale Erkenntnisse:

• YOLOv8-Seg übertraf Mask R-CNN in den meisten Defektkategorien konstant
• Kritischer Defekt Tiefe Kratzer erreichte ca. 70 % AP50
• Mittlerer AP50 über alle Klassen lag bei ~55 %
• YOLOv8-Seg war sowohl beim Training als auch bei der Inferenz deutlich schneller, was den Einsatz in der Praxis ermöglicht

Dieses Ergebnis führt direkt zu erheblichen Zeit- und Kosteneinsparungen, insbesondere bei der manuellen Erstellung und Überprüfung von Defektmasken.

Figure 2: Leistungsvergleich YOLOv8-Seg vs. Mask R-CNN 

 

Dieses Projekt zeigt die praktische Umsetzbarkeit KI-gestützter Infrastrukturinspektionen:

• EfficientNet-V2 filterte Bilder ohne Defekt mit ~99 % Genauigkeit
• YOLOv8-Seg lieferte den besten trade-off zwischen Geschwindigkeit und Genauigkeit
• Der manuelle Inspektionsaufwand konnte um ca. 55 % reduziert werden
• Das System passt gut zu realen technischen Anforderungen und Inspektionsabläufen

KI ersetzt keine Expert:innen, sondern verstärkt ihre Effektivität, sodass Ingenieur:innen sich auf Entscheidungen mit hohem Risiko und hoher Priorität konzentrieren können.

 

GUIDE: Wie ein intelligenter Agent Geschäftsdaten zum Sprechen bringt

Ein Überblick über ein agentisches RAG-System für Marle SMB Medical

Students: Johannes Hörl, Sven Mayer

Marle SMB Medical ist ein Schweizer Hersteller orthopädischer Implantate und agiert in einem stark regulierten sowie datenintensiven Umfeld. Wie viele Organisationen mit datengetriebenen Geschäftspraktiken stützt sich Marle auf ERP-Systeme, CSV-Exporte und BI-Dashboards, um Produktion, Lagerbestände und Produktlebenszyklen zu steuern.

Trotz der vorhandenen Daten war es oft schwer, schnell zu wertvollen Erkenntnissen zu kommen. Selbst einfache Geschäftsfragen erforderten SQL-Kenntnisse oder tiefes Systemverständnis, was Engpässe verursachte und Daten für viele Mitarbeitende nur schwer zugänglich machte.

Das Ziel des Projektes war die Entwicklung eines KI-gestützten intelligenten Agenten, der es Anwendern ermöglicht, Unternehmensdaten in natürlicher Sprache– ohne SQL- oder BI-Kenntnisse – zu erfragen und dabei folgende Anforderungen erfüllt:

• Datenschutz und Anonymisierung
• Deterministische und auditierbare Ergebnisse
• Schutz vor Halluzinationen
• unternehmensgerechte Zuverlässigkeit

The result is GUIDE — Generative Understanding and Intelligent Data Extraction.

GUIDE ist ein hybrides Agentic-RAG-System, das deterministischen Datenzugriff mit semantischem Reasoning kombiniert. Anstatt sich ausschließlich auf Vektorensuche oder LLM-basiertes Reasoning zu verlassen, kominiert das System inhaltliche Fakten, Metadatenintelligenz und algorithmische Entscheidungslogik.

Zentrale Design-Herausforderungen und ihre Lösungen

• Anonymisierung ohne semantischen Verlust
  Vollständig maskierte Produktnamen verhinderten eine semantische Suche. Das Team führte eine generalisierte Pseudonymisierung ein, die die Bedeutung bewahrt und gleichzeitig Identifikatoren anonymisiert.
• Semantische ERP-Daten
  CSV-Tabellen liefern strukturierte Daten, enthalten aber wenig Kontext. GUIDE kompensiert dies durch Metadaten als vollwertige Informationsquelle.

GUIDE is built as a 4-layer hybrid intelligence system:

1. Evidence Engine (Tracker)

• DuckDB-basierte Suche in CSV-Daten
• Regex-Mustererkennung und Input-Optimierung
• Header-Boosting-Strategien zur Priorisierung von Kontext über Rohdaten

2. Semantic Router (Strategist)

• LLM-gestützte Tabellenauswahl mit KI-optimierten Metadaten
• Unabhängig von Suche in Rohdaten
• Entscheidet wo gesucht wird, nicht was die Antwort ist

3. Fusion Engine (Brain)

• Algorithmische Verschmelzung von inhaltlichen Fakten und semantischem Reasoning
• Fast-Pass-Routing für eindeutige Anfragen
• Blind-Evaluationsmodus zur Vermeidung von Confirmation Bias
• Explizite Unternehmensregeln werden in den Kontext integriert

4. Worker (Execution Layer)

• Sichere pandas-basierte Sandbox
• Read-only-Operationen, keine Disk-I/O-Latenz
• Vollständige Ausführungshistorie für Auditierbarkeit

Graphik 1: Systemarchitektur von GUIDE (High-Level)

GUIDE hat die Art und Weise, wie Anwender mit Unternehmensdaten interagieren, grundlegend verändert: Natürliche Sprachabfragen werden in auditierbare Antworten übersetzt; Keine SQL- oder BI-Expertise erforderlich; Schnelle Ausführung dank In-Memory-Verarbeitung mit Pandas und DuckDB; Schutz vor Halluzinationen durch Metadaten, explizite Geschäftsregeln und Blind-Evaluation.

 

Figure 2: GUIDE’s User Interface

Nächste Schritte beinhalten die Erhöhung der Zuverlässigkeit durch systematische Anreicherung von Metadaten mit klaren Spaltenbeschreibungen, Geschäftsregeln und Nutzungsexemplaren. Validierte Nutzeranfragen sollen als „Gold-Standards“ gespeichert werden, um wiederkehrende Muster zu erkennen und Ambiguitäten künftig sicherer zu lösen. Zudem können Nutzer-Feedbackschleifen kombiniert mit Performance-Analytics kontinuierliche Weiterentwicklungen ermöglichen. So entwickelt sich das System anhand realer Nutzung statt Annahmen.

Johannes und Sven zeigen, dass Unternehmens-KI-Systeme nicht zwischen Flexibilität und Zuverlässigkeit wählen müssen. Durch die Kombination von deterministischer Suche, semantischem Reasoning und algorithmischem Scoring ermöglicht GUIDE vertrauenswürdigen, KI-gestützten Datenzugriff auf Unternehmensebene.

 

Mode-Umsatz aus Produktbildern vorhersagen

Students: Laura Kajtazi, Farhod Omonov, Daria Tsarova-Lenska

Was treibt die Kaufentscheidung eines Kunden für ein Modeprodukt an? Lassen sich zukünftige Verkäufe ausschließlich aus vergangenem Kaufverhalten vorhersagen – oder gibt es Hinweise, die offensichtlich erscheinen, aber dennoch wertvolle Signale enthalten, um diese Vorhersagen zu verbessern?

 

Diese Fragestellung bildete die Grundlage unseres Capstone-Projekts, das in Zusammenarbeit mit BestSecret durchgeführt wurde, einer europäischen Online-Plattform für Mitglieder, die sich auf Off-Price-Angebote von Premium- und Luxusmarken spezialisiert hat. BestSecret bietet eine kuratierte Auswahl an Kleidung, Schuhen und Accessoires bekannter internationaler Marken, kombiniert dynamische Preisgestaltung mit begrenztem Auswahl.

 

Figure 1: Project Structure

Im Rahmen der Initiative zur Verbesserung der Umsatzprognosen stellte uns BestSecret die Aufgabe, zu untersuchen, ob Produktbilder als zusätzlicher prädiktiver Indikator dienen könnten. Das Ziel war klar: Ein etabliertes Basismodelll zu Umsatzprognose durch die Integration visueller Informationen aus Produktbildern zu übertreffen.

Um diese Herausforderung anzugehen, behandelten wir die Produktbilder als zusätzlichen feature-space und bewerteten ihren Einfluss auf die Umsatzprognose. Unser Ansatz konzentrierte sich darauf, Bild-Embeddings zu extrahieren und diese mit strukturierten Produkt-Metadaten zu kombinieren. Der Datensatz umfasst etwa 10.000 Produktbilder, jeweils verknüpft mit den entsprechenden Verkaufs- und Produktinformationen.

Wir generierten Embeddings mithilfe mehrerer hochmoderner, vortrainierter Computer-Vision-Modelle, darunter CLIP, EVA und DINO. Diese Embeddings können komplexe visuelle Eigenschaften wie Farbverteilung, Form, Textur und Stil erfassen, ohne weiteres Training zu erfordern. Darüber hinaus kamen zum Teil Techniken zur Dimensionsreduktion zum Einsatz, um ein Gleichgewicht zwischen Informationsgehalt und Modelleffizienz zu gewährleisten.

 

Figure 2: What an Image Can Tell

 

Parallel experimentierten wir mit prompt-basierten Bildanalysen unter Verwendung großer multimodaler Modelle wie OpenAI, Gemma und eines vortrainierten CLIP-basierten Modells.

 

Ziel war es, aus den Produktbildern semantische Beschreibungen zu erzeugen und so zu prüfen, ob komplexere visuelle Konzepte die Vorhersagegenauigkeit verbessern können.

 

Figure 4: Modeling Results

 

Die extrahierten visuellen Merkmale wurden mit den vorhandenen Metadaten kombiniert und zum Training der Umsatzprognose durch Gradient-Boosting-Regressionmodellen wie LightGBM und CatBoost genutzt. Diese Modelle wurden dann anhand gängiger Regressionsmetriken mit dem Basismodell verglichen, welches nur Metadaten nutzte.

Die multimodalen Modelle übertrafen dabei konstant das Basismodell. Dies bestätigt, dass visuelle Informationen ein komplementäres prädiktives Signal liefern, das über traditionelle Produktattribute hinausgeht.

Dieses Projekt zeigt, dass die Einbindung bildbasierter Merkmale in Umsatzprognose-Pipelines zu messbaren Leistungssteigerungen führt. Visuelle Embeddings aus Produktbildern stellen ein skalierbares und wiederverwendbares Signal dar, das die Prognosegenauigkeit im Fashion-E-Commerce deutlich verbessern kann.

 

Fazit

Mit dem Abschluss der Data-Science-Capstone-Projekte des Online-Batchs #33 feiern wir die beeindruckenden Leistungen unserer Absolvent:innen. Ihre Arbeiten zeigen eindrucksvoll, was entsteht, wenn technisches Know-how auf Kreativität trifft: Data Science entfaltet ihr volles Innovationspotenzial.

Ein herzliches Dankeschön geht an unsere Partner, Mentor:innen und Dozent:innen, die die Teams während ihrer gesamten Reise begleitet haben. Mit ihrem Wissen, ihrer Unterstützung und der engen Zusammenarbeit haben sie entscheidend dazu beigetragen, aus Ideen funktionierende Prototypen für reale Anwendungsfälle zu machen.

An unsere Absolvent:innen: Eure Neugier, Ausdauer und euer Anspruch, echte Probleme zu lösen, machen diese Community so besonders. Wir sind gespannt, wohin euer Weg euch als Nächstes führt - und wie ihr die Zukunft von KI und datengetriebener Innovation weiter mitgestalten werdet.

Wenn euch diese Projekte inspirieren, erfahrt hier, wie ihr Teil des nächsten Data-Science-Batchs an der Constructor Academy werden könnt und startet euer eigenes innovatives Projekt.