Data Science-Abschlussprojekte, Gruppe Nr. 35

Was passiert, wenn Data Science auf reale Herausforderungen trifft? Die Teilnehmer unseres letzten Data-Science-Kurses in Vollzeit (Batch #35) haben ihre Fähigkeiten in drei ambitionierten Abschlussprojekten unter Beweis gestellt.

Die Projekte zeigten, auf wie vielfältige Weise Daten, KI und kreative Problemlösungen neue Möglichkeiten eröffnen können.
 

ProEngineers: PDF-zu-CSV-Extraktor für Ausschreibungen in der Bauindustrie

Studenten: Vasili Areshka und Hanna Sliashynskaya

Bauunternehmen erhalten täglich zahlreiche Ausschreibungsunterlagen, deren Prüfung einen zeitaufwändigen manuellen Prozess darstellt. Ausschreibungen sind in der Regel lang, sehr technisch und in ihrem Format uneinheitlich, was die Bearbeitung zusätzlich erschwert. In vielen Fällen ist für ein bestimmtes Unternehmen nur ein kleiner Teil der ausgeschriebenen Positionen tatsächlich relevant. Unser Kunde ProEngineers, der maßgeschneiderte digitale Tools für die Bauindustrie entwickelt, stellte uns vor die Aufgabe, ein Tool zu entwickeln, das gezielt Positionen im Bereich Fassadenbau und Maurerarbeiten identifiziert.

Das Ziel bestand darin, eine Lösung zu entwickeln, die diese Positionen in Ausschreibungs-PDFs automatisch identifiziert und in eine strukturierte CSV-Datei extrahiert. Um dies zu erreichen, entschieden wir uns für einen RAG-Ansatz, bei dem Dokumentensuche mit einem großen Sprachmodell kombiniert wird, um die Positionen zu finden und zu extrahieren, die sich auf die Zielprodukte beziehen. Die Grafik zeigt die Architektur unserer Lösung:

Im Laufe des Projekts haben wir mit verschiedenen technischen Ansätzen experimentiert, um die Qualität der Ergebnisse zu verbessern. Dazu gehörten das Testen verschiedener Chunking-Strategien zur Aufteilung von PDF-Text, die Verfeinerung von Stichwortlisten, um relevante Produkte und Beschreibungen besser zu erfassen, sowie die iterative Optimierung von Prompts, um das Modell präziser zu steuern. Außerdem haben wir mehrere Sprachmodelle getestet und diese anhand speziell für dieses Projekt entwickelter Metriken bewertet.

Für ProEngineers ist es entscheidend, keine relevanten Produkte aus den Ausschreibungen zu übersehen, die Extraktion auf Zellebene präzise zu halten und irrelevante Zeilen auf ein Minimum zu reduzieren. Unsere Tests haben gezeigt, dass die folgenden Modelle bei der Extraktion technischer Ausschreibungsinformationen die besten Ergebnisse erzielten:
​​​​​​Das Tool ist bereit für den Einsatz auf der Infrastruktur von ProEngineers und wird in der Produktion genutzt.

Zu den Zukunftsplänen gehören die Integration einer Texterkennung für bildbasierte PDF-Dateien, die Weiterentwicklung der Chunking-Verfahren zur Reduktion der an das LLM gesendeten Textmenge sowie die Erfassung der CSV-Ausgaben unseres Tools, um mithilfe von Machine-Learning-Verfahren ein eigenständiges Modell zu trainieren.
 

Intelligente Stückzählung: Computer Vision für industrielle Fertigungslinien

Studierende: Cristian Mourelle, Ivan Mateo Forcen, and Riyan Reyhan

Die Hadi-Plast GmbH ist ein deutsches Familienunternehmen mit Sitz in Hövelhof, das sich seit 1977 auf den Präzisionsspritzguss von thermoplastischen Bauteilen für die Automobil-, Medizin- und Einzelhandelsbranche spezialisiert hat. Die Produktionslinien des Unternehmens setzen derzeit auf hochpräzise Industriewaagen zur Stückzählung auf Förderbänder – eine effektive, aber kostspielige Lösung. Im Rahmen eines Abschlussprojekts mit Hadi-Plast entwickelten unsere Studierenden eine Alternative auf Basis von Computer Vision: ein System, das einzelne Teile in Echtzeit erkennt, verfolgt und zählt, während sie sich auf dem Förderband bewegen.

Die Herausforderung war alles andere als trivial. Bei den Teilen handelt es sich um kleine, längliche Plastikstäbchen, die sich beim Transport häufig überlappen und auftürmen, was sowohl die Erkennung als auch die Nachverfolgung erschwert.
 

Maßgeschneiderte Modell-Pipeline

Das Herzstück des Projekts ist eine speziell entwickelte Pipeline, die Deep-Learning-Erkennung mit der Verfolgung mehrerer Objekte kombiniert. Mithilfe von Label Studio annotierte das Team 100 Einzelbilder manuell mit „Oriented Bounding Boxes“ (OBB) – einem Format, das sich für gedrehte und längliche Stäbe besser eignet als herkömmliche Begrenzungsrahmen. Diese bewusste Entscheidung für eine manuelle Annotation anstelle einer automatisierten Beschriftung stellte die hohe Qualität der Trainingsdaten sicher, was angesichts des geringen Umfangs des Datensatzes von besonderer Bedeutung war.

Die annotierten Bilder wurden verwendet, um ein YOLO11-Nano-OBB-Modell über 300 Epochen hinweg mit Early Stopping zu finetunen. Die Datenvervielfältigung wurde gezielt auf die fest installierte Kameraausrichtung abgestimmt und umfasste 180°-Drehungen, Mosaik, Mixup, HSV-Jitter und Spiegelungen. 

Das trainierte Modell speist ByteTrack, einen Multi-Objekt-Tracker, der jedem Teil über mehrere Frames hinweg persistente IDs zuweist und diese registriert, sobald sie eine benutzerdefinierte Zähllinie überqueren. Eine Wiederherstellungsheuristik erkennt neue IDs, die hinter der Linie erscheinen, um durch ID-Wechsel verlorene Teile zu erfassen, während eine räumliche Deduplizierung Doppelzählungen verhindert. 

Das System gibt ein annotiertes Video mit einem Live-Zähler-Overlay sowie ein CSV-Protokoll mit Zeitstempeln und Positionen für die Nachverfolgung aus.

Die Ergebnisse sind vielversprechend: ein mAP50 von ~0,85 und eine Recall-Rate von 95 % ohne Fehlalarme durch den Hintergrund – und das mit nur 100 annotierten Bildern. Die Inferenz läuft auf Apple Silicon mit ~35 fps und liegt damit deutlich über der Videorate von 20 fps, was einen Echtzeit-Einsatz ermöglicht. Die größte Einschränkung liegt in der Verfolgung bei starker Okklusion, bei der identische, sich überlappende Teile zu ID-Wechseln führen – eine gut dokumentierte Herausforderung selbst für modernste Tracker (Zhang et al., ECCV 2022). Ein Upgrade auf BoT-SORT mit visueller Wiedererkennung würde diese Fehler deutlich reduzieren (Aharon et al., 2022).

Wichtig ist, dass der aktuelle Testfall eines der anspruchvollsten Szenarien für die Einzelstückverfolgung darstellt. Bei größeren, weiter voneinander entfernten oder optisch besser unterscheidbaren Artikeln würde dieselbe Pipeline eine deutlich höhere Genauigkeit erzielen und ließe sich problemlos an verschiedene Produkte und Produktionslinienkonfigurationen in den Betrieben von Hadi-Plast anpassen.

Erkundung alternativer Tools

Neben der maßgeschneiderten Modell-Pipeline untersuchte das Team Roboflow als ergänzenden Ansatz. Roboflow bietet eine integrierte Plattform für KI-gestützte Annotation, Datensatzverwaltung und Modelltraining und ermöglicht so einen schnelleren Weg von Rohbildern zu einem funktionsfähigen Detektor. Diese Untersuchung verdeutlichte die Bandbreite der im Computer-Vision-Ökosystem verfügbaren Tools sowie deren Potenzial zur Beschleunigung künftiger Iterationen des Systems.

Cristian, Ivan und Riyan sind stolz darauf, einen Beitrag zu Hadi-Plasts Weg hin zu einer intelligenteren und effizienteren Produktionsüberwachung geleistet zu haben.
 

Qumasoft:  LLM Evaluation

Studierende: Anil Jala, Gustavo Peredo & Hossam el din Baioumy
 

Einführung

Der rasante Aufstieg großer Sprachmodelle (Large Language Models, LLMs) stellt viele Unternehmen vor die Herausforderung, den Bedarf an Innovation mit den Anforderungen an den Datenschutz in Einklang zu bringen. Qumasoft, ein deutsches Cybersicherheitsunternehmen, hat sich dieser Herausforderung angenommen.

Qumasoft bietet eine Plattform, die Unternehmen bei der Produktsicherheit unterstützt, indem sie ihnen hilft, regulatorische Anforderungen zu verwalten, Entwicklungsprozesse zu optimieren und die Abhängigkeit von externen Beratungsleistungen zu reduzieren. Die Lösung quma.ai verbindet Automatisierung mit Fachwissen in den Bereichen Produktentwicklung, Standards und Compliance. Dadurch unterstützt sie Teams bei der Dokumentation, bei Prüfungen und bei der Vorbereitung auf Audits – und trägt gleichzeitig dazu bei, internes Wissen im Unternehmen zu erhalten.

Datenhoheit vs. Abhängigkeit von externen Anbietern

Für einen Cybersicherheitsspezialisten sind die Gewährleistung der Datenintegrität und die Wahrung der Datensouveränität zentrale Anforderungen. Für Qumasoft ergibt sich daraus ein strategischer Ansatz, der Kunden unterschiedliche Möglichkeiten für den sicheren Einsatz von KI bietet – von der Nutzung leistungsfähiger proprietärer Modelle bis hin zu Open-Source-LLMs, die vollständig lokal und selbst gehostet betrieben werden können. Vier strategische Beweggründe stehen dabei im Vordergrund:

• Mehr Datenhoheit: Durch den lokalen Betrieb von Open-Source-LLMs können sensible Hersteller- und Kundendaten innerhalb der eigenen IT-Umgebung verarbeitet werden. So lässt sich die Kontrolle über Daten und deren Verarbeitung gezielt erhöhen.
• Kundenorientierter Datenschutz: Eine selbst gehostete Open-Source-Variante bietet insbesondere für Kunden mit hohen Datenschutz- und Compliance-Anforderungen eine attraktive Option. Sie ermöglicht es, KI-Anwendungen so zu betreiben, dass sensible Daten die eigene Infrastruktur nicht verlassen.
• Optimierung statt Abhängigkeit: Neben geschlossenen Modellen schafft Qumasoft mit Open-Source-LLMs eine zusätzliche Wahlmöglichkeit. Je nach Anwendungsfall, Sicherheitsanforderungen und Kundenpräferenzen kann so das jeweils passende Modell und Bereitstellungsmodell gewählt werden – ohne sich grundsätzlich an einen einzelnen Anbieter zu binden.
• Branchenführerschaft: Mit der Möglichkeit, leistungsfähige KI sicher und lokal zu betreiben, positioniert sich Qumasoft als Vorreiter für souveräne, selbst gehostete KI-Lösungen im europäischen Markt.

Von manuellen Prüfungen zu automatisierten Audits

Aufbauend auf diesen strategischen Beweggründen untersuchte das Team weitere relevante Funktionen und Ansätze, um die Ziele von Qumasoft zu unterstützen. Der Fokus lag darauf, potenzielle Lösungen im Einklang mit einer strategischen Ausrichtung des Unternehmens auf sichere, effiziente und selbst gehostete KI-Systeme zu bewerten und weiterzuentwickeln.

Die Methodik wurde darauf ausgerichtet, den Übergang von einer manuellen, durch Menschen gesteuerten Verifizierung hin zu einer skalierbaren, automatisierten Prozesskette zu ermöglichen.
 

1 – Manuelles Benchmarking:

Vor der Automatisierung des Prozesses schuf das Team durch umfangreiche Tests eine belastbare Vergleichsbasis. Dafür wurden Prompts mit mehr als 70.000 Tokens an verschiedene Open-Source- und proprietäre LLMs übermittelt, um deren Leistungsfähigkeit und Präzision zu testen.

2 – Die Multi-Agent Architektur

Anschließend wurde ein Multi-Agenten-Workflow entwickelt, um die manuelle Überprüfung zu ersetzen. Diese „LLM-as-a-Judge“-Architektur umfasst:

• Iteration Agent: Steuert wiederholte Testzyklen, um sicherzustellen, dass die Leistung eines Modells konsistent ist und nicht nur auf einem einmaligen Ergebnis beruht.
• Judge Agent: Bewertet die Ergebnisse der Modelle anhand definierter Kriterien, darunter die Befolgung von Anweisungen (Instruction Following), die Nutzung vorhandenen Wissens (Knowledge Utilization) und die Halluzinationsrate.
• Final Report Agent: Überführt die ermittelten Kennzahlen automatisch in einen detaillierten, gebrandeten PDF-Evaluierungsbericht für das jeweilige Modell.

3 – Detaillierte Evaluation und Benchmarking

Das Ergebnis war ein System, das für jedes Modell, das die Pipeline durchläuft, automatisch einen umfassenden Evaluierungsbericht erstellt.

Durch die Analyse dieser einzelnen Berichte konnten wir einen aussagekräftigen Benchmark erstellen. Diese übergreifende Betrachtung zeigte, dass Gemma 4 (31B) und DeepSeek Reasoner eine relative Genauigkeit von 100 % erreichten, und identifizierte sie damit als die leistungsstärksten Kandidaten für den lokalen Betrieb bei Qumasoft.

Fazit

Durch die Implementierung dieser automatisierten Audit-Pipeline ist Qumasoft nun in der Lage, Modelle auf Grundlage objektiver Kennzahlen aus detaillierten, modellspezifischen Berichten gezielt auszuwählen und bereitzustellen. So wird sichergestellt, dass das Unternehmen auch angesichts der stetigen Weiterentwicklung der KI-Landschaft seine hohen Ansprüche an Cybersicherheit und Datensouveränität konsequent wahren kann.