Ausgangssituation
GRS wollte zertifizierte Edelsteine digital erlebbar machen, über eine eigene App für iOS und Android, die auch mit kommenden Betriebssystemversionen zuverlässig läuft. Parallel stellte das Unternehmen sein Laboratory Information Management System (LIMS) auf eine neue Lösung um. Die Idee dahinter: Die App erkennt einen Edelstein über ein ML-Modell im Backend, ruft per API die passenden Videodaten ab und blendet sie direkt in Augmented Reality über dem Stein ein. Aus einem zertifizierten Edelstein wird so ein interaktives Erlebnis.
Herausforderung
Die Herausforderung lag in der automatischen visuellen Erkennung. Edelsteine bieten einer Kamera kaum etwas, woran sie sich festhalten kann:
- wenige markante Merkmale
- viele Reflexionen
- ständig wechselndes Licht
Standardframeworks wie ARKit und ARCore waren damit schnell überfordert. GRS brauchte ein Erkennungssystem, das auch unter diesen Bedingungen zuverlässig den richtigen Stein identifiziert.
Vorgehen
soxes entwickelte gemeinsam mit GRS ein eigenes Machine-Learning-Modell für die Bildanalyse, trainiert genau auf die Eigenheiten zertifizierter Edelsteine. Dieses Modell wanderte in eine native App, die über standardisierte APIs mit dem neuen LIMS verbunden ist und alle relevanten Daten automatisch abruft. So greifen Erkennung, Datenanbindung und AR-Darstellung nahtlos ineinander.
Lösung
Die GRS AR App verbindet künstliche Intelligenz mit moderner App-Technologie: Sie erkennt zertifizierte Edelsteine präzise und legt ergänzende Inhalte stabil in Augmented Reality über den Stein. Das eigens trainierte ML-Modell sorgt für hohe Erkennungsgenauigkeit und eine verlässliche Platzierung der Medien, auch wenn sich Blickwinkel oder Lichtverhältnisse ändern. Die native App für iOS und Android ist intuitiv bedienbar, direkt an das neue LIMS angebunden und so aufgebaut, dass sie sich flexibel erweitern und international ausrollen lässt.
Genutzte Technologien
- Apps: nativ entwickelt mit Swift (iOS) und Kotlin (Android)
- AR und Erkennung: ARKit und ARCore, ergänzt durch ein eigens trainiertes Machine-Learning-Modell für präzise Bilderkennung und Positionierung
- Backend: Python-Stack mit Django REST Framework und MySQL
- API-Dokumentation: Swagger
- Versionierung, Tests und Releases: Bitbucket, Azure Pipelines, Postman, Google Play Console und TestFlight
