VIRAS: Visually Impaired Robot-Assisted Shopping

Unsere Partner und Sponsoren:

Migros Ostschweiz

Wanzl

FAULHABER

Schweizerischer Zentralverein für das Blindenwesen

Schweizerischer Blindenbund

Schweizerische Caritasaktion der Blinden

Schweizerischer Blinden- und Sehbehindertenverband

FRH Stiftung für die Forschung für Menschen mit Behinderungen

robotics Innovation Booster

Blinde und Sehbehinderte im Fokus

Das Institute for Lab Automation and Mechatronics (ILT) der Ostschweizer Fachhochschule hat das Projekt VIRAS (Visually Impaired Robot-Assisted Shopping) initiiert. Es umfasst die Entwicklung einer innovativen Einkaufshilfe für blinde und sehbehinderte Personen. VIRAS ist ein selbstfahrender Einkaufswagen, mit welchem die Betroffenen ihren Einkauf in einem Supermarkt eigenständig durchführen können. Zur Bedarfsklärung wurde eine deutschland- und schweizweite Umfrage bei verschiedenen Blindenverbänden durchgeführt. Das Ergebnis zeigt deutlich, dass innerhalb dieser Personengruppe ein sehr grosses Interesse an einer technischen Unterstützung beim Einkaufen im Supermarkt besteht. Derzeit vermeiden es die meisten Betroffenen selbst einzukaufen. Häufig wird eine dritte Person hiermit beauftragt. Der Einsatz des VIRAS Einkaufswagens trifft bei 87% der Befragten auf Anklang. Durch eine mögliche Bereitstellung des Einkaufswagens würden fast 90% der sehbehinderten und blinden Personen ihre Einkäufe damit selbständig tätigen.

4% der Schweizer Bevölkerung - tendenziell steigend - sind von einer Sehbehinderung betroffen. Angesichts dessen kann das Projekt nicht nur zur Inklusion beitragen sondern auch zu einer wesentlichen Verbesserung der Lebensqualität der Betroffenen führen. Durch die Integration autonomer Navigationsfunktionen in den Einkaufswagen haben blinde und sehbehinderte Personen die Möglichkeit sich selbstständig durch Supermärkte zu bewegen. Dies steigert ihre Eigenständigkeit deutlich und führt zu einem selbstbestimmteren Leben. Der Schweizerischer Zentralverein für das Blindenwesen, der Schweizerischer Blindenbund, die Schweizerische Caritasaktion der Blinden und der Schweizerischer Blinden- und Sehbehindertenverband fördern die Entwicklung und Realisierung des Projekts VIRAS durch ihre finanzielle und ideelle Unterstützung. Das VIRAS Team steht stets im engen Austausch mit den Verbänden und klärt mögliche Lösungsansätze. Durch das Miteinbeziehen der betroffenen Personengruppe ist die Entwicklung des VIRAS Einkaufswagens realitätsnah auf deren entsprechende Bedürfnisse abgestimmt.

Herausforderungen beim Einkaufen

Das Erfordernis eines Einkaufswagens für blinde und sehbehinderte Personen ergibt sich aus mehreren Faktoren. Die wichtigste und zugleich anspruchsvollste Herausforderung beim Einkauf ohne fremde Hilfe ist das genaue Auffinden der Produkte im Regal. Insbesondere bei Änderungen des Sortiments und der Produktplatzierung haben die Betroffenen erhebliche Schwierigkeiten das gewünschte Produkt zu finden. Auch eine ungleichmässige Beleuchtung erschwert die Orientierung. Das Wiegen von Gemüse oder Obst ist nahezu unmöglich, da die Waagen ohne ausreichendes Sehvermögen nicht bedient werden können. Eine weitere Hürde stellt das Auffinden der Kasse dar. Im Supermarkt werden für blinde und sehbehinderte Personen keine Informationen bereitgestellt, wie sie diese erreichen können. Diese Hindernisse und weitere Einschränkungen sollen mit dem VIRAS Einkaufswagen umgangen werden, um den Betroffenen ein erleichtertes Einkaufserlebnis zu bieten.

Einkaufen mit VIRAS

Ein barrierefreies Einkaufen wird mit dem VIRAS Einkaufswagen möglich sein. Das autonome System ist mit einer Stereokamera sowie integrierten Spracherkennungs- und Sprachausgabefunktionen ausgestattet. Motorbetrieben wird der Einkaufswagen selbstfahrend. Dadurch soll zukünftig der Benutzer selbstständig zu den gewünschten Produkten geführt werden. Zur Gewährleistung der Sicherheit soll der Einkaufswagen den im Supermarkt befindlichen Personen sowie Hindernissen ausweichen. Die Stereokamera dient dabei nicht nur der 3D Kartierung des Supermarkts, sie identifiziert auch die Produkte sowie die Benutzerhand und leitet den Benutzer durch akustische Anweisungen zum Zielprodukt. Die Produkterkennung basiert dabei auf einer AI-Objekterkennung. Durch diesen innovativen Einsatz ist es nicht notwendig, den Barcode des Produkts zu scannen. Dadurch können diese unabhängig von ihrer Ausrichtung zuverlässig detektiert werden. Sollte ein Regal leer sein, kann der Benutzer darüber benachrichtigt werden.

Ein Einkaufsprozess für blinde und sehbehinderte Personen könnte dann wie folgt aussehen:

1. Lokalisierung des Einkaufswagens im Supermarkt durch akustische Signale.
2. Verbale Eingabe der Einkaufsliste.
3. Navigation zu den Produkten mit Ausweichen von Hindernissen oder Personen.
4. Anhalten des Wagens beim Erreichen des Produkts.
5. Produkterkennung mittels AI-Objekterkennung.
6. Akustische Benennung der Position des Produkts im Regal.
7. Handerkennung des Benutzers.
8. Akustische Hinweise zur Position der Benutzerhand relativ zum Produkt.
9. Akustische Bestätigung des Produktnamens, wenn der Benutzer das richtige Produkt ausgewählt hat.
10. Navigation zum nächsten Produkt oder zur Kasse.

Visionen

Das Projekt VIRAS strebt eine Reihe spannender Entwicklungen an. Darüber hinaus soll der Benutzerkreis erweitert werden. Neben blinden und sehbehinderten Menschen soll der Einkaufswagen Menschen mit eingeschränkter Mobilität unterstützen. Auch Personen ohne Einschränkungen können den VIRAS Einkaufswagen als Navigationshilfe verwenden, um Produkte schnell und effizient zu finden. Zudem sollen Funktionen zur Warenbestandskontrolle implementiert werden. Dazu gehört die Möglichkeit die Produktverfügbarkeit in Echtzeit abzurufen und auch Werbeaktionen können über den Einkaufswagen bereitgestellt werden.

►zurück zur Übersicht Projektliste