Mouser German Blog

Welche Auswirkungen hat die Verlagerung der KI an die Edge?

Im letzten Blog haben wir uns eine Reihe überzeugender Argumente für die Verlagerung der KI an den Netzwerkrand angesehen. In diesem Teil beschäftigen wir uns mit der Frage, welchen KI-Anwendungen dieser Ansatz wirklich zugutekommt. Ein Überblick über die Gründe für die Implementierung der KI an der Network Edge kann uns als Ausgangspunkt dienen und uns einige gute Hinweise geben. Prüfen Sie, ob einer der folgenden Punkte auf das Projekt zutrifft:

• Fehlender Zugang zu einer schnellen, stabilen Netzwerkverbindung
• Das Produkt arbeitet in einer beschränkten Umgebung
• Das Projekt erfordert Echtzeit-KI
• Das Budgets ist begrenzt

Welche spezifischen KI-Projekte könnten angesichts dieser Faktoren durch die Anwendung der ML-Modelle an der Edge erleichtert werden?

Virtuelle Assistenten 

Wie so oft hat  Apple  mit der Einführung von Siri im Jahr 2010 einen Trend gesetzt.  Dies ebnete den Weg für viele andere virtuelle Assistenten, die bekanntesten unter ihnen Alexa von Amazon und Google Assistant. Virtuelle Assistenten lassen die Sprachsteuerung im Science-Fiction-Stil Wirklichkeit werden. Sie funktionieren folgendermaßen:

1. Der Anwender spricht ein Aktivierungswort aus oder aktiviert den Sprachassistenten. Bei freistehenden Geräten wie Amazon Echo wartet das Gerät kontinuierlich auf das Aktivierungswort und verarbeitet dieses lokal mit Hilfe eines einfachen Sprachmustervergleichs. Aus diesem Grund erkennt Alexa nur bestimmte Aktivierungswörter wie Alexa, Amazon, Echo und Computer.
2. Nun verbindet sich das Gerät mit einem cloudbasierten Server und sendet die erhaltenen Spracheingaben. 
3. Der Cloud-Server führt ein ML-Modell zur Spracherkennung aus, um die Spracheingaben in einen NLP-Block zu übersetzen.
4. Der Text wird mittels Natural Language Processing analysiert, um den Sinn zu extrahieren. 
5. Der Server ermittelt, was angefordert wurde, und sendet die entsprechenden Befehle oder Inhalte an das Gerät zurück. 

Es ist unschwer zu erkennen, wie sich dieser Vorgang durch eine Verlagerung der ML-Modelle an die Edge verbessern ließe. Der Sprachassistent wäre reaktionsfähiger, bräuchte keine Internetverbindung und könnte von einer integrierten Sprachsteuerung profitieren. Allerdings könnte die gewünschte Anwendung selbst eine Netzwerkverbindung erfordern, zum Beispiel Musikstreaming-Dienste.

Gesichtserkennung 

Die Gesichtserkennung gehört zu den Anwendungen im Bereich der Künstlichen Intelligenz, die ein äußerst schnelles Wachstum verzeichnen. Die Technologie befindet sich noch in der Entwicklung, musste jedoch schon eine Reihe von Schwierigkeiten meistern. So stand die Gesichtserkennungssoftware Amazon Rekognition beispielsweise vor zwei Jahren mit Kontroversen und Rassismusvorwürfen in Verbindung. Das System hatte fälschlicherweise 28 Mitglieder des US-Kongresses die ethnischen Minderheiten angehören, als bekannte Kriminelle identifiziert, nachdem es mithilfe von 25.000 Fotos trainiert worden war¹. 

2019 zeigte eine frühe Versuchsphase der größten Polizeibehörde Großbritanniens, Metropolitan Police, auf, dass die Gesichtserkennungstechnologie in  81 % der Fälle fehlerhaft funktionierte. Modernste Gesichtserkennungssysteme arbeiten hingegen weitaus genauer. Anfang dieses Jahres gab die Metropolitan Police bekannt, dass sie  die Technologie einsetzen werde , um bei Großveranstaltungen nach bekannten Unruhestiftern zu suchen. 

In vielen Anwendungsfällen, die eine Gesichtserkennung erfordern, muss die Technologie nahezu in Echtzeit arbeiten. Daher sind Anwendungen darauf angewiesen, ML-Modelle an den Netzwerkrand zu verlagern. Das neue System der Metropolitan Police basiert auf der Gesichtserkennung NEC NeoFace Watch, die völlig eigenständig und in Echtzeit arbeitet. NEC richtet sich mit seiner Technologie an verschiedene weitere Märkte, darunter der Einzelhandel, Firmenveranstaltungen, Festivals und andere Großveranstaltungen sowie das Transportwesen. 

Echtzeit-Überwachung

In Branchen wie der Schwerindustrie oder dem Bergbau kommen ausgesprochen große und teure Maschinen zum Einsatz. Bei einem unvorhergesehenen Maschinenausfall könnten entsprechende Unternehmen Millionen verlieren. Viele Bergbaubetriebe sind beispielsweise auf riesige Hochleistungspumpen angewiesen, die dafür sorgen, dass die Schächte wasserfrei bleiben und den abgebauten Schlamm zur Aufbereitungsanlage pumpen. Sollte eine dieser Pumpen einen katastrophalen Ausfall erleiden, kommt der gesamte Betrieb zum Erliegen. Bergbauunternehmen investieren daher beträchtliche Summen in KI-Systeme, die potenzielle Ausfälle vorhersagen können, bevor sie auftreten. 

Aktuell basieren diese Systeme häufig auf der Übermittlung von Daten durch IoT-Sensoren, die an den Geräten angebracht sind. Diese Daten werden an einer zentralen Stelle verarbeitet, erforderliche Warnungen werden an den entsprechenden Anwender zurückgesendet. Bergwerke und Baustellen erstrecken sich jedoch oftmals über viele Kilometer, nicht selten auch in unzugänglichem Gelände. Eine Integration des ML-Modells direkt in das Edge-Gerät würde den gesamten Prozess daher vereinfachen. 

Was ist erforderlich, um KI- und ML-Modelle an der Edge auszuführen?

Für die Verlagerung der KI an die Network Edge sind drei Voraussetzungen zu erfüllen: geeignete Hardware, moderne Tools und ein neues Paradigma für die Erstellung von ML-Modellen. Sehen wir uns diese Anforderungen nun im Detail an.

Optimierte Hardware

Wie bereits erwähnt, stützen sich ML-Modelle häufig auf eine große Anzahl paralleler Vorgänge. Um es ganz offen zu sagen: Sie benötigen enorme Rechenleistung. Allerdings sind immer Kompromisse zwischen Rechenleistung und Stromverbrauch nötig. Damit ML-Modelle an die Edge verlagert werden können, sind Systeme erforderlich, die möglichst wenig Strom verbrauchen. Dies gilt umso mehr für Embedded Systeme. Zum Glück gibt es heute eine große Auswahl an hochleistungsfähigen MCUs mit geringem Stromverbrauch.

Geeignete Tools

Darüber hinaus ist eine geeignete Toolchain für die Ausführung von ML-Modellen auf Mikrocontrollern erforderlich. Die überwiegende Zahl der ML-Frameworks ist für die Ausführung auf 64-Bit-CPUs von Intel oder auf GPUs ausgelegt. Im Unterschied dazu haben alle geeigneten Mikrocontroller eine 32-Bit-RISC-Architektur, wie die MCUs der ARM Cortex-Serie. Dank der Entwicklung von ML-Frameworks wie TensorFlow Lite können ML-Modelle jedoch auf solchen MCUs ausgeführt werden. 

Einmal modellieren, überall einsetzen 

Der letzte Schritt umfasst ein neues Paradigma für die Erstellung und Ausführung von ML-Modellen, das sich mit dem Satz „Einmal modellieren, überall einsetzen“ zusammenfassen lässt. Und es bedeutet im Wesentlichen genau das: Man erstellt ein Modell, im Allgemeinen mit einem leistungsstarken ML-optimierten Rechner. Anschließend wird dieses mit der Toolchain in Code umgewandelt, der auf jedem Mikrocontroller ausgeführt werden kann. Leider entfällt dadurch natürlich die Möglichkeit, von Continual Learning oder Reinforcement Learning zu profitieren.

Kompromisse 

Die folgende Tabelle bietet eine Übersicht über einige der Abwägungen, die bei der Ausführung von ML-Modellen an der Edge zu treffen sind. Hoffentlich hilft sie Ihnen bei der Entscheidung, ob Sie Ihr nächstes KI-Projekt an die Edge verlagern sollten oder nicht.

Schlussfolgerungen

Die Verlagerung von ML-Modellen an die Edge ermöglicht neue Anwendungsfälle für die KI, was wiederum zu einer Embedded-KI-Revolution führen könnte. Die Grundlage für den Ausbau dieser Technologie ist die Entwicklung der MCU-Hardware und der Tools, die für den Betrieb von ML-Modellen auf diesen MCUs erforderlich sind. Wenn Sie mehr über KI-fähige MCUs erfahren möchten, besuchen Sie die Mouser-Microsite TensorFlow Lite.