Mobile Bildverarbeitung:
Wie Sie die Bildverarbeitung in mobilen Apps für Ihr Business nutzen!

Meeting

Die mobile Bildverarbeitung hält Einzug in viele Geschäftsbereiche. Schließlich bietet die Bildverarbeitung auf mobilen Geräten verblüffende Anwendungsfälle, die das Leben der Benutzer bequemer und Prozesse effizienter machen.

Aber wie funktioniert die Technologie dahinter? Und was kostet eine App für die mobile Bildverarbeitung? Wir zeigen Ihnen die neuen Chancen der mobilen Bildverarbeitung in 5 spannenden Praxis-Beispielen und werfen einen Blick auf die Programmierung mit OpenCV.

Auf dieser Seite finden Sie:

OpenCV & Microsoft Azure

Was kostet die mobile Bildverarbeitung?

Ihre App Agentur Incloud

Inhaltsverzeichnis

Die mobile Bildverarbeitung kommt nach Hause

Die maschinelle Bildverarbeitung, also die Verarbeitung und Interpretation von Bilddaten, wird schon sehr lange eingesetzt - vor allem in der Industrie. In den industriellen Fertigungshallen arbeiten Roboterarme mit Kameras und Sensoren Hand in Hand mit dem Menschen zusammen. Ein Paradebeispiel für die modernisierte Standardfertigung in vielen Bereichen der Industrie.

Doch die industrielle Bildverarbeitung erobert seit geraumer Zeit, fernab der schnellen Laufbänder und tanzenden Roboter, die Smartphones und wandelt sich so zur mobilen Bildverarbeitung. Durch die mobilen Endgeräte eröffnen sich immer wieder neue Geschäftsgebiete, die in der Form vorher noch nicht denkbar waren.

War vor einigen Jahren noch sehr teure und komplexe Spezialhardware nötig, um etwas zu messen, überprüfen oder zu erkennen ist das heute anders.

Smartphones werden immer leistungsfähiger und sind für immer mehr Aufgaben geeignet, die früher Spezialhardware machen musste. Und die Smartphone-Kameras können qualitativ längst mit den teuren Kameras in den Fertigungshallen mithalten.

Wussten Sie dass es bereits 2008 einen Barcodescanner als Betaversion im Android Market (heute Google Play) gab? Zu dieser Zeit war das revolutionär. Und die Revolution war gekommen um zu bleiben: mit echtem Nutzen. Das Können der Apps ist mittlerweile sehr facettenreich. Es gibt (fast) nichts was eine App nicht kann.

Moderne Smartphones und passende bildverarbeitende Apps ermöglichen Anwendungsfälle, die vor Kurzem vielleicht noch undenkbar waren. Wir nehmen Sie mit auf eine Reise durch die spannenden Möglichkeiten und zeigen Ihnen, wieso die mobile Bildverarbeitung für Sie ungeahnte neue Chancen bedeutet.

Das ist Anna
"Die Entwicklung zeigt, dass Apps die industrielle Bildverarbeitung als mobile Bildverarbeitung zum Endnutzer nach Hause bringen."
Anna Grabiec, Entwicklerin bei Incloud Engineering

Die nicht-industriellen-Branchen wachsen

„Kreative Einsatzmöglichkeiten gibt es jedes Jahr aufs Neue: Lebensmittelerkennung ohne Barcode im Supermarkt, Schienenüberwachung in der London Underground, Garnelensortierung auf dem Fischkutter – die Bildverarbeitung erweist sich als echter Alleskönner und hat längst unseren Alltag erobert!“
Dr. Olaf Munkelt, Geschäftsführer MVTec und Vorsitzender des VDMA (Industrielle Bildverarbeitung)
Das ist Olaf

Die mobile Bildverarbeitung alias "der Alleskönner" hat sich bereits als äußerst erfolgreich erwiesen: 24 Prozent - so hoch war der Anteil der nicht-industriellen-Branchen in der europäischen Bildverarbeitungsindustrie bereits im Jahr 2015. Tendenz steigend.

Eine Technologie für den Menschen

Nur Technologie, die den Menschen erreicht, ist sinnvoll. Genau das schafft die mobile Bildverarbeitung, und zwar auch außerhalb der vier Wände der Fabrikhallen.

"Optimierung von Verkehrsströmen, den perfekten Swing fürs Golfspiel, Training von Ärzten, Überprüfung von Muttermalen, Mülltrennung und Recycling - Bildverarbeitung nützt uns allen!"

Aber wie sieht die sinnvolle Nutzung der mobilen Bildverarbeitung in unserem Alltag aus? Lassen Sie uns fünf Mini-Geschichten von verschiedenen Personen erzählen, wie die mobile Bildverarbeitung ihr Leben und Arbeiten verändert hat.

Wir haben die neuen spannenden Möglichkeiten der mobilen Bildverarbeitung in Beispielanwendungen gepackt, um besonders stark die Betonung auf den sinnvollen Nutzen zu legen. Vielleicht erkennen Sie sich in der einen oder anderen Situation sogar wieder. Beginnen wir unsere Reise bei Lara - der Laborassistentin.

Technologie für den Menschen

Die mobile Bildverarbeitung in der Praxis

Labor

1. Labor - der Laborschalen-Stand

Laborassistentin Lara bereitet täglich Untersuchungsproben für Analysen vor und legt Nährböden für Pilz- und Bakterienkulturen an. Eigentlich muss Lara den aktuellen Stand jeder einzelnen Laborschale manuell dokumentieren. Aber das muss doch schneller und effizienter gehen, oder? Um schneller und effizienter den aktuellen Stand der Laborschalen zu erfassen und zu dokumentieren, kann die mobile Bildverarbeitung Lara unterstützen.

Das Labor hat einen eigens generierten Marker-Code, der einem QR-Code ähnelt. Der Marker-Code verhindert, dass ein Unbekannter den Code scannen und lesen kann - wie eigentlich bei einem normalen QR-Code gewünscht. Lara scannt den Marker-Code, loggt sich mit ihren persönlichen Daten ein und macht über die App ein Foto von einer Laborschale. Die App analysiert mit breiter Brust die Kultur, wertet sie aus und liefert der Laborassistentin alle relevanten Informationen zum aktuellen Stand der Schale. Zudem wird das Dokumentieren der Laborschale mit einem Datum und einer Uhrzeit versehen, um rückwirkend nachvollziehen zu können, ob Lara vorschriftsmäßig gearbeitet hat.

Die mobile Bildverarbeitung erspart Lara manuelles abtippen, dass sie gerade an der Probe gearbeitet hat und speichert alle gesammelten und wichtigen Informationen zu einer Laborschale ab.

2. Farberkennung - der richtige Ton

Die richtige Wandfarbe finden? Puh - eine kleine große Herausforderung für den Malermeister Konstantin. Denn: Seine Kunden haben bereits einige Räume in Altrosa gestrichen. Nur ist das schon eine Weile her und Konstantins Kunden können ihm nichts mehr über die verwendete Farbe sagen. Ein teures Farbmessgerät ist für Konstantin wirtschaftlich nicht sinnvoll - zu teuer und der Einsatz in seinem kleinen Betrieb dafür viel zu selten. Ohne ein teures Farbmessgerät stößt Konstantin auf der Suche nach dem exakten Farbwert schnell an Grenzen.

Die Farbfächer in den Baumärkten sind meist verblasst und abgenutzt. Außerdem ist das Licht in den Baumärkten oft kalt - ganz anders wie bei seinen Auftraggebern zu Hause. Dort erfüllt ein wohlig warmes Licht die Räume. So wirkt das Altrosa je nach Lichtverhältnissen völlig verschieden. Für Konstantin also kein leichtes Unterfangen exakt die gleiche Farbe zu finden, um letztlich seine Kunden glücklich zu machen.

Doch auch hier ist die mobile Bildverarbeitung eine Lösung, die für Konstantins Malerbetrieb wirtschaftlich viel mehr Sinn. Statt ein teures Spezialgerät zu verwenden, setzt Konstantin lieber auf eine günstigere Alternative: einen Farbchart mit einer zugehörigen App. Den Farbchart hat er bei einem Hersteller bestellt und die dazugehörige App auf sein Smartphone geladen.

Das Smartphone wird so quasi zum "farbverbindlichen Farbmessgerät". Konstantin hält den Chart an die altrosafarbige Wand, macht ein Foto über die App mit seinem Smartphone und die Software ermittelt den exakten Farbwert. Entweder Konstantin bestellt die Farbe direkt über die Shopintegration in der App oder er geht mit dem Farbrezept in den Baumarkt seiner Wahl und lässt das Altrosa mischen. Verblasste Farbfächer und zwei verschiedene Farbtöne gehören der Vergangenheit an. Im Handumdrehen hat Konstantin sein Smartphone in ein Farbmessgerät verwandelt, Kosten reduziert und seine Kunden glücklich gemacht.

Air NorthSea

3. Dokumentenmanagement - Air NorthSea

Damit die Abwicklung der Rücksendungen der Airline Air Northsea schneller und effizienter verlaufen, setzt die Airline auf die mobile Bildverarbeitung. Michael ist ein Mitarbeiter eines Subcontractors vor Ort und scannt die Frachtpapiere mit seinem Smartphone über die passende App ein und übermittelt die Daten direkt an das Abwicklungssystem der Airline - nachdem eine Fotodokumentation über den Zustand des Pakets gemacht wurde.

Nicht nur, dass die Airline unmittelbar nach dem Scannen die wichtigen Informationen der Frachtpapiere erhält, auch Informationen über das "Wer, wann und wo" werden übermittelt und erleichtern so rückwirkend die Sendungsverfolgung. So gibt es keinen toten Winkel und der gesamte Prozess ist nachvollziehbar.

4. Anti Piracy - der Fälschung auf der Spur

Es gibt quasi für jedes Originalprodukt zig Fälschungen auf dem Markt. Sehr zum Leidwesen der Hersteller sind die Fälschungen mittlerweile so gut, dass es für das menschliche Auge schwer zu erkennen ist, ob es sich um das Original oder um eine Fälschung handelt. Um Fälschungen schnell und einfach zu entlarven, gibt es auch in der mobilen Bildverarbeitung Maßnahmen gegen Urheberrechtsverletzungen und Fälschungen.

Fälschungsfahnder Pablo soll für einen großen Sportartikelhersteller auf die Suche nach gefälschten Waren gehen. Um direkt vor Ort die Waren zu testen, hat der Zoll ein Softwareunternehmen mit der Entwicklung für eine mobile Bildverarbeitung beauftragt.

Und so funktioniert die entwickelte App für den Zoll: Pablo entnimmt eine Probe von der Ware. Anschließend kommt die Probe in eine spezielle Flüssigkeit. Nach wenigen Augenblicken gibt Pablo die Flüssigkeit auf einen Teststreifen. Mit der dazugehörigen App macht er ein Foto vom Teststreifen und die Software wertet den Streifen automatisch aus. Pablo erhält so schnell und sicher die entscheidenden Informationen: Handelt es sich um eine Fälschung oder ein Original?

Anti Piracy

5. OCR - Energiezähler ablesen leicht gemacht

Das Jahr ist verflogen und die Ziffern des Stromzählers haben sich fleißig gedreht. Heidi wird von ihrem Energieversorger dazu aufgefordert, den Stromzähler abzulesen und die Daten an sie zu übermitteln. Sie hat zwei Möglichkeiten wie sie die Daten an ihren Energieversorger übermittelt.

Möglichkeit A und organisatorisch nicht immer ganz so einfach: Heidi macht einen Termin mit einem Außendienstmitarbeiter zum Ablesen ihres Stromzählers aus. Möglichkeit B: Heidi nutzt schnell und einfach die App vom Energieversorger. Bevor Heidi ihren Zählerstand checkt, meldet sie sich in der App mit den Daten zu ihrem Haushalt an. Mit der App macht Heidi dann ein Foto vom Stromzähler. Die App verarbeitet das Bild, scannt es wie einen QR-Code ab und erkennt die Zeichen: 628845 Kilowattstunden. Heidi checkt, ob die App richtig gearbeitet hat und übermittelt noch in der App die Daten an ihren Stromversorger.

Diese 5 Anwendungsfälle sind nur ein Blick durchs Schlüsselloch, aber sie zeigen, welche Vorteile die mobile Bildverarbeitung für verschiedene Geschäftsbereiche erzielt. Und es ist eine Technologie, die den Menschen erreicht. Doch eine Frage bleibt: Schweben die Daten in einer sicheren Cloud umher oder bleiben sie lokal auf dem Gerät?

Die ewige Frage: Cloud oder Gerät?

Cloud oder Gerät?

Mobile Bildverarbeitung ist hungrig nach Prozessorleistung - die Algorithmen sind komplex und brauchen Zeit, um Bilder auszuwerten. Daher stellt sich bei vielen Anwendungsfällen die Frage: Wird das Bild schon direkt auf dem Smartphone verarbeitet, oder doch lieber über das Internet in eine Cloud gesendet und dort verarbeitet?

Neben der Antwort auf diese Frage gibt es noch die Mischform aus beiden Welten: Hier werden Schlüsselreize lokal auf dem Smartphone erkannt und dann das Bild, das den Reiz auslöste, in die Cloud übermittelt.

Lassen Sie uns kurz eine kleine Kursänderung in die Haushalte vieler Menschen vornehmen, um Ihnen die Mischform anhand der Sprachassistentin Alexa zu zeigen. Die mobile Bildverarbeitung und der blinde Lautsprecher funktionieren über Reize.

Was für die Bildverarbeitung Marker oder andere feste, leicht erkennbare Reize sind, sind für Alexa Hotwords.

Bis ein Schlüsselreiz, in Alexas Fall ein Hotword, lokal auf dem Sprachassistenten erkannt wird, überträgt Alexa keine Daten in die Cloud.

Würde Alexa die ganze Zeit über die Cloud verbunden auf das Hotword warten, wäre ihre Reaktion viel zu langsam. Zudem wären die übertragenen Datenmengen immens und für Amazon nicht wirklich wirtschaftlich. Deshalb vernetzt sich Alexa erst mit der Cloud, wenn der Schlüsselreiz lokal aktiviert wurde.

Der ausschlaggebende Faktor, weshalb die mobile Bildverarbeitung Cloud-Anbindungen braucht, sind die begrenzten Rechenleistungen der Smartphones.

Manche Anwendungen benötigen für ihre Funktionalität eine aufwendigere Rechenleistung und Verarbeitung, die eine Cloud voraussetzen.

Außerdem geht die Entwicklung serverseitiger Software schneller für den Entwickler. Das wirkt sich positiv auf die Kosten aus - sie sind schlicht und ergreifend geringer.

Sicher ist bei Ihnen, wenn Sie den Begriff "Cloud" hören, das Thema Sicherheit rot blinkend vor Ihrem inneren Auge erschienen. Machen Sie sich keine Sorgen - eine professionelle App Agentur, die Ihre mobile Bildverarbeitung entwickelt sorgt für eine sichere Cloud. So sind Ihre Daten garantiert sicher.

Sie sehen: Es kommt immer auf den Anwendungsfall an, ob die Verarbeitung lokal auf dem Gerät passiert oder serverseitig über eine sichere Cloud.

Das ist Anna
"Es kommt immer darauf an, was die App machen soll. Die Erkennung von den Dokumenten kann problemlos auf dem Handy durchgeführt werden. Die exakte Erkennung von Text ist hingegen anspruchsvoller, sodass die Nutzung der Cloud mehr Sinn macht. Oder man definiert nur ein paar "Codewörter", die sich in einem bestimmten Bereich des Dokuments befinden, um den Text zu erkennen - dann braucht man keinen Server zur Berechnung."
Anna Grabiec, Entwicklerin bei Incloud Engineering

Die Programmierung mit OpenCV

Bildverarbeitung ist ein aufwendiges Thema, wenn man es von Grund auf programmieren will. Gleiches gilt für die mobile Bildverarbeitung in Apps. Für die meisten Projekte wäre dies unnötig und auch ganz schön teuer. Zum Glück gibt es bereits fertige Module, auf denen aufgebaut werden kann: die Open Source Programmbibliothek bietet für Computer Vision Entwickler eine große Auswahl bereits vorgefertigter CV-Funktionen, auf denen die eigenen Anwendungen aufgebaut werden können. OpenCV ist die führende Bibliothek für Bildverarbeitung und maschinelles Sehen. Ein kleiner Überblick:

  • OpenCV verfügt über mehr als 2500 Algorithmen.
  • Programmiert wird in den Programmiersprachen C, C++ und Python.
  • OpenCV verfügbt über Java Schnittstellen und
  • unterstützt Windows, Linux, Mac OS, iOS und Android.

Gewissermaßen stellt OpenCV Bauklötze zur Verfügung, die vom Entwickler noch in den passenden Kombinationen zusammengesetzt werden müssen. Eine große Erleichterung im Vergleich dazu, die Bauklötze auch noch selbst schreinern zu müssen - aber trotzdem noch eine ausreichend herausfordernde Aufgabe für Experten.

Die Verwendung dieser Module bedeutet nicht, dass der OpenCV Entwickler nur noch die Module in den Quellcode der App integriert und sich gemütlich zurücklehnt. Ganz im Gegenteil: Der Entwickler muss noch dafür sorgen, dass die eigentliche Bildverarbeitung funktioniert und die Algorithmen das tun, was für den jeweiligen Anwendungsfall nötig ist.

OpenCV wird in die App eingebettet und funktioniert daher direkt auf dem Smartphone - eine Internetverbindung ist nicht nötig. Zusätzlich gibt es noch eine andere Art von Arbeitserleichterung für CV Entwickler: Einige Hersteller bieten mächtige Computer Vision Funktionssammlungen an, sogenannte APIs.

Sie werden über das Internet mit Daten gefüttert und können dann die geballte Power der Cloud verwenden, um die Bildverarbeitung zu berechnen.

Anhand einiger Beispiele wollen wir Ihnen zeigen, was die OpenCV-Algorithmen leisten können und wozu moderne Cloud-APIs in der Lage sind. Hierzu zeigen wir Ihnen ein paar Beispiele, die auf den Cognitive Services von Microsoft basieren.

Den Verkehr mit OpenCV tracken

Kommt Ihnen folgende Situation bereits bekannt vor? Sie haben Ihr Auto im Parkhaus geparkt, bezahlen den Parkschein und fahren in Richtung Ausfahrt. Gerade als Sie das Fenster öffnen wollen, geht die Schranke hoch. Völlig verdutzt halten Sie aber noch den Parkschein in der Hand. Wie geht das?

Ein genauerer Blick auf den Parkschein verrät es Ihnen: Ihr Kennzeichen steht auf dem Parkschein. Und sobald das Auto an der Schranke steht, erkennt die Kamera Ihr Kennzeichen und weiß, dass Sie bezahlt haben - oder eben nicht. Ein kleiner Flashback: Diese Erkennung funktioniert genauso wie bei Heidi im Keller mittels Optical Character Recognition.

Und so funktioniert's: Als Erstes wird die Position der einzelnen Ziffern und Buchstaben des KFZ Schildes bestimmt. Dazu sind eine Menge an Bildverarbeitungsschritten notwendig z.B. Thresholding (Schwellenwertverfahren), Bestimmung der Gradient Magnitude, Durchführung von morphologischen Operationen und Konturerkennung. Diese sind im Image Processing Toolenthalten (imgproc).

Sind die potentiellen Ziffern und Buchstaben identifiziert, kann die eigentliche Zuordnung der erkannten Objekte erfolgen. Dazu werden die erkannten Objekte mit den Buchstaben- und Ziffervorlagen verglichen z.B. mit dem Template Matching Algorithmus aus dem OpenCV Image Processing Modul. Andere nützliche Algorithmen lasen sich im Machine Learning Modul finden.

Mit den fertigen Modulen (wie z.B. Object Detection oder 2D Features Framework) in OpenCV ist es für den Entwickler möglich, ein beliebiges Objekt zu detektieren und zu verfolgen. In diesem Beispiel werden Autos erkannt, verfolgt und ihre Geschwindigkeit gemessen.

So funktioniert's: Die Geschwindigkeit der Fahrzeuge wird in zwei Schritten bestimmt. Als Erstes werden ausreichend viele markante Punkte (feature Point) des Fahrzeugs gewählt. Diese Punkte müssen in den zwei nachfolgenden Frames erkannt werden. Im zweiten Schritt kann mit Hilfe der Verschiebung der feature points der Geschwindigkeitsvektor bestimmt werden.

Gesichtserkennung mit OpenCV

Was Snapchat an die Spitze katapultierte und Instagram in kürzester Zeit ebenfalls in ihr App-Repertoire aufnahm, ist die Gesichtserkennung. Der eigentliche Clou daran: die Filter, die in den sozialen Netzwerken fast schon Kultstatus erreichen konnten. Die Gesichtserkennung ist schon längst ein fester Bestandteil in unseren Kameras, Smartphones und Apps - doch den wenigstens ist es wirklich bewusst. Irgendwann existierte eben dieses Quadrat, das ständig um unsere Gesichter schwebt.

So auch bei Facebook. Laden wir ein Bild hoch erkennt Facebook die Gesichter der Personen auf dem Bild. Fährt man nun mit der Maus in Richtung Gesicht, erscheint das altbekannte Quadrat mit der Aufforderung "Gib einen Namen ein", um die Person mit ihrem Facebook-Profil zu markieren. Facebook ist wie ein neuronales Netz - nur möchte Facebook möglichst viel von einer Person vernetzen. Und um Gesichter überhaupt wiedererkennen zu können, ist genau das nötig. Denn nur mit möglichst vielen Daten kann der Algorithmus dazulernen und trainiert werden, um besser zu werden.

Es gibt verschiedene Verfahren der Gesichtserkennung und auch Nachteile:

Merkmalbasierter Ansatz Holistischer Ansatz Probleme beider Verfahren
Einzelne Merkmale (features) werden aus dem Gesicht extrahiert
und können anhand dieser Merkmale klassifizeirt werden
Das komplettte Gesicht wird betrachtet:
  • Template Matching
  • Eigenface-Methode
  • geometrische Merkmale
  • verschiedene Lichtquellen
  • Ausrichtung des Kopfes
  • Verdeckung
  • Veränderung durch Haare, Bart, Brille oder Makeup

Weitere hilfreiche OpenCV-Module: Object Detection, 2d Features Framework, Face Recognizer.

Bevor wir Ihnen trocken erzählen wie die Gesichtserkennung mit OpenCV im Detail funktioniert, halten wir es für viel spannender das in 3 Schritten anhand von Snapchat zu machen. Obwohl die mobile Bildverarbeitung bei Snapchat eher in die Kategorie "Spaß" fällt, lässt sich die Funktionsweise der Gesichtserkennung anhand der Snapchatfilter ganz gut erklären. Hinter den spaßigen Snapchatfiltern steckt: Computer Vision und so funktioniert's!

Haar-Cascade

Mobile Bildverarbeitung in Snapchat: Schritt 1

Snapchat verwendet die Viola-Jones-Methode. Diese Funktionsweise ist gleich zur Haar-Cascade Detection in OpenCV. Diese Methode ist ein maschinell lernender Algorithmus. Aber woher weiß der Algorithmus, was ein Gesicht ist und was nicht?

Er wurde mit zig Positivbildern (mit Gesichtern) und Negativbildern (ohne Gesichter) trainiert. Wie ein heranwachsender Mensch, der Millionen von Bildern wahrnimmt und so lernt, was er sieht. So hat auch der Algorithmus gelernt, dass die meisten Gesichter ähnliche Proportionen haben und er weiß, dass e.g. die Augenregion meist dunkler als die Stirn ist.

Das wissen wir in Form von sogenannten Haar Features, denn diese beschreiben die Helligkeitsunterschiede in einem bestimmten Bereich. Jedes Haar Feature ist als Differenz der Summe der Pixel in den weißen und schwarzen Boxen definiert. Dabei wird die Größe und Position der Boxen variiert, so dass bei einem 24x24 Pixel großem Bild 160000 feature definiert werden. Jedoch sind die meisten Haar Features irrelevant und können aussortiert werden (z.B. mit Addaboost Algorithmus aus dem Machine Learning Modul).

Mobile Bildverarbeitung in Snapchat: Schritt 2

Nachdem nur die relevanten Haar Features übrig sind, hat der Algorithmus zwar ein Gesicht erkannt, aber das war nur Schritt eins. Der zweite Schritt ist das Face Morph. Das System wurde mit ganz vielen verschiedenen Bildern von unterschiedlichen Personen mit unterschiedlichen Proportionen trainiert.

So ermittelt der Algorithmus Erkennungspunkte eines durchschnittlichen Gesichtes. Er weiß, dass die Augen, die Nase und der Mund quasi bei jedem Menschen an der gleichen Stelle positioniert sind, und setzt die Punkte auf das Gesicht in der Kamera. Klar, dass der Durchschnittswert nicht 1A auf das neue Gesicht passt.

Deshalb werden die Punkte angepasst - wieder durch die Suche nach Helligkeitsunterschieden. Erleichtert wird das durch das Wissen des Algorithmus: Durch das Training mit den Beispielbildern weiß er,wie bspw. ein Mund aussieht.

So kann er die Punkte an das Gesicht anpassen. Stimmen die Punkte mit dem Gesicht überein, werden die Punkte als Koordinaten verwendet und über ein Gitternetz miteinander verbunden. Es entsteht eine 3D Maske, welche sich mit dem Gesicht bewegt, rotiert und skaliert. Et voilà - der Monokel ist da.

Snapchatfilter
Snapchat Ad

Mobile Bildverarbeitung in Snapchat: Schritt 3

Klingt ziemlich nach der neuesten Technologie, aber falsch: Diese Technologie ist ganz und gar nicht neu. Sie wurde bereits 2001 entwickelt. Neu und bedeutend ist nur die Ausführung in Echtzeit und dass diese enorme Rechenleistung auf einem mobilen Endgerät möglich ist. Sie fragen sich jetzt sicher: All das nur um sich des Spaßes willen einen Monokel und Falten auf das Gesicht kleben zu lassen?

Fast - in der Werbeflut, die uns täglich übergießt, ist es für Werbetreibende schwer, ihre Botschaft an den Mann zu bringen. Stattdessen nutzen sie Snapchat und plakatieren ihre Werbung einfach auf die Gesichter der Nutzer. Werbung an den Mann gebracht und die Mission der Werbetreibnden ist erfolgreich erfüllt.

Vor Kurzem startete ein Pilotprojekt zur Gesichtserkennung am Berliner Bahnhof Südkreuz. Wie weit können Personen im öffentlichen Raum identifiziert werden? Genau das testet die Bundespolizei und die Deutsche Bahn über einen Zeitraum von sechs Monaten.

Testgrundlage sind Fotos und Daten der 275 Personen, die sich freiwillig für das Pilotprojekt gemeldet haben. In der Realität sollen so später Personen, nach denen gefahndet wird, mit der Datenbank abgeglichen und schnellstmöglich festgenommen werden. Ein Anwendungsfall der so zukünftig möglicherweise Leben retten kann.

Die Programmierung mit Microsoft Azure

Neben den fertigen OpenCV-Modulen bietet der Cognitive Service von Microsoft Azure insgesamt sieben fertige Lösungen für die Bildverarbeitung an und erleichtert dem Entwickler so die Entwicklung. Eine dieser sieben Lösungen ist die fertige Gesichtserkennung-API. Zum einen kann das Modul die Wahrscheinlichkeit ermitteln, ob es sich auf zwei Bildern um dieselbe Person handelt, zum anderen kann die API noch vieles mehr:

  • Gesichtsbestimmung,
  • Suche nach ähnlichen Gesichtern und
  • Gesichtsgruppierung.
  • Aber eine Erkennung ist erstaunlich: Emotionen erkennen und zwar aus dem Bild heraus kann die Emotionen-API 9 verschiedene Emotionen mit einem Wert von 0,000 bis 1,000 deuten.

Klingt erstaunlich? Testen Sie es selbst:

Programmierung
Videoinhalte erkennen

1. Videoinhalte erkennen und verfügbar machen

Die herkömmliche Videoindizierung ist meist teuer und durch die manuelle Indizierung häufig durch die menschliche Fehleinschätzung fehleranfällig. Zudem ist die herkömmliche und manuelle Indizierung sehr zeitaufwendig. Der Video Indexer von Microsoft Azure hingegen ermittelt automatisch gesprochene Worte und erkennt den Text in der Präsentation, welche im Hintergrund läuft.

On top liefert der Video Indexer eine Gesichts- und Emotionserkennung aus dem Video heraus. Hat die Person im Video positiv, neutral oder negativ gesprochen? Auch hier liefert der Video Indexer solide Ergebnisse. So ermöglicht der Video Indexer bspw. die Suche nach einer Person und jedes ihrer gesprochenen Worte zu einem bestimmten Thema in einer z.B. aufgezeichneten Präsentation.

2. Videoinhalte ein Echtzeit analysieren

Wenn Sie dachten, dass die Video Indexer API schon ein ziemlich nettes Ding ist, dann ist die Maschinelles Sehen-API mindestens genauso cool. Dahinter steckt ein neuronales Netz, welches auf eine Vielzahl von Bildern trainiert wurde und so Videos in Echtzeit analysiert und nahezu fehlerfreie Ergebnisse liefern kann.

Als wäre das nicht genug, kann die API auch handschriftlich Text aus Bildern erkennen. So erspart man sich nicht nur Müheloses abtippen, sondern auch Papier und kann so gleichzeitig etwas für die Umwelt tun und die Effizienz steigern.

Videoinhalte analysieren

Was kostet die mobile Bildverarbeitung?

App Kosten

Die Kosten der mobilen Bildverarbeitung hängen stark vom Aufwand und der Komplexität ab. Wie so oft gilt: Nach oben sind keine Grenzen gesetzt. Aber durch die Verwendung der Open Source Bibliothek OpenCV oder der Cloud-Services von Azure lassen sich die Kosten reduzieren.

Nichtsdestotrotz ist die Entwicklung nicht günstig, da sie sehr aufwendig ist. Deshalb hängen die Kosten einer App-Entwicklung für die mobile Bildverarbeitung stark von den vielen unterschiedlichen Variablen ab:

  • dem Zweck der App
  • der Komplexität der App
  • dem Testaufwand mit verschiedenen Testszenarien
  • der Nutzung fertiger Lösungen wie dem Microsoft Azur Cloud-Service.

Die mobile Bildverarbeitung ist ein wahrer Alleskönner. Mit OpenCV oder dem Cognitive Service von Microsoft Azure lässt sich Erstaunliches programmieren. Eben eine Technologie für den Menschen, die uns allen nützt. Ob Qualitätsprüfung, optische Zeichenerkennung oder Anti Piracy - die Anwendungsgebiete der mobilen Bildverarbeitung verbessern Prozesse, macht sie günstiger und sicherer.

Ihre App Agentur Incloud

Wer erzählt Ihnen das hier eigentlich? Incloud zählt zu den führenden Enterprise App Agenturen Deutschlands. Mit Sitz in Darmstadt entwickeln wir seit 2007 Enterprise Apps für Mobile und Web.

Wir leben die App-Entwicklung und setzten alles daran Sie und Ihr App-Projekt sicher zum Erfolg zu führen und sehen Sie als langfristigen Projekt-Partner - auf transparenter Vertrauensbasis. Schnittstellen-Reibereien, die durch mehrere Dienstleister auftreten können? Keineswegs - Bei uns bekommen Sie alle Komponenten Ihres Systems aus einer Hand. Wir entwickeln Ihre Apps und das Backend. Ihr App-Projekt liegt in den Händen der besten Grafiker, Projektmanager und Informatikern.

Quality made in Germany - 100% made in Darmstadt: Durch unsere professionellen Prozesse und unser Qualitätsmanagement geben wir Ihnen die nötige Sicherheit, damit Ihre App erfolgreich umgesetzt wird. Wir schulen Ihre Entwickler für fundiertes Know-how, denn Ihr Projekt wird immer Ihnen gehören. Vertröstete Projekte? Wir halten Ihre Deadlines. Versprochen.

Incloud Team
Xamarin Partner
Kununu Top Company
Atlassian Codegeist 2015 Winner
Gefördert vom BMBF

Ein kleiner Auszug der Früchte unserer Arbeit:

arvato Bertelsmann AG
Ströer Digital Publishing GmbH
Jung von Matt / Alster
Döhler
GEA
TECHKON GmbH
REFA Group
EL
BHM
Andreas Leonhardt

Die Incloud GmbH hat für das Bankhaus Main ein Wertpapierbuchhaltungssystem entwickelt, welches für die gesamte Bank (Markt und Marktfolge) einen großen Mehrwert aufwies.

Wir haben das Incloud Team während des gesamten Prozesses als sehr qualifiziert und hoch motiviert kennen gelernt.

-- Andreas Leonhardt, CFO Bankhaus Main
Christian Pfeil

Die hervorragende konzeptionelle Kompetenz und das technische Know-how im Mobile-Bereich haben uns überzeugt.

Zuverlässigkeit, Kreativität und Praxisbezug – das bringe ich mit Incloud in Verbindung. Vielen Dank an ein sehr motiviertes Team und weiterhin auf gute Zusammenarbeit!

-- Christian Pfeil, Döhler Group
Carl Kuhn

Incloud hat schnell gearbeitet, stets mitgedacht und war unkompliziert im Umgang. Klare Empfehlung!

-- Carl Kuhn, Jung von Matt/Alster
Manfred Stroh

Die Incloud GmbH begleitet uns seit vielen Jahren als außerordentlich kompetenter Entwicklungspartner bei unseren Web-, Mobile- und App-Projekten.

Unsere Ideen und Vorgaben wurden stets kreativ, anforderungsgerecht und zuverlässig umgesetzt. Vielen Dank für den immer zeitnahen Support.

-- Manfred Stroh, REFA Bundesverband e.V.
Michael Dobers

Incloud hat erstklassige Arbeit geleistet. Mit ihrer methodischen Kompetenz haben sie uns bei Spezifikation und Entwicklung auf einen Weg gebracht, der mit einer Punktlandung bei angebotenem Aufwand und angebotener Funktion endete. Die Kommunikation war immer direkt, ehrlich und konstruktiv.

Dank an ein motiviertes Team mit Spaß an seiner Arbeit!

-- Dr. Michael Dobers, GEA Farm Technologies

Kundenstimmen

GEA Farm Technologies

Incloud hat erstklassige Arbeit geleistet. Mit ihrer methodischen Kompetenz haben sie uns bei Spezifikation und Entwicklung auf einen Weg gebracht, der mit einer Punktlandung bei angebotenem Aufwand und angebotener Funktion endete. Die Kommunikation war immer direkt, ehrlich und konstruktiv.

Dank an ein motiviertes Team mit Spaß an seiner Arbeit!

-- Dr. Michael Dobers, GEA Farm Technologies

Jung von Matt

Incloud hat schnell gearbeitet, stets mitgedacht und war unkompliziert im Umgang. Klare Empfehlung!

-- Carl Kuhn, Jung von Matt/Alster

Bankhaus Main

Die Incloud GmbH hat für das Bankhaus Main ein Wertpapierbuchhaltungssystem entwickelt, welches für die gesamte Bank (Markt und Marktfolge) einen großen Mehrwert aufwies.

Wir haben das Incloud Team während des gesamten Prozesses als sehr qualifiziert und hoch motiviert kennen gelernt.

-- Andreas Leonhardt, CFO Bankhaus Main
s
Unser kleines Geschenk:
Incloud Ping

Unser Newsletter informiert Sie alle 2 Monate über unsere Ansichten zu den relevantesten digitalen Themen.

Wir langweilen Sie nicht und liefern Ihnen mit jedem Ping einen kleinen digitalen Aha-Moment. Ihre Zeit ist wertvoll, wir werden sie nicht verschwenden. Versprochen.

Jetzt abonnieren! Spannend, gratis & jederzeit abmeldbar. Was gibt es da schon zu verlieren?