Hugging Face, die Open Source-Plattform für Künstliche Intelligenz (KI)

Hugging Face ist eine Open-Source-Plattform, auf der Künstliche Intelligenz (KI)-Modelle geteilt, weiterentwickelt und besprochen werden.

Dabei liegt der Fokus auf NLP - Natural Language Processing (Natürliche Sprachverarbeitung). Auch weitere Bereiche des Maschinellen Lernens (ML) wie beispielsweise Maschinelles Sehen (Machine Vision), Bestärkendes Lernen (Reinforcement Learning) oder Überwachtes Lernen (Supervised Learning) finden hier Beachtung.

Mehr zum Bereich des Maschinellen Lernens können Sie hier lesen.

Mit NLP ist es dem Computerprogramm möglich, menschliche Sprache zu verstehen und zu erzeugen. Aktuelle NLP-Ansätze beruhen auf maschinellem Lernen. Zu den NLP-Aufgaben gehören Textübersetzung, Analyse und die Spracherkennung. Ziel ist es, dass das menschliche Gegenüber mit dem Computer kommunizieren kann und durch Sprache Anweisungen erteilen kann.

Die Hugging Face Community verfolgt den Ansatz, "künstliche Intelligenz durch Open Source und Open Source zu fördern und zu demokratisieren", wie es auf der Website heißt.

Bis vor wenigen Jahren waren es hauptsächlich große Technologieunternehmen, wie Google oder Facebook, die mit eigens erschaffenen NLP-Modellen arbeiteten; heute arbeiten jene Tech-Giganten auch mit Modellen und Datensätzen von Hugging Face.

Immer wieder taucht der Vergleich mit "GitHub" auf - einer Software - Entwicklungsplattform. Sol soll Hugging Face das GitHub für Machine Learning werden oder bereits sein.

Hugging Face Inc. wurde 2016 von Clement Delangue, Julien Chaumond und Thomas Wolf gegründet. Das in New York ansässige Start-Up soll laut Schätzungen rund zwei Milliarden US-Dollar wert sein. Ein Lead-Investor war Lux Capital - eine Risikokapitalgesellschaft mit dem Schwerpunkt neue Technologie. Lux Capital investierte beispielsweise auch in Duck Duck Go oder Zoox.

Clement Delangue, CEO von Hugging Face, war davor unter anderem für Moodstocks tätig. Moodstocks, spezialisiert auf Computer Vision / Bildererkennung wurde im Jahr 2016 von Google übernommen. Zuvor gründete Delangue "VideoNot.es" - ihr Produkt: Ein Tool, das beim Abspielen von Videos automatisiert Notizen erstellt. 2023 investierte Delangue in "Scenario" - einem Start-up, das sich auf die Entwicklung von Anwendungen zur Modellierung von 3D-Objekten für das Metaverse spezialisiert hat.

Julien Chaumond war vor seiner Zeit bei Hugging Face als Software-Ingenieur bei Stupeflix tätig. Stupelix, ein Startup, das sich auf Videobearbeitung für Entwickler spezialisiert hat, wurde 2016 von GoPro gekauft. Zuvor war Chaumon Co-Gründer und CTO bei Glose - einer sozialen Leseplattform.

Essentiell für Hugging Face ist jedoch die Community. Data Scientists, KI-Ingenieure und Vertreter:innen anderer Fachbereiche kommen hier zusammen, um Ideen zu diskutieren, Unterstützung zu erhalten und an Open-Source-Projekten mitzuarbeiten.

Der Name leitet sich von dem Hugging Face-Emoji ab. Anfangs war Hugging Face eine App, in der Jugendliche mit einem Chatbot interagieren konnten. "Wir bauen eine KI, mit der es Spaß macht, sich zu unterhalten. Wenn man sich mit ihr unterhält, wird man lachen - es wird unterhaltsam sein", wird Delangue in einem Techcrunch-Artikel von 2017 zitiert.

Die Modelle, die für den Chatbot eingesetzt wurden, wurden von den Gründern veröffentlicht und die Idee einer Open-Source-Plattform für NLP-Modelle entstand.

Auf der Hugging Face-Plattform werden, nach eigenen Angaben, mehr als 120.000 Modelle, 20.000 Datensätze und 50.000 Demos im sogenannten "Hugging Face Hub" gehostet. "Der Hub fungiert als zentraler Ort, an dem jeder mit Open-Source-Maschinenlernen teilen, erforschen, entdecken und experimentieren kann", heißt es.

Die Modelle sind auf verschiedene Anwendungsbereiche ausgerichtet:

• NLP (bspw.Textgenerierung, Zusammenfassungen, Q&A, ...)

• Computer Vision (bspw. Bild-Klassifizierung und Segmentiertung, ...)

• Audio (bspw. Spracherkennung, Text-to-Speech...)

Die Transformer Library von Hugging Face ist eine Bibliothek für maschinelles Lernen, die eine breite Palette von vortrainierten Modellen für verschiedene Aufgaben im Bereich der natürlichen Sprachverarbeitung (NLP) bereitstellt.

Hinter Transformers (Transformatoren) stecken Sprachanalyse-Modelle, die die Beziehung zwischen Wörtern in einem Satz berücksichtigen und diese mit einer Wertung versehen.

Modelle wie GPT oder BERT wurden auf der Basis der Transformer-Technologie entwickelt.

Hier stellen Entwickler:innen ihre entwickelten Modelle vor. Sie können dort gehostet und mit der Community geteilt werden. Eine Art Portfolio der NLP, Computer Vision oder Audio-Modelle.

Eine weitere Funktion bei Hugging Face ist "Autotrain". Hier können Daten der Nutzer:innen hochgeladen werden, das System ordnet sie automatisch einem passenden Modell zu und trainiert es dann dahingehend. Im Video ist diese Funktion erklärt:

Die Interface-API ermöglicht es, Tausende von ML-Modellen über eine vollständig gehostete API zu integrieren. In der Pro-Version können bis zu 1000 API-Anfragen pro Sekunde unterstützt werden. Für Unternehmen gibt es eigens konfigurierte Packages.

Wie der Name bereits vermuten lässt, verbirgt sich hinter HuggingChat, ein KI-Chat-Interface. Der Konkurrent zum bekannten ChatGPT wurde gemeinsam mit der Non-Profit Organisation LAION und ihrem Model "Open Assistant" umgesetzt.

Wie auch ChatGPT soll HuggingChat auf Eingaben reagieren und beispielsweise Texte verfassen oder Codes schreiben.

HugginChat wurde 2023 lanciert und soll laut HuggingFace noch weiter ausgebaut werden.

Die Frage des Datenschutzes beantwortet HuggingFace auf ihrer Website wie folgt: " Hugging Face ist nicht Eigentümer der Modelle oder Daten, die Sie in den Hugging Face Hub hochladen. Hugging Face bietet Malware- und Pickle-Scans für den Inhalt des Modell-Repositorys an, wie für alle Elemente im Hub."

Zudem können Modelle als privat gekennzeichnet werden, wenn diese nicht mit der Öffentlichkeit geteilt werden sollen.

Des Weiteren heißt es - "Hugging Face speichert keine Kundendaten in Form von Payloads oder Token, die an den Inference Endpoint weitergeleitet werden. Wir speichern Protokolle für 30 Tage. Alle Inference Endpoints verwenden TLS/SSL, um die Daten während der Übertragung zu verschlüsseln."

Prinzipiell ist Hugging Face kostenlos zugänglich. Der Hub und die Transformers library sind kostenlos. Für Funktionen wie API, Autotrain oder andere Funktionen muss gezahlt werden. Die Preise variieren je nach Leistungsumfang.

Eine Übersicht zu den Preisen ist auf der Website abrufbar.

Neben indirekten Alternativen wie beispielsweise dem Unternehmen hinter ChatGPT "OpenAI", gibt es auch offensichtlichere Alternativen - eine Auswahl:

• NLTK

• Genism

• H20.ai

• AllenNLP