BẢN CHÉP ÂM THANH 🔗
WEBVTT
00:00:00.000 --> 00:00:01.840
Willkommen bei Hybrid Systems.
00:00:02.399 --> 00:00:05.759
Dem Podcast, in dem wir KI wirklich bauen.
00:00:06.320 --> 00:00:08.480
Wir arbeiten mit dem Dachsystem.
00:00:09.359 --> 00:00:14.160
Denken, Anwenden, Coden und Handeln.
00:00:27.519 --> 00:00:34.240
Hallo liebe Zuhörer, heute wieder eine neue Folge von Hybrid Systems.
00:00:35.280 --> 00:00:47.359
In diesem Zusammenhang wieder unter dem Motto KI und Infrastruktur befassen wir uns mit Open Web UI.
00:00:48.240 --> 00:00:57.359
Hallo Tim, wie funktioniert Open Web UI und was ist es überhaupt?
00:00:58.799 --> 00:00:59.840
Ja, hallo Klaus.
00:01:00.320 --> 00:01:20.159
Ja, Open Web UI ist im Prinzip, wenn ich als Firma insbesondere so etwas wie ChatGPT oder Claude, Krog, wie auch immer die ganzen Sprachmodelle heißen, selber hosten möchte, möchte ich ja auch für meine Mitarbeiter eine Benutzeroberfläche haben.
00:01:20.239 --> 00:01:22.239
Das heißt, es sieht so ähnlich aus.
00:01:22.319 --> 00:01:35.280
Ich habe da mein Eingabefeld, wo ich mal einen Prompt eingeben kann, kann auch verschiedene Projekte anlegen und dann im Prinzip dort mein Sprachmodell Fragen stellen, Aufgaben geben.
00:01:35.920 --> 00:01:39.280
Ähnlich wie ganz normal bei ChatGPT im Web.
00:01:39.680 --> 00:01:43.120
Einziger Unterschied ist in dem Fall natürlich, dass ich das selber hosten kann.
00:01:43.200 --> 00:01:46.319
Das heißt, OpenWeb UI ist auch eine Open-Source-Lösung.
00:01:46.480 --> 00:01:57.680
Ich kann das selber auf meinem Server zum Beispiel installieren und dann mit meinem Sprachmodell verknüpfen und dadurch im Prinzip alles selber gehostet lassen.
00:01:58.959 --> 00:02:11.039
Was ist nochmal für unsere Zuschauer und Zuhörer der Vorteil von einem selbstgehosteten ChatGPT nenne ich es jetzt mal, Tim?
00:02:11.199 --> 00:02:13.039
Erklärst du es Ihnen nochmal?
00:02:13.840 --> 00:02:32.879
Ja, also der ganz große Vorteil ist halt natürlich einmal die Thematik, die ich sowieso im Unternehmen habe, wenn es um Datenschutz geht, DSGVO, gleichzeitig auch noch die Thematik bezüglich ISO 27.001-Zertifizierung, MIS-2-Kritis, also kritische Infrastruktur.
00:02:33.039 --> 00:02:40.639
Ich möchte ja nicht, dass irgendein Konzern aus den USA oder wo auch immer der sitzt, meine Daten hat, insbesondere meine Firmendaten.
00:02:40.879 --> 00:02:43.520
Und da kommen wir auch zum ganz großen Vorteil.
00:02:43.919 --> 00:02:46.159
Ich kann mein Sprachmodell dadurch auch anlernen.
00:02:46.240 --> 00:03:06.639
Das heißt, ich kann beispielsweise, wenn ich große Datenbanken habe, kann ich diese hinterlegen in meinem System, beziehungsweise in meinem Sprachmodell, und kann dann gezielt Fragen stellen und bekomme sofort die Antwort, ohne jetzt irgendeine Access oder Excel-Tabelle aufmachen zu müssen, um da manuell zu suchen.
00:03:06.960 --> 00:03:11.120
Und genauso kann ich natürlich mein Sprachmodell auch dann füttern.
00:03:11.680 --> 00:03:20.000
Mit beispielsweise, ich habe eine Anwaltskanzlei und will jetzt hier von den letzten 20 Jahren alle Briefe, die ein- und ausgegangen sind, hinterlegen.
00:03:20.080 --> 00:03:23.520
Das ist technisch möglich, ist relativ aufwendig teilweise.
00:03:23.680 --> 00:03:32.719
Aber wenn man das einmal gemacht hat, hat man wirklich auch ein Sprachmodell, wo gezielt für meinen Anwendungsbereich und für meine Mitarbeiter konfiguriert ist.
00:03:32.800 --> 00:03:38.879
Das heißt, ich habe nicht einen Bauchladen, wo ich alles Mögliche fragen kann, das geht natürlich auch.
00:03:39.120 --> 00:03:51.280
Aber wenn ich diese spezifischen Anfragen stelle, die mein Unternehmen betreffen, beispielsweise, ich bin ein Anwaltsteuerberater, dann kann ich ihn ganz gezielt mit gewissem Inhalt füttern.
00:03:51.680 --> 00:03:54.639
Damit kann ich dann auch den Output um einiges verbessern.
00:03:54.800 --> 00:03:58.719
Und das ist etwas, was erstens die Qualität um einiges erhöht.
00:03:58.879 --> 00:04:07.039
Ich habe die ganzen Datenschutzthemen, ich habe die ganzen Daten bei mir im Unternehmen, ich weiß, wo alles liegt, das liegt alles in Deutschland.
00:04:07.199 --> 00:04:16.480
Man kann das theoretisch auch in-house machen, das heißt, ich muss jetzt keinen Server mieten, sondern ich kann das bei mir in der Firma zum Beispiel hosten, auf einem eigenen Server oder Computer.
00:04:16.720 --> 00:04:20.240
All das funktioniert und all das bietet halt gewisse Möglichkeiten.
00:04:20.399 --> 00:04:27.120
Es gibt jetzt schon viele große Konzerne, die nichts anderes machen wie das, was ich gerade beschrieben habe.
00:04:28.720 --> 00:04:43.199
Ihr eigenes ChatGPT, Cloud, wie auch immer es am Ende genannt wird, im Hintergrund läuft eines dieser Sprachmodelle, was dann selbst gehostet ist und im Prinzip dann mit den eigenen Unternehmensdaten gefüttert wird.
00:04:44.399 --> 00:04:49.120
Du hast gerade erwähnt, dass es eigene Datenbankenanbindungen gibt.
00:04:49.439 --> 00:05:02.319
Gibt es auch die Möglichkeit, sage ich jetzt mal, dass man einen internen SharePoint wie OwnCloud oder sonstiges benutzt und er dann diese Daten, also die Dateien dazu durchsucht?
00:05:02.560 --> 00:05:03.759
Gibt es das auch?
00:05:05.519 --> 00:05:06.879
Gibt es auch, ja.
00:05:07.120 --> 00:05:32.879
Da muss man auch immer unterscheiden, ich möchte ja nicht mein Sprachmodell jetzt mit Unterlagen füttern, wie zum Beispiel Personalakten, weil dann könnte theoretisch jeder x-beliebige Mitarbeiter, der Zugriff auf dieses Sprachmodell hat, könnte dann im Prinzip Abfragen stellen, die dann in meinem Sprachmodell beantwortet werden aufgrund der Datenlage, die ich habe.
00:05:32.959 --> 00:05:40.639
Das heißt, ich muss mir trotzdem schon Gedanken machen, welche Daten möchte ich und welche Daten kann ich ihm zur Verfügung stellen.
00:05:40.720 --> 00:05:43.120
Da gibt es auch Grenzen, die wir einhalten müssen.
00:05:44.879 --> 00:05:57.839
Und natürlich auch einfach diese ganze Thematik, wie ich es gerade schon beschrieben habe,
Load full transcript
gerade Personalakten oder auch vertragliche, wichtige Daten, wo jetzt nicht jeder Mitarbeiter vielleicht einen Zugriff drauf haben sollte.
00:05:58.000 --> 00:05:59.839
Da muss ich nochmal differenzieren.
00:06:00.079 --> 00:06:17.120
Aber gerade wenn ich jetzt zum Beispiel auch ein Planungsbüro habe, wo es um Handbücher geht, wo es um Richtlinien geht, all das kann ich dort hinterlegen und kann dann dafür sorgen, dass ich das Wissensspektrum meines Sprachmodells verbessere und gezielte Aufstelle.
00:06:18.480 --> 00:06:20.879
Das hört sich sehr interessant an, Tim.
00:06:21.439 --> 00:06:31.600
Schauen wir nochmal ein bisschen genauer in das Thema Absicherungen, wer darf welche Daten sich angucken.
00:06:31.839 --> 00:07:00.160
Gibt es eine Möglichkeit, dass man, ich sag mal so, dass die Personalabteilung, das ist eben erwähnt, zum Beispiel auch dieses, ich nenne es das jetzt mal ChatGPT, benutzt, um speziell in Personaldaten zu suchen und jemand anders aus einer Entwicklungsabteilung oder so kommt nicht daran, kann man das aufteilen oder muss man dann verschiedene Systeme aufbauen?
00:07:01.360 --> 00:07:02.800
Ja, das ist eine gute Frage.
00:07:02.879 --> 00:07:18.639
Also grundsätzlich, wenn man das machen möchte, dass ich jetzt zum Beispiel Personalakten, Dateien für meine Personalabteilung zugänglich mache für das Sprachmodell, dann würde ich auf jeden Fall empfehlen, ein separates System zu nehmen.
00:07:18.879 --> 00:07:22.959
Gleichzeitig würde ich aber aktuell tatsächlich davon abraten.
00:07:23.120 --> 00:07:27.920
Also das ist nicht ganz so einfach.
00:07:28.560 --> 00:07:41.360
Ich habe immer noch die Thematik, dass ich gewisse Zugriffsrechte vergeben muss, dass ich da wirklich ganz genau darauf achten muss, wer auf was Zugriff hat, damit solche Daten nicht missbraucht werden.
00:07:41.759 --> 00:07:46.160
Also da würde ich jetzt tatsächlich persönlich noch Abstand von nehmen.
00:07:46.319 --> 00:07:48.959
Ich würde das jetzt auch keinem empfehlen, das zu machen.
00:07:49.279 --> 00:07:58.240
Und erstmal auch ist es wichtig, damit überhaupt mal zu starten, weil es ist, es ist wie mit allem, die ganzen Kinderkrankheiten sind halt einfach noch da.
00:07:59.360 --> 00:08:04.879
Und deswegen empfehle ich auch wirklich, das grundsätzlich einzurichten.
00:08:05.040 --> 00:08:07.360
Das ist auch für die Mitarbeiter enorm hilfreich.
00:08:07.439 --> 00:08:17.120
Viele Mitarbeiter wünschen sich das auch, dass sie ihre E-Mails einfach da reinlagen können, damit da nochmal nach Rechtschreibfehlern geguckt wird und so weiter.
00:08:17.519 --> 00:08:28.959
Das merken wir sehr, sehr häufig, dass die Mitarbeiter wirklich da den Wunsch äußern, dass sie das haben möchten und wirklich auch querbet von allen Altersgruppen, mit allen Firmen, wo wir zusammenarbeiten.
00:08:29.199 --> 00:08:35.360
Und deswegen empfehle ich erstmal, da nicht auf so kritische Daten zu gehen.
00:08:35.519 --> 00:08:50.320
Also ich würde, wie gesagt, da wirklich auf Richtlinien gehen, auf Planungsunterlagen gehen, alle Daten, wo ich sagen kann, okay, das ist jetzt nicht kritisch, wenn das ein Mitarbeiter von mir doch bekommen kann.
00:08:50.960 --> 00:09:00.159
Also im Sinne von Personaldaten zum Beispiel, das ist wirklich ein Thema, da gerade bei uns in Deutschland, in Europa muss man da wirklich aufpassen.
00:09:01.120 --> 00:09:02.799
Gucken wir nochmal genauer.
00:09:03.039 --> 00:09:16.080
Wir sind gewohnt, dass wir in ChatGPT oder anderen Grog sonstigen Chatbots, sage ich jetzt mal, auch Dateien direkt reinladen können in einen spezifischen Chat.
00:09:16.320 --> 00:09:20.399
Gibt es diese Möglichkeiten auch bei diesem System?
00:09:24.080 --> 00:09:24.879
Ja, absolut.
00:09:24.960 --> 00:09:25.679
Also das geht.
00:09:25.759 --> 00:09:40.399
Ich kann da wirklich, wie gesagt, wie vorhin schon gesagt, ich kann Projekte erstellen, ich kann auch ein einzelnes Gespräch zu einem Thema führen und starte dann eine neue Session, damit ich dann wieder von null im Prinzip anfange, kann dann auch wieder hinherspringen.
00:09:40.559 --> 00:09:49.440
Also das ist wirklich vom Aufbau her und von der Art und Weise her identisch wie jetzt zum Beispiel mit Chat-GPT oder anderen Sprachmodellen.
00:09:50.799 --> 00:10:05.600
Das heißt, der Vorteil eigentlich ist, wenn man nur eine Chat-Funktion haben will, dann würde man sich einfach mit Oyama oder mit Lama rein theoretisch ein Sprachmodell lokal hinsetzen.
00:10:05.840 --> 00:10:12.720
Hier ist der Riesenvorteil, dass man auch auf Firmendaten zugreifen kann und die durchsuchbar macht.
00:10:12.799 --> 00:10:15.360
Ist das erstmal soweit korrekt, Themen?
00:10:16.799 --> 00:10:19.919
Ja, also ich muss nicht Firmendaten freigeben.
00:10:20.320 --> 00:10:21.039
Das ist kein Muss.
00:10:21.200 --> 00:10:29.759
Ich kann auch einfach selbst gehostetes Modell laufen lassen, auch mit einer relativ guten Leistung, wo einfach die Mitarbeiter nutzen können.
00:10:29.840 --> 00:10:33.600
Ob ich da jetzt Firmendaten hinterlege oder nicht, das ist erstmal irrelevant.
00:10:33.679 --> 00:10:43.840
Also es geht einfach reino um das Thema, alles, was dort reinkommt, also alles, was ich an Input gebe, bleibt bei mir.
00:10:44.080 --> 00:10:49.679
Und nicht auf irgendeinem Server, wo ich keinen Zugriff drauf habe, wo ich nicht weiß, was mit den Daten passiert.
00:10:49.919 --> 00:10:51.200
Das ist auch immer so eine Sache.
00:10:51.440 --> 00:11:13.679
Wenn man diese ganzen Sprachmodelle, die es online zur Verfügung gibt, also jetzt zum Beispiel ChatGPT online in der kostenlosen Version benutzt und dort einen Vertrag hochlädt, Bilder hochlädt, egal was, dann stimmt man automatisch auch zu, dass im Prinzip OpenAI oder welche Firma auch immer dahinter steckt, diese Daten verwenden darf.
00:11:13.759 --> 00:11:30.559
Das heißt, sie können mit den Daten, die wir als kostenlose Nutzer hochladen oder in unserem Sprachmodell im Prinzip eingeben, können sie arbeiten, können diese verwerten,
können damit ihr Sprachmodell anlernen.
00:11:30.720 --> 00:11:32.960
Und das ist ja das, was ich als Firma gar nicht möchte.
00:11:33.120 --> 00:11:48.240
Ich möchte nicht, dass ein von mir erstellter Plan oder technische Zeichnung oder ein Vertrag, was auch immer, von irgendeinem amerikanischen Konzern verwendet wird, um dort wirklich auch Übungen oder Verbesserungen an einem Sprachmodell vorzunehmen.
00:11:48.399 --> 00:11:49.600
Das möchte ich nicht.
00:11:49.759 --> 00:12:00.960
Und aus dem Grund haben wir auch grundsätzlich bei eigentlich allen Kunden, die das auch wollen oder das im Prinzip nicht wollen, diese ganzen Sprachmodelle, die es gibt, im Prinzip gesperrt.
00:12:01.039 --> 00:12:08.720
Das heißt, über die ganzen Firmengeräte kann man nicht auf die Seite von ChatGPT gehen, kann man nicht auf die Seite von Grog gehen.
00:12:08.799 --> 00:12:18.879
Das haben wir alles gesperrt, damit die Nutzer wirklich nur das eigene Sprachmodell benutzen, das eigene LLM, damit man da keine Probleme hat.
00:12:19.200 --> 00:12:22.879
Dem schauen wir noch mal ein bisschen weiter hinein.
00:12:23.600 --> 00:12:28.000
Im Moment ist die Fähigkeit begrenzt auf Chats.
00:12:28.480 --> 00:12:42.000
Es ist nicht die Möglichkeit da, ein Agent-System wie Chlorebot oder wie Hermes oder so auf diesem System aufzubauen oder es sogar zu verwinden intrinsisch in dem System.
00:12:42.080 --> 00:12:43.919
Ist das soweit korrekt?
00:12:45.440 --> 00:12:48.480
Also in der Variante, wie ich es jetzt erklärt habe, nein.
00:12:48.799 --> 00:12:50.639
Theoretisch wäre es aber möglich.
00:12:50.799 --> 00:12:54.320
Ich könnte das durchaus machen.
00:12:54.559 --> 00:12:57.759
Das würde ich aber auch heutzutage noch nicht empfehlen.
00:12:58.000 --> 00:13:09.120
Also sprich, dieses Zugänglichkeit von Agenten wie Klobot oder Hermes für Mitarbeiter, für mehrere Mitarbeiter, würde ich auf keinen Fall machen.
00:13:09.440 --> 00:13:11.840
Das ist zu gefährlich.
00:13:11.919 --> 00:13:19.120
Ich weiß nicht, was da passiert, was die Mitarbeiter vielleicht auch mit bösen Absichten machen können oder ungewollt machen können.
00:13:19.440 --> 00:13:22.559
Ich will das jetzt auch gar nicht bewerten, aber das würde ich nicht machen.
00:13:22.799 --> 00:13:32.159
Was man machen kann, das wäre aber dann serverseitig, dass man eine Prüfung von Daten zum Beispiel durch einen Agenten machen lässt.
00:13:32.240 --> 00:13:45.759
Das heißt, ich habe einen Agenten, der überwacht meinen SharePoint oder auch meinen Online-Cloud-Speicher und prüft im Prinzip alle Dateien, die hochgeladen werden, auf den Namen.
00:13:45.919 --> 00:13:51.440
Weil ich sage, ich möchte immer, dass jede Datei nach dem gleichen Schema beschriftet wird.
00:13:51.679 --> 00:14:05.759
Das heißt, wenn da zum Beispiel ganz am Ende immer das Datum stehen soll, dann möchte ich, dass mein Agent im Hintergrund das prüft und dann im Prinzip die Datei nochmal umbenennt, damit da alle Parameter vorhanden sind.
00:14:05.919 --> 00:14:07.919
Da sind so Kleinigkeiten, die man machen kann.
00:14:08.000 --> 00:14:15.919
Das ist dann wieder so ein relativ eingeschränkter Radius, wo sich der bewegen kann und bewegen darf.
00:14:16.399 --> 00:14:24.639
Aber direkte Kommunikation oder direkte Aufgaben von Mitarbeitern, von mehreren Mitarbeitern insbesondere, das würde ich auf keinen Fall empfehlen.
00:14:25.759 --> 00:14:31.840
Gucken wir nochmal auf eine andere Seite des gesamten Systems.
00:14:32.320 --> 00:14:47.120
Open Web UI ist im Endeffekt eine Art Oberfläche, die dann umsonst, also sprich Open Source Sprachmodelle lokal einfach zur Verfügung stellt.
00:14:47.279 --> 00:14:49.519
Also eine komplette Umgebung.
00:14:50.080 --> 00:14:58.720
Und wie schnell ist das System auf einem normalen Rechner, sage ich jetzt mal, den du dafür als geeigneter ansiehst?
00:14:59.600 --> 00:15:01.600
Ja, also da müssen wir wieder unterscheiden.
00:15:01.679 --> 00:15:04.480
Also lokal würde ich das auch nie zur Verfügung stellen.
00:15:04.559 --> 00:15:14.320
Ich würde das immer so machen, dass man im Prinzip einen Server zum Beispiel hat, Henster bietet das an, wo ich wirklich auch große Sprachmodelle drauf installieren kann.
00:15:15.200 --> 00:15:33.600
Damit im Prinzip alle Mitarbeiter, kommt natürlich immer auf die Größe darauf an, wie viele Leute müssen darauf zugreifen, aber alle Mitarbeiter greifen dann im Prinzip über meine Schnittstelle Open Web UI auf das Sprachmodell, das ich auf einem separaten Server installiert habe.
00:15:33.679 --> 00:15:44.799
Also die Variante, dass ich das, dass das geht, dass ich das im Prinzip auf den Geräten von den Mitarbeitern installiere, das würde technisch gehen, aber das wäre nicht der Ansatz.
00:15:44.879 --> 00:15:58.720
Also der Ansatz wäre tatsächlich wirklich zu sagen, okay, ich habe einen Server, wo mein Sprachmodell ist, Open Web UI als Schnittstelle und jeder, der in OpenWeb UI was eingibt, das wird auf meinem eigenen Server verarbeitet und dann wieder ausgegeben.
00:15:59.360 --> 00:16:18.720
Das heißt, es hört sich im Endeffekt so an, als ob auch die Performance eines Open Web UI mit einem lokalen anderen Sprachsystem, was du lokal betreibst, sprich auf einem Server betreibst oder auf einem Hosting-System betreibst, äquivalent ist.
00:16:18.799 --> 00:16:22.080
Oder hast du da, wie sehen da die Erfahrungen aus?
00:16:22.879 --> 00:16:30.720
Ja, genau, also das kommt natürlich darauf an, wie viel Leistung mein Server hat, wie groß die Sprachmodelle sein können, aber das ist in der Tat der Fall.
00:16:30.960 --> 00:16:49.840
Ich kann da wirklich heutzutage sowieso mittlerweile sehr große Sprachmodelle drauf installieren, die jetzt vielleicht nicht mit den Top-Modellen mithalten können, die dann auch teilweise 200, 300 Dollar pro Nutzer im Monat kosten von den großen Anbietern.
00:16:50.080 --> 00:17:02.159
Aber ich sag mal so, alle Sprachmodelle, die es vor drei, vier Monaten gab, die kann ich in einer Top-Qualität und in einer schnellen Antwortzeit darüber laufen lassen.
00:17:03.120 --> 00:17:06.079
Das hört sich ja schon mal sehr, sehr gut an.
00:17:06.480 --> 00:17:09.440
Tim, noch eine letzte Frage.
00:17:09.680 --> 00:17:12.799
Die Installation von Open Web UI.
00:17:13.039 --> 00:17:17.039
Wie kompliziert ist das Ganze, das zu installieren?
00:17:19.039 --> 00:17:22.000
Ja, das kommt immer drauf an, was ich für Anforderungen habe.
00:17:22.079 --> 00:17:23.920
Also wir machen das grundsätzlich immer so.
00:17:24.160 --> 00:17:42.079
Wir haben Open Web UI auf einem Server, wo man wirklich dann nur die Benutzeroberfläche hat und werden dann im Prinzip auf einem separaten Server, den wir nach außen komplett gesperrt haben, der lediglich über ein internes Netzwerk mit dem Open Web UI Server kommunizieren kann.
00:17:42.240 --> 00:17:47.519
Das heißt, ich habe keine Möglichkeit, von außen auf diesen Server zuzugreifen.
00:17:47.920 --> 00:18:02.000
Das Einzige, was passieren kann, ist wirklich, dass OpenWeb UI über eine interne Firewall oder interne Verknüpfung im Prinzip auf diesen zweiten Server zugreift, um dort dann den Datenaustausch stattfinden zu lassen.
00:18:02.160 --> 00:18:07.039
Da muss man auch immer schauen, wir sichern OpenWeb UI zum Beispiel auch immer mit einer VPN ab.
00:18:07.119 --> 00:18:16.079
Das heißt, nur die Geräte, die die VPN installiert haben, können auf dieses Open Web UI, auf diese Domain zugreifen.
00:18:19.039 --> 00:18:19.920
Vielen Dank.
00:18:20.079 --> 00:18:34.160
Ich glaube, wir haben einen guten Überblick gegeben, was OpenWeb UI leisten kann, was es für Performance-Werte hat und was die Vorteile des Systems sind.
00:18:34.640 --> 00:18:41.200
In einem weiteren Episode werden wir bald über das Thema VPN nochmal speziell sprechen.
00:18:41.440 --> 00:18:47.519
Ich danke unseren Zuhörern für das Anhören dieser Episode.
00:18:47.680 --> 00:18:48.559
Bis zum nächsten Mal.