Mit Michael Greth über Small Language Models und Larg Language Models

WEBVTT
00:00:04.599 --> 00:00:09.060
Hallo und herzlich willkommen zum Podcast DECODE.AI.
00:00:09.800 --> 00:00:12.939
Willkommen zu unserer aktuellen Episode.
00:00:13.880 --> 00:00:18.440
Und bevor wir reingehen in den Inhalt, begrüße ich auch Ralf.
00:00:18.440 --> 00:00:19.140
Hallo Ralf.
00:00:20.000 --> 00:00:21.079
Servus Michael.
00:00:21.079 --> 00:00:25.320
Sehr ungewohnt irgendwie jetzt einfach mal wieder in Deutsch unterwegs zu sein.
00:00:26.995 --> 00:00:44.914
Ja und das hat einen guten Grund, denn wir haben heute einen deutschen Gast bei uns, der ganz viel über AI in letzter Zeit macht, spricht und uns etwas auch ganz Spannendes mitgebracht hat.
00:00:44.914 --> 00:00:48.515
Das soll als kleiner Cliffhanger schon mal ausreichen.
00:00:49.429 --> 00:00:52.630
Und damit starte ich mit der Verwirrung.
00:00:52.630 --> 00:00:57.590
Wir werden nämlich jetzt demnächst zwei Michaels hier in dem Podcast mit drin haben.
00:00:57.850 --> 00:00:59.090
Herzlich willkommen, Michael
00:00:59.090 --> 00:00:59.770
Kretz.
00:01:00.049 --> 00:01:01.890
Ja einen wunderschönen Tag Servus Michael.
00:01:02.170 --> 00:01:04.489
Ja, schönen Dank, dass ich bei euch sein kann.
00:01:04.629 --> 00:01:06.109
Und hallo liebe Zuhörer.
00:01:07.030 --> 00:01:11.950
Wir freuen uns, dass du dir die Zeit nimmst und mit uns über AI sprechen wirst.
00:01:12.930 --> 00:01:22.790
Damit wir dich so ein bisschen kennenlernen können, vielleicht erzählst ein kleines bisschen, wer du bist, was du machst und wie du vielleicht auch Richtung AI gekommen bist.
00:01:23.430 --> 00:01:24.450
Ja, gerne.
00:01:24.450 --> 00:01:40.459
Also Michael Gret, ich lebe und wohne in Berlin, komme aus Berlin, bin als Berater rund um Microsoft-Technologien seit höchsten Jahren unterwegs und insofern eine relativ lange Historie Ja Das mich mit dem Thema Computer beschäftigt.
00:01:40.459 --> 00:01:43.679
Meinen ersten Computer habe ich tatsächlich noch selbst zusammengelötet.
00:01:43.780 --> 00:01:49.138
Und insofern spannt sich da der Bogen mittlerweile bis hin zum Thema AI.
00:01:49.500 --> 00:01:54.079
Zwischendurch lag eine ziemlich lange Story, die was mit SharePoint zu tun hatte.
00:01:54.560 --> 00:02:01.118
Denn ich habe zusammen mit anderen am Beginn der 2000er Jahre die ganze SharePoint Community aufgebaut.
00:02:01.198 --> 00:02:10.944
Und wir waren halt 25 Jahre lang mittlerweile fast schon Jetzt zum Thema SharePoint, Microsoft und dann später natürlich Microsoft 365 unterwegs.
00:02:11.085 --> 00:02:17.604
Und meine Zielgruppe war immer, Technologie zu vermitteln, meinen Kunden zu sagen, was sie damit machen können.
00:02:17.745 --> 00:02:27.504
Und für mich aber auch persönlich immer tatsächlich noch einen Blick hinter die Kulissen zu werfen, zu sehen, ich muss nicht alles verstehen, aber ich muss zumindest irgendwie einen Eindruck davon bekommen, wie was funktioniert.
00:02:27.504 --> 00:02:29.705
Und seit, wie lange ist es jetzt?
00:02:29.705 --> 00:02:35.425
18, 19 Monaten, als dann plötzlich ChatGPT auf den Markt kam, war ich natürlich auch erstmal skeptisch weil...
00:02:35.985 --> 00:02:49.104
Welchen Sau wird jetzt wieder durchs Dorf getrieben, habe dann aber tatsächlich gesagt, okay, ich gucke mir das mal an, eine Stunde davor gesessen und dachte mir, oh mein Gott, dass ich das noch miterleben darf, da kommt ja was ganz Tolles auf uns zu.
00:02:49.305 --> 00:02:59.025
Das hat man einfach so mit der Erfahrung sofort im Gefühl und sagt, okay, das ist etwas, nochmal was völlig anderes und bisher nicht enttäuscht worden.
00:02:59.145 --> 00:03:05.939
Ganz im Gegenteil das, was so vorangeht ist super spannend, allerdings auch ziemlich Also wie heißt es schön?
00:03:06.000 --> 00:03:11.639
Exhausting, weil es extrem schnell geht, man so viele Informationen verarbeiten muss.
00:03:11.659 --> 00:03:18.079
Aber ja, und deshalb freue ich mich, dass ich auch heute hier sein kann und ein bisschen über das Thema AI reden kann.
00:03:18.079 --> 00:03:21.299
Aber ich sage mal so, für den Hausgebrauch sage ich immer.
00:03:21.299 --> 00:03:22.819
Also, was habe ich persönlich davon?
00:03:22.819 --> 00:03:24.379
Was mache ich persönlich damit?
00:03:24.579 --> 00:03:33.079
Und was kann ich aus meinen Erfahrungen an die Zuhörer weitergeben, damit sie vielleicht einen besseren Einstieg und einen besseren Blick hinter die Kulissen bringen?
00:03:34.979 --> 00:03:38.099
Das finde ich mega spannend, was du da gerade gesagt hast.
00:03:38.099 --> 00:03:47.840
Vor allen Dingen, Michael, dass du gerade in Berlin bist, weil hinter mir befindet sich gerade das Ortsschild Berlin und auf Wiedersehen Berlin.
00:03:48.060 --> 00:03:49.759
Ich fahre gerade nach Hause.
00:03:49.939 --> 00:03:54.060
Das hätte ich ein bisschen früher spannen sollen, dass wir so nah beieinander waren jetzt eine Woche.
00:03:54.219 --> 00:04:03.694
Ich habe nämlich gerade ein AI-Training gegeben hier in Berlin bei einem prominenten rosa-roten Unternehmen Finde ich mega spannend.
00:04:04.375 --> 00:04:08.334
Ich werde öfter in Berlin sein und freue mich dich dann auch persönlich mal zu treffen.
00:04:08.554 --> 00:04:12.234
Aber super spannende Themen und auch die Historie finde ich mega gut.
00:04:13.594 --> 00:04:33.043
Ja, also ich habe dem Micha vorhin schon gesagt, dass immer hier vor mir auf meinem Tisch vor meiner Kamera, da liegt immer so ein kleiner Transistor, weißt du, so ein BC-547 ist es glaube ich, kleines halbrundes Ding mit drei Beinchen und daneben liegt immer mein Smartphone Was ungefähr acht Milliarden davon drin hat.
00:04:33.043 --> 00:04:39.464
Und das hilft mir dann immer noch mal zu verstehen, was ist eigentlich mit der Technik im Hintergrund los?
00:04:39.464 --> 00:04:41.184
Das macht so neugierig.
00:04:42.663 --> 00:04:49.983
Jetzt ist der Sprung von SharePoint zu AI doch schon relativ groß.
00:04:50.264 --> 00:04:56.764
Du hast gesagt, du willst gerne reinschauen, was da alles dahintersteht, was da alles so mitgeht.
00:04:56.925 --> 00:05:01.485
Was sind denn deine Erkenntnisse aus den letzten 18, 19 Monaten?
00:05:02.545 --> 00:05:04.625
Oh, das ist eine ganze Menge.
00:05:04.625 --> 00:05:09.165
Also ich sage mal, um es mal ein bisschen zusammenzufassen, also es ist eigentlich eine natürliche Weiterentwicklung.
00:05:09.165 --> 00:05:12.725
Es hat auch sehr viel mit SharePoint und Microsoft 365 mit Teams zu tun.
00:05:12.725 --> 00:05:18.185
Es geht einfach darum, wie ich mit IT im alltäglichen Leben umgehe.
00:05:18.185 --> 00:05:25.384
Also wo ich meine Daten speichere, wo ich meine Informationen bekomme, wie ich mit anderen zusammenarbeite, Informationen teile.
00:05:25.404 --> 00:05:26.564
Eine lange Story.
00:05:26.805 --> 00:05:40.225
Ich hole immer gerne meine ersten Folien aus dem Jahre 2001 mal hervor, wo drauf stand, SharePoint ist eine Plattform, wo wir alle gemeinsam an Daten arbeiten können, eine zentrale Ablage vorfinden und gemeinsam Daten mit uns teilen.
00:05:40.225 --> 00:05:52.964
Diese Folie kann ich jeden Tag wieder auflegen, was immer noch bis heute ein nicht relativ komplett gelöstes Problem ist und habe ich auch schon mal gemacht, dann habe ich einfach SharePoint durch Office 365 ausgetauscht hat schon gepasst.
00:05:52.964 --> 00:05:55.964
So, insofern ist das eine Natürliche Weiterentwicklung.
00:05:55.964 --> 00:06:09.904
Und für mich war eigentlich der Killerpunkt an ChatGPT, der herauskam, war für mich einfach, wow, dieses Sprach dieses Thema Spracherkennung Sprachverarbeitung und Sprachausgabe.
00:06:09.944 --> 00:06:12.444
Das heißt, ich konnte plötzlich mit...
00:06:12.839 --> 00:06:23.639
Einer IT, meinem Rechner, meinem Programm, was auch immer, oder in diesem Fall mit dem Chatbot, ich konnte in natürlicher Sprache einfach sagen, hey, kannst du mir mal bitte fünf Titel für meinen nächsten Podcast geben?
00:06:23.699 --> 00:06:28.180
Und dann hat er mir entsprechend fünf Titel rausgegeben und wenn er gut war, hat er noch gefragt.
00:06:28.180 --> 00:06:30.800
Also ich kann ganz normal mit Sprache kommunizieren.
00:06:30.800 --> 00:06:34.459
Ich brauche keine Tastatur, ich brauche keinen Monitor, ich brauche keinen Touchscreen.
00:06:35.040 --> 00:06:48.413
Insofern ist für mich so, die Killer-Funktionalität ist einfach, Dass das wie Tastatur Maus oder das Touchscreen nochmal ein anderes Kommunikationsmedium Umgangsmedium mit IT ist.
00:06:48.413 --> 00:06:52.233
Und das hat sich jetzt in den letzten 18 Monaten absolut bewährt.
00:06:52.233 --> 00:06:59.714
Insbesondere habe ich jetzt mal Schätzen gelernt, dass ich mit Chat-GPT auf dem Smartphone ja auch so richtig interaktiv reden kann.
00:06:59.894 --> 00:07:18.644
Und wenn ich dann mal ein bisschen zum Einkaufen fahre, und da habe ich dann morgens dann meistens mal 15 Minuten Zeit, Dann schmeißt man mal kurz, diskutiert mal 15 Minuten mit ChatGPT irgendein aktuelles Problem und dann musst du schon aufpassen, dass du danach nicht sagst, ist der hier ausgestiegen oder was?
00:07:18.644 --> 00:07:22.843
Ach nee, das war ja bloß ein künstlicher Assistent Das ist schon extrem faszinierend.
00:07:22.843 --> 00:07:31.004
Das kannst du dann über technische Dinge machen oder kannst auch mal über historische Filme oder Memes in alten Filmen diskutieren.
00:07:31.004 --> 00:07:34.625
Es ist interessant, wie man dort diskutiert und man bekommt einfach eine.
00:07:35.435 --> 00:07:38.235
Entsprechende eine Erfahrung, wie man damit umgeht.
00:07:38.235 --> 00:07:45.454
Und das ist natürlich das, was letztlich zum einen die Basisfunktionalität ist, also diese Sprachkommunikation.
00:07:45.574 --> 00:07:53.535
Und das Zweite ist halt, dass er eben auch so ein Verständnis heuchelt, dass er sagt, er kann verstehen, was ich sage und kann dann dieses Reasoning machen.
00:07:53.694 --> 00:08:02.185
Also er versteht meine Eingabe, kann aufgrund seines vorhandenen Wissens Dann vernünftige Antworten geben.
00:08:02.185 --> 00:08:08.305
Und tatsächlich überwiegend und über die Monate immer besser, gibt er auch richtig gute Antworten.
00:08:08.305 --> 00:08:09.584
Also das muss ich auch sagen.
00:08:09.584 --> 00:08:16.365
Klar, ist manchmal auch irgendwelcher Mist dabei, aber im Wesentlichen wenn man gut fragt kriegt man gute Antworten so nach dem Motto.
00:08:16.685 --> 00:08:22.764
Und insofern ist das für mich einfach so von der praktischen Anwendung her natürlich super.
00:08:22.764 --> 00:08:32.830
Und dann habe ich mich natürlich gefragt, Das ist ja toll, aber an KI forschen wir doch schon seit Mitte der 50er Jahre, da vom Dasmogogic und so weiter und so fort und es gab auch immer wieder andere.
00:08:32.830 --> 00:08:53.639
Ich hatte sogar mal ein Buch, Künstliche Intelligenz auf dem Commodore 64 von Data Becker gab es das mal, da waren glaube ich 25 Programmlistings abgedruckt ich wollte mir das jetzt einfach nur aus Historie nochmal kaufen, musste aber feststellen Dass wenn man das als gebrauchtes Buch baut, das 250 Euro kostet.
00:08:53.639 --> 00:08:54.958
Und da habe ich es dann doch sein lassen.
00:08:54.958 --> 00:08:56.219
Es scheint also gesucht zu sein.
00:08:56.219 --> 00:08:58.139
Es gibt es aber als PDF zum Download.
00:08:58.159 --> 00:09:00.799
So, also mit anderen Worten dieses Thema Künstliche Intelligenz.
00:09:00.799 --> 00:09:11.379
Und da dachte ich mir, warum ist denn dieser Chatbot jetzt so riesig Und dann stellst du plötzlich fest, dass man sagt, okay, dieses Sprachmodell arbeitet einfach auf statistischen Wahrscheinlichkeiten.
00:09:11.500 --> 00:09:18.779
Das heißt, es reiht einfach Token an Token, Silbe an Silbe nacheinander Und dann kriegst du solche Ergebnisse raus.
00:09:19.154 --> 00:09:34.414
Und dann philosophiert man kurz darüber und sagt sich, okay, da waren also viele Wissenschaftler unterwegs, die haben uns von Ontologien oder von Klassifikationen oder weiß ich was, alles Mögliche haben sie probiert um sowas zu machen.
00:09:34.475 --> 00:09:35.975
Und was schlägt das alles?
00:09:36.034 --> 00:09:39.554
Hey, einfach eine gute Statistik der einfach Silber an Silber reiht.
00:09:39.554 --> 00:09:41.654
Und dann kommen gute Ergebnisse raus.
00:09:41.654 --> 00:09:42.235
Das ist irgendwie...
00:09:43.524 --> 00:09:51.443
Faszinierend Auf der anderen Seite ist es aber auch ziemlich frustrierend wenn man sagt, das soll jetzt so klug sein wie wir, einfach nur weil es Statistik machen kann.
00:09:51.884 --> 00:09:54.264
Naja und dann steigt man halt tiefer ein bisschen in die Modelle ein.
00:09:54.264 --> 00:09:55.725
Also man probiert natürlich auch.
00:09:55.725 --> 00:10:02.804
Ich habe sehr viel mit ChatGPT angefangen zu testen insbesondere auch aus meiner Verbindung her zu Video, gerne mit Videotranskripten.
00:10:03.044 --> 00:10:12.225
Wenn du praktisch ein Video aufgerollt hast, kannst du aus dem Transkript heraus lesen Am Anfang ging das schon Relativ gut, dass man so Stimmung lesen kann.
00:10:12.225 --> 00:10:14.924
Wie war denn die Stimmung in dem Video drin?
00:10:15.065 --> 00:10:20.784
Dann überlegst auch, wenn du nach Stimmung fragen kannst, kannst du auch fragen, hat da jemand rumgepöbelt oder ähnliches.
00:10:20.784 --> 00:10:25.804
Also das waren schon die Dinge wo du sagst faszinierend mit Zusammenfassung, aber wie weit kann ich das Ganze treiben?
00:10:26.065 --> 00:10:46.475
Und dann probiert man halt ein bisschen rum und mittlerweile habe ich mir dann auch mithilfe von GitHub-Copilot, Python-Programmieren wieder aktiviert und gelernt und mir eine komplette Applikation gebaut, die mir YouTube-Videos herunterlädt transkribiert zusammenfasst und dann alles in den Notion-Datenbank spart, sodass ich automatisch da einen Datenschatz aufbauen kann.
00:10:46.754 --> 00:10:52.815
Und das sind so die Dinge, wo man dann selber seinen eigenen Use Case findet, also was könnte ich denn damit machen?
00:10:53.024 --> 00:10:56.485
Und sieht, dass man mit dieser ganzen Technologie vorankommt.
00:10:56.485 --> 00:10:58.725
Und das immer, wie gesagt, auf der Basis der Sprachmodelle.
00:10:58.725 --> 00:11:03.443
Und die haben sich natürlich jetzt in den letzten 18 Monaten doch erheblich weiterentwickelt.
00:11:03.443 --> 00:11:10.004
Microsoft hat das relativ früh erkannt, dass sie sich komplett Co-Pilot-Company umbenannt haben.
00:11:10.004 --> 00:11:14.404
Auch über Marketing können wir uns da mal separat unterhalten.
00:11:15.125 --> 00:11:35.350
Aber auch die anderen haben natürlich kräftig nachgelegt und da haben sich doch erhebliche Und Veränderungen und Verbesserungen und auch Dinge ereignet, die ich jetzt auch in den letzten Monaten ja auch immer gut mitverfolgt habe und versucht habe, auch mal zu verstehen, wie das Ganze funktioniert.
00:11:35.350 --> 00:11:37.850
Das ist so aktuell mein Stand gewesen.
00:11:37.850 --> 00:11:42.029
Aber wir können jetzt gerne noch mal ein bisschen tiefer auch in die einzelnen Aspekte eingehen.
00:11:43.009 --> 00:11:52.429
Ja, das ist eine coole Zusammenfassung Ich bin nicht so ganz einverstanden mit dem Statistik-Ansatz, weil wir über Wahrscheinlichkeiten sprechen.
00:11:52.669 --> 00:11:58.250
Das ist jetzt vielleicht Wortklauberei, aber wir reden über Wahrscheinlichkeiten an der Stelle und nicht über
00:11:58.250 --> 00:11:59.250
Statistiken.
00:11:59.730 --> 00:12:01.610
Ich gebe dir da völlig recht.
00:12:01.610 --> 00:12:08.289
Ich hebe auch nicht den Anspruch, dass ich wissenschaftlich korrekt spreche.
00:12:08.289 --> 00:12:10.289
Ich sage immer für den Hausbau.
00:12:10.289 --> 00:12:13.750
Wie ich immer sage, Statistik und Wahrscheinlichkeit ist das...
00:12:15.034 --> 00:12:16.695
Gebe ich dir da völlig recht.
00:12:16.835 --> 00:12:23.695
Aber für mich ist es immer so, ich versuche immer, letztlich kommt es auch selber raus.
00:12:24.034 --> 00:12:26.355
Irgendwas wird da zusammengeklöppelt.
00:12:26.554 --> 00:12:32.445
Obwohl ganz komisch Als ich dann mal überlegt habe, vielleicht sprechen wir selber ja auch so.
00:12:32.705 --> 00:12:42.304
Wenn wir in einen Dialog eintreten, habe ich immer gesagt, stell dir mal vor, Wahlabend nach Landtagswahl Bundestagswahl 18 Uhr, die ersten Ergebnisse werden gesagt.
00:12:42.304 --> 00:12:49.764
Du guckst dir an, welche Partei wie performt hat und dann weißt du schon, wenn das erste Interview kommt, welche Worte dort gewählt werden.
00:12:49.764 --> 00:12:53.184
Entweder wenn der gut war, dann dankt er seinen Wähler und da kommt auch so eine Stelle.
00:12:53.264 --> 00:12:58.184
Ganz so relativ, mit Hilfe von Wahrscheinlichkeit Orten, was vermutlich dort rauskommt.
00:12:58.184 --> 00:12:59.943
Und vielleicht sind wir doch nicht so weit weg.
00:12:59.943 --> 00:13:02.323
Vielleicht sind wir das ja auch nur die in dieser Art und Weise.
00:13:02.823 --> 00:13:12.845
Ja, ja, da hast du wahrscheinlich gar nicht so Unrecht, dass man in einem Gespräch oder in einer Diskussion selber auch mit Wahrscheinlichkeiten arbeitet, nur dass wir deutlich schneller sind als ein LLM, ne?
00:13:13.085 --> 00:13:22.544
Aber die Leute, die unserem Podcast schon ein bisschen länger folgen, die wissen natürlich, dass es bei den Antworten sich um Wahrscheinlichkeiten handelt.
00:13:22.544 --> 00:13:26.845
Deswegen hatte ich das kurz mit einbringen wollen, Michael, an der Stelle.
00:13:26.924 --> 00:13:28.085
Sehr cool.
00:13:28.455 --> 00:13:34.725
Also bitte entschuldige, dass das so ist, aber ich versuche es für einen Hausgebrauch zu formulieren.
00:13:36.904 --> 00:13:37.924
Völlig akzeptiert
00:13:45.844 --> 00:14:10.995
Jetzt haben wir gerade eben schon mal davon gesprochen, dass du viel mit LLMs, also in dem Fall dann eben auch mit ChatGPT einiges gemacht hast und gleichzeitig hast du ja erzählt, dass du eine Videodatenbank runtergibst Also, dass du mithilfe von AI anfängst Videos, die entsprechenden Suchmechanismen angehen, mit runterlädst.
00:14:12.554 --> 00:14:15.154
Machst du dann noch irgendwas mit den Videos hinten dran?
00:14:16.034 --> 00:14:17.254
Ja, sammeln.
00:14:17.254 --> 00:14:17.514
Das ist
00:14:17.514 --> 00:14:21.235
natürlich richtig.
00:14:21.235 --> 00:14:36.399
Und da kommt jetzt, sagen wir mal, ein bisschen der technischere Part dazu Das Erste war zu sagen, ganz einfach, da gab es so ein Plugin für Chrome, wo man schon bei jedem YouTube-Video einfach das Transkript sehen konnte und per Cut und Paste sich runterladen konnte.
00:14:36.399 --> 00:14:39.860
Dann hast du schon mal das Transkript und hast den Text, der dort gesprochen wird.
00:14:39.860 --> 00:14:44.578
Und dann dachte ich mir, naja, so ein Chat-GPT kann ja auch Texte zusammenfassen.
00:14:44.578 --> 00:14:50.879
Also nimmst du einfach mal den Text, kopierst den in den Prompt rein und sagst, bitte fass mir doch mal dieses Transkript zusammen.
00:14:50.879 --> 00:14:52.600
Und dann wundert man sich.
00:14:52.849 --> 00:14:55.370
Was für eine coole Zusammenfassung da rauskommt.
00:14:55.370 --> 00:15:04.828
Und zwar wunderte man sich immer, auch wenn man das rückblickend sagt, naja damals waren die Zusammenfassungen noch nicht so toll, aber für den Zeitpunkt waren die schon toll.
00:15:04.828 --> 00:15:11.948
Und mittlerweile, wenn ich jetzt auf ChatGPT 4.0 das hochlade, dann ist das schon extrem gut.
00:15:11.948 --> 00:15:14.469
Und ich kann mal ein ganz aktuelles Beispiel geben.
00:15:14.469 --> 00:15:25.125
Ich wollte mir aufgrund des Themas, wie man eigentlich mit KI umgeht Ein altes Buch, was ich mal hatte, und zwar den One-Minute-Manager von Kenneth Blanchard.
00:15:25.125 --> 00:15:31.625
Das ist so ein Standardwerk für Manager, wie sie mit ihren Mitarbeitern kommunizieren sollen.
00:15:31.625 --> 00:15:34.605
Ich dachte mir, das ist auch etwas, was man mit KI machen kann.
00:15:34.605 --> 00:15:40.684
Und ich hatte dieses Buch mal, aber ich habe es nicht mehr und dachte mir, ich müsste mir das irgendwie besorgen.
00:15:40.684 --> 00:15:43.703
Und dann guckte ich auf YouTube und da gibt es ein Hörbuch davon.
00:15:43.904 --> 00:15:46.904
Und da dachte ich mir, guck mal, ein Hörbuch, 1 Stunde 30 lang.
00:15:47.399 --> 00:16:02.679
Ich dachte mir, das müsste doch eigentlich gehen, wenn ich mir das Transkript runterlade und dann sage, bitte aus dem Transkript schreibe mir jetzt eins zu eins ohne Veränderung den gesamten Text darunter in Form eines Buchs.
00:16:02.940 --> 00:16:13.600
Es hat dann 15 Minuten gedauert ich musste mehrere Mal auf Continue klicken und dann habe ich alles nach Word rüber kopiert und habe jetzt eine Word-Kopie von dem Buch von Kenneth Blanchard.
00:16:13.774 --> 00:16:18.095
Und zwar richtig mit allen drin und auch gut formatiert mittlerweile.
00:16:18.174 --> 00:16:23.195
Und das hat mich gestern schon wieder überrascht was man dann doch damit macht.
00:16:24.294 --> 00:16:32.134
Ja, aber nein, was für mich aber nochmal wichtig ist zu meinen, habe ich damit natürlich dann auch ausprobiert, das zunächst über Chat-GBT zu machen, also über das Frontend.
00:16:32.134 --> 00:16:35.335
Und da habe ich natürlich aber auch gesagt, okay, ich bin ja auch auf OpenAI.
00:16:35.375 --> 00:16:38.894
Ich könnte das ja auch über die API-Schnittstelle machen.
00:16:39.090 --> 00:16:40.269
Wie geht das denn?
00:16:40.309 --> 00:16:48.529
Und da ich mir die Videos ja sowieso mit einem Python-Skript heruntergeladen habe, habe gesagt, naja vielleicht kann ich die auch dann, dieses Transkript einfach an OpenAI schicken.
00:16:48.870 --> 00:16:51.909
Und dann habe ich den GitHub-Copilot geschaut, wie mache ich denn das?
00:16:51.909 --> 00:16:54.330
Bitte schick mir doch einen Python-Skript dazu.
00:16:54.330 --> 00:17:19.539
Und nun ist das keine Raketenwissenschaft und die Skripte sind auch nicht 500 Zeilen lang, da kommt irgendwie so 15 Zeilen Code und den packst du da rein und dann drückst auf mach mal und dann siehst du, oh, funktioniert, da brauchst noch einen API-Key, gut, das kriege ich auch noch hin Und, aber innerhalb kürzester Zeit habe ich dann die Funktion, ich lade das Video runter, es ist transkribiert, nehme den transkribierten Text, schicke ihn an OpenAI und schicke ihm dann meinen eigenen Prompt mit.
00:17:19.539 --> 00:17:25.460
Zum Beispiel fasse zusammen, weil das ein Interview ist, in der Form Frage und Antworten führe es bitte aus.
00:17:25.460 --> 00:17:35.174
Oder weil es eine Demo war, bitte mach mir aus dieser Demo eine How-To-Anleitung Und dementsprechend kriege ich die Texte zurück und die speichere ich mir dann lokal ab.
00:17:35.174 --> 00:17:38.835
Und dann habe ich das alles als Speichermedium, habe ich dann Notion gewählt.
00:17:38.835 --> 00:17:40.474
Ich habe auch gerne Loop genommen.
00:17:40.474 --> 00:17:43.134
Loop ist kompliziert und macht das nicht so einfach.
00:17:44.154 --> 00:17:58.035
Deshalb habe ich Notion genommen, weil Notion für so einen ich sage mal, so einen programmierenden Warmduscher wie mich einfach die richtige, eine einfache Lösung ist, die ich auch bedienen kann, indem ich mich dann dem GitHub-Copilot sage.
00:17:58.259 --> 00:18:36.349
Kannst du das bitte mal nach Notion schreiben, wie mache ich das und das habe ich dann auch hinbekommen, ist kein Wissen, aber das ist sowas und jetzt bin ich dabei, schrittweise immer weiter an diesen Prompt zu schreiben, wie ich dann aus diesen Texten noch mehr rausholen kann und gucke mir natürlich auch an, was andere machen ja und das war dann sozusagen die kombinierte Kirm mit OpenAI und dann bin ich ja MVP und habe auch noch nicht durch den GitHub-Coop halt, ich habe ja auch noch so einen kleinen Azure-Account, wo ich Bisher nicht viel gemacht habe dabei und dachte mir, das soll ja auch über OpenAI, über Azure OpenAI gehen, wie kann ich denn das ansprechen?
00:18:36.349 --> 00:18:55.710
Gut, das war jetzt eine größere Aktion, bis man erstmal durch dieses Frontend da durchkommt, was man alles einrichten muss, aber mit Hilfe vom GitHub Copilot habe ich das auch geschafft und dann kann ich jetzt eben wechseln, kann sagen okay, die Anfrage schickst du jetzt mal zu OpenAI oder schickst du sie zu Azure OpenAI und dann kann Grock sagen, aber Grock müsste das auch machen können.
00:18:55.815 --> 00:19:03.615
Und dann kam irgendwas, wo mir jemand gesagt hat, hey, es gibt ja auch Modelle, Sprachmodelle, die kannst du lokal begreifen.
00:19:03.894 --> 00:19:10.275
Also Sprachmodell lokal herunterladen Meta ist ja da ganz weit vorne mit dem Lama 3 und so weiter.
00:19:10.275 --> 00:19:12.615
Oder auch Microsoft mit seinem Vieh-Modell.
00:19:12.875 --> 00:19:17.134
Und dann dachte ich mir auch, Modell lokal herunterladen, probiere doch mal.
00:19:17.134 --> 00:19:22.535
Das ist nun absolut einfach, weil es gibt so drei gängige Tools dafür.
00:19:22.535 --> 00:19:28.105
O-Lama, LM-Studio Oder GPT for All.
00:19:28.105 --> 00:19:29.523
Das sind so die drei Tools.
00:19:29.523 --> 00:19:31.444
Das einfachste ist LM Studio.
00:19:31.444 --> 00:19:36.365
Das lädt man sich runter auf seinen Mac oder auf seinen Windows PC oder auf seinen Linux.
00:19:36.964 --> 00:19:42.924
Startet einfach die Applikation dann kriegt man ein schönes Frontend, wo man sagen kann, okay, hier kannst du mal gucken, welche Modelle es gibt.
00:19:42.924 --> 00:19:56.094
Dann klickst du hier rauf dann lädt sich das Modell runter Hier hast du eine Funktion, da kannst du einen Chat starten, sagst dann, welches Modell du, was du runtergeladen hast, eingebunden haben willst und dann hast du ein Chatfenster und dann kannst du loschatten und kannst mit diesem Modell lokal reden.
00:19:56.794 --> 00:20:07.974
Das ist ein richtiger Spaß, weil du kriegst dann doch nochmal einen tieferen Einblick, da kommen halt kleine Modelle darunter und mit denen kannst du dann lokal arbeiten.
00:20:07.974 --> 00:20:27.430
Und dieses LM Studio hat dann auch noch eine Funktion eine API, das heißt du kannst ihn lokal als Server starten lassen Und dann kann ich meine Skripte die ich bisher oder meine Prompt, die ich bisher an Open Air geschickt habe, dann kann ich eben sagen, jetzt schick die nicht nach Open Air, sondern schick die an meinen lokalen Server, wo mein lokales Modell im Hintergrund arbeitet und mach das dann.
00:20:28.009 --> 00:20:29.250
Und das macht er auch.
00:20:29.250 --> 00:20:37.890
Und das ist schon für mich faszinierend Und das alles mache ich auf meinem MacBook Pro M1 mit Silicon.
00:20:37.890 --> 00:20:43.809
Das ist halt das Coole was Apple irgendwie schon sehr vorausschauend gemacht hat, dass sie ihre eigenen...
00:20:44.115 --> 00:20:53.454
Chips gebaut haben und jetzt nicht wie Microsoft die Snapdragons erstmal die TPU und so weiter alle nachbauen müssen und nachrichten müssen, damit die Hardware nachkommt.
00:20:53.454 --> 00:21:02.654
Denn diese MacBooks und auch mein Mac Mini, der mal knapp 800 Euro gekostet hat, kann diese Modelle lokal laufen lassen.
00:21:02.875 --> 00:21:10.160
Das ist dann schon mal nochmal so eine Faszination wo man sagt Wow die neueste Technologie das neueste Sprachmodell von Microsoft.
00:21:10.160 --> 00:21:15.500
Einen Tag später läuft das hier auf meiner kleinen Kiste und ich kann dann lokal damit arbeiten.
00:21:15.619 --> 00:21:17.319
Das ist schon faszinierend.
00:21:20.200 --> 00:21:29.039
Hast du denn Unterschiede festgestellt zwischen den Ergebnissen, wenn du es Richtung Large Language Model schickst oder zu einem Small Language Model?
00:21:29.400 --> 00:21:30.720
Ja, natürlich.
00:21:30.779 --> 00:21:32.359
Das ist verratet, ja.
00:21:32.960 --> 00:21:35.380
Und zwar aus mehreren Gründen.
00:21:35.380 --> 00:21:42.200
Zum einen kann man sich natürlich nicht mit dem Chat-GPT-4o vergleichen weil das natürlich eine ganz andere Power im Hintergrund hat.
00:21:42.200 --> 00:21:43.660
Und weil diese Modelle auch riesig sind.
00:21:43.660 --> 00:21:46.940
Ich weiß nicht, der hat 400 Milliarden Tokens oder Parameter.
00:21:47.039 --> 00:21:57.339
So ein Sprachmodell was auf meinen 16 GB RAM-Macbook passt, das kann so im Schnitt hat das so 8 Milliarden Parameter...
00:21:57.680 --> 00:22:01.140
Oder auch kleinere Modelle, da können wir gleich nochmal was dazu sagen.
00:22:01.140 --> 00:22:07.700
Also ein V3 hat ungefähr 4 GB groß und kann dann lokal quasi heruntergeladen werden.
00:22:07.720 --> 00:22:15.000
Und ist auch, so ein V3-Modell ist ja gerade so ein Small-Language-Modell ist ja nicht mehr als dieser großen, sondern extra von Microsoft auch gebaut worden.
00:22:15.289 --> 00:22:18.109
Damit man es halt lokal betreiben kann.
00:22:18.109 --> 00:22:20.049
Das verbraucht wenige Energie.
00:22:20.049 --> 00:22:22.170
Das kann auf kleineren Devices laufen.
00:22:22.289 --> 00:22:25.730
Und die Dinger sind aber auch optimiert auf so Kernfunktionen.
00:22:25.730 --> 00:22:33.410
Das heißt, der kann gut Konversationen, der kann vermünftig formulieren, der kann halbwegs gutes Reasoning.
00:22:33.410 --> 00:22:35.750
Dafür hat er nicht dieses ganze Wissen im Hintergrund.
00:22:35.750 --> 00:22:42.349
Aber für so Standardanwendungen, wo ich sage, mach mal eine Zusammenfassung davon, hol mal die fünf Punkte daraus.
00:22:42.648 --> 00:22:52.069
Dann kommen die auch raus in einer, ich sage mal, okay Qualität Natürlich nicht vergleichbar mit einem Chat-GPT-4.0, aber in vielen Fällen brauche ich das auch gar nicht.
00:22:52.449 --> 00:22:55.869
Und insofern ist das schon cool zu sehen.
00:22:55.869 --> 00:23:21.849
Es hat immer seine Anwendungsszenarien und trotzdem habe ich immer natürlich noch Chat-GPT-4.0 dabei, aber trotzdem, ich kann, was für mich zum Beispiel eine coole Applikation ist, auch dieses Lokalaustausch, wenn man in so ein Agentensystem eintritt, Wenn man die über eine Cloud-Lösung laufen lässt, wo also verschiedene Agenten verschiedene Subagenten bedient und die machen dann gemeinsam, lösen sie eine Aufgabe, so Crew-AI und so weiter, coole Sachen.
00:23:22.329 --> 00:23:26.509
Allerdings sind die extrem teuer wenn man die laufen lässt, weil die unheimlich viel Rechenzeit verbrauchen.
00:23:26.669 --> 00:23:33.169
Und mein erstes Test hatte damals, ich habe dann immer so, weiß ich was, pro Tag hatte ich vielleicht 20, 30 Cent bei OpenAI.
00:23:33.169 --> 00:23:38.990
Und an dem Tag wo ich das mal ausprobiert habe, 25 Minuten lang, wo der da gesagt hat, so richtig ist das noch nicht.
00:23:39.299 --> 00:23:45.019
Zwei Tage später mal geguckt, was mein Account da macht und es waren irgendwie 8 Euro, die er da abkassiert hat.
00:23:45.019 --> 00:23:48.638
Dann habe gesagt, okay, das muss ich dann nochmal richtig checken bevor ich das mache.
00:23:48.638 --> 00:23:53.599
Wenn ich das aber lokal mache, kann ich die Kosten abdecken.
00:23:53.599 --> 00:23:59.039
Und wenn ich jetzt natürlich lokal sagen wir mal, eine etwas andere Hardwaremaschine dahinter packe vielleicht mit größerem Rampen.
00:24:00.109 --> 00:24:19.148
Und vielleicht auch mit einer größeren Technologie oder ich gehe auf eine Windows-Maschine rüber, die dann auch eine Nvidia-Karte laufen hat, kann ich mir natürlich auch von Hugging Face, da, wo viele dieser Modelle gehostet sind, auch mal ein 70-Milliarden-Parameter-Modell von Lama 3 runterladen Und dann habe ich schon ein richtig kräftiges Modell was ich auch lokal nutzen kann.
00:24:19.210 --> 00:24:23.250
Aber allein auf dem MacBook, so im kleinen Umfang, ist das...
00:24:24.294 --> 00:24:25.434
Schon mal richtig cool.
00:24:25.434 --> 00:24:26.575
Und die Modelle gehen runter.
00:24:26.575 --> 00:24:32.934
Mein kleinstes Modell, was ich derzeit habe, ist ein Qen-Modell 2, was nur noch 500 Millionen Parameter hat.
00:24:32.934 --> 00:24:36.095
Das ist ungefähr 400 Megabyte groß.
00:24:36.095 --> 00:24:45.513
Das ist aber auch, ich sag mal, das ist, wie sagt man das jetzt, ohne ins Fettnäpfchen zu treten.
00:24:45.513 --> 00:24:49.974
Ich sag mal, er ist einfach gestrickt und ist auf einfache Lösung möglich.
00:24:49.974 --> 00:25:01.755
Aber ich kann mir durchaus vorstellen, Dass es in einem Szenario, wo es auf Sparen ankommt, wo ich auf Datensparsamkeit machen muss, wo ich ganz präzise Anfragen habe, mit dem Ding gut arbeiten kann.
00:25:01.934 --> 00:25:19.679
Und was man mit diesen lokalen Modellen auch noch machen kann, was auch ziemlich coole Einsichten gibt, ist, es gibt ja mittlerweile, viele Modelle haben ja eine gewisse Zensur drin, beziehungsweise ihre eigenen ethischen Ideen Parameter, die da eingesetzt sind.
00:25:19.679 --> 00:25:22.398
Also wo du gefragt hast, um den Atombaum, und du sagst, nee, mach ich nicht.
00:25:22.398 --> 00:25:24.539
Also kannst du ja Copilot tragen oder so weiter.
00:25:24.740 --> 00:25:32.299
So, nun gibt es aber Methoden um aus diesen Modellen sozusagen das wieder rauszubauen, rauszutrainieren.
00:25:32.299 --> 00:25:33.279
Frag mich nicht, wie es geht.
00:25:33.279 --> 00:25:42.359
Es gibt da so Dolphin, ich glaube, Eric Hartford heißt der, der hat so ein Dolphin-Modell gebaut, mit dem man sich zum Beispiel einen Lama-Dolphin runterladen kann.
00:25:42.734 --> 00:25:48.315
Dass dann eben nicht mehr diese Zensur eingebaut habe und dann ein unzensiertes Modell ist.
00:25:48.315 --> 00:25:50.275
Und mit dem kannst du dann lokal mal chatten.
00:25:50.434 --> 00:25:57.454
Und was der mir alles erzählt hat, warum die Modlandung fake ist, das war auch sehr interessant, was ich mal ausprobiert habe.
00:25:57.654 --> 00:26:02.255
Und dann hast du ein Modell was unzensiert ist, was dann, wie gesagt, alles beantworten kann.
00:26:02.255 --> 00:26:27.299
Der positive Effekt davon ist, du kannst zum Beispiel deine eigenen Regularien dem Modell antrainieren, sodass es auch nach deinem Modell Vorstellung arbeitet, was übrigens bei diesen Modellen, wenn sie gut sind, im Sternchen-Text unten drunter auch immer gesagt wird, wir empfehlen, ein eigenes Responsible AI draufzubauen, damit das Modell auch vernünftig und auch responsibel arbeitet.
00:26:27.480 --> 00:26:43.909
Oder aber du kannst halt für wissenschaftliche Zwecke oder ähnliches hast du ein Modell, was dann eben nicht irgendwelche Vorurteile oder Bias oder Kernzahlen eingebaut hat, die dann vielleicht deine wissenschaftlichen Ergebnisse Also sozusagen beeinflussen.
00:26:44.169 --> 00:26:53.049
Das ist schon, und das ist einfach, ich brauche das nicht unbedingt, aber es gibt ja ein unheimliches Verständnis für diese Modelle und auch wie das funktioniert, wie klein das sein kann.
00:26:53.089 --> 00:27:04.589
Und das ist schon etwas, was so zum anderen, ich habe viele meiner Transkripte auch mittlerweile lokal gemacht und schaue mir das halt entsprechend an und sind für das, was ich brauche eigentlich völlig ausreichend
00:27:08.920 --> 00:27:15.119
Bei so SLMs sehe ich den Anwendungsfall wie du auch, dass das lokal ausgeführt wird.
00:27:15.759 --> 00:27:26.440
Hochspannend finde ich natürlich, also im Gegensatz zu einem LLM, habe ich bei einem SLM wahrscheinlich eher den Anspruch dass da irgendeine Aktion dann damit ausgeführt wird.
00:27:26.440 --> 00:27:48.898
Also sprich was wir heute schon alles von Alexa und Siri und Google und so weiter kennen, Dass ich das dann auch irgendwie in solche Systeme einbauen kann, wie Smart Home oder so, wo ich dann einfach nicht mehr genau die Phrase treffen muss, um die Aktion auszuführen, sondern ich auch mit Synonymen arbeiten kann etc.
00:27:48.898 --> 00:27:55.019
oder Bedingungen stellen kann, um diese Aktion dann auszulösen.
00:27:55.019 --> 00:28:03.398
Und das finde ich extrem smart und auch extrem spannend an der Stelle und finde es cool, dass du damit schon ordentlich rumgespielt hast.
00:28:03.909 --> 00:28:08.009
Da müssten wir uns noch mal näher unterhalten, auf jeden Fall.
00:28:08.210 --> 00:28:09.388
Was sagst du Michael?
00:28:11.409 --> 00:28:36.914
Definitiv Was ja auch noch passiert, weil du sagst diese kleinen Maschinen, ich weiß nicht, war es das Qen-Modell oder es war noch ein anderes, das ist sogar schon möglich, es auf dem Raspberry Pi 5 laufen zu lassen und tatsächlich gibt, habe ich natürlich gleich nachgeguckt er ist ein Raspberry-Buzzler, es gibt tatsächlich auch schon Eine Ergänzungsplatine wo so eine TPU für ein Raspberry Pi drauf ist.
00:28:36.914 --> 00:28:43.595
Also halt das, was jetzt auch in die Co-Pilot-Plus-PCs eingebaut werden soll.
00:28:43.595 --> 00:28:51.575
Also so ein spezieller Prozessor der diese Matrix-Operation super bauen kann.
00:28:51.575 --> 00:28:55.054
Also dann kannst du das komplett auch auf Raspberry Pi 5 laufen lassen.
00:28:55.054 --> 00:28:57.115
Auch das ist schon faszinierend zu finden.
00:28:57.150 --> 00:29:00.829
Und ihr habt ja, glaube ich, im Co-Panel Plus schon PC schon besprochen.
00:29:00.829 --> 00:29:04.829
Ich meine, da sind 40 verschiedene, über 40 verschiedene Sprachmodelle drin.
00:29:04.829 --> 00:29:13.690
Und das sind halt diese speziell auf Funktion getriggerte kleinen Modelle, die dann auf dem Windows-PC lokal arbeiten.
00:29:13.690 --> 00:29:23.849
Da wird vielleicht, ohne jetzt genau das spezifisieren, da wird vielleicht ein kleines Sprachmodell drin sein, was optimiert ist, dein PC an deine Einstellung einzupassen.
00:29:23.849 --> 00:29:24.950
Also wenn du sagst ich habe hier...
00:29:26.000 --> 00:29:30.059
Schlecht sehen, mach den bitte mal so, dass ich jetzt hier die Schrift besser erkennen kann.
00:29:30.119 --> 00:29:39.599
Dann springt genau dieses kleine Modell an und baut dir dann aus den vielen Optionen die es ja im Windows-PC gibt, genau das automatisch zurecht.
00:29:39.919 --> 00:29:47.819
Und das läuft dann auch eben lokal Da willst du auch keine Cloud-Verbindung mehr haben, weil wenn du es lokal abarbeiten kannst, brauchst auch keine Internet-Verbindung mehr.
00:29:47.819 --> 00:29:49.240
Das ist ja auch noch was was hinzukommt.
00:29:49.359 --> 00:29:54.964
Und ich kann mir vorstellen, ein Copilot-Plus-PC, der immer nur am Internet hängen muss, Das wäre jetzt auch nicht so gut.
00:29:54.964 --> 00:29:59.424
Da möchtest du schon eine gewisse Offline-Funktionalität haben und trotzdem sowas auch nutzen können.
00:29:59.444 --> 00:30:05.505
Und Apple macht das ja mit seinem, wie heißt das, Apple Intelligence, machen die das ja genauso.
00:30:05.505 --> 00:30:07.144
Da sind leute kleine Modelle dran.
00:30:07.144 --> 00:30:11.845
Also es ist ein absoluter Trend, der zu diesen kleinen Modellen, diesen kleinen spezialisierten Modellen geht.
00:30:11.845 --> 00:30:17.964
Und das passiert eben nicht nur auf kleinen End-Devices sondern eben auch in den PCs, die jetzt kommen.
00:30:18.404 --> 00:30:35.884
Ja, ich finde die Entwicklung an der Stelle total witzig Dass es zuerst mal die großen Modelle gibt und daraus jetzt dann quasi herausgelöst oder mit den Trainingserfahrungen dann die kleinen Modelle entstehen Das finde ich mega witzig aber auch super sinnvoll tatsächlich an der Stelle.
00:30:36.904 --> 00:30:53.674
Ja, und vor allen Dingen ich sage mal so, wenn wir nochmal vielleicht auf dem Microsoft 365-Gruppalett in diesem Zusammenhang zu sprechen kommen, es ist ja, ich sage mal, Ein Geheimnis es ist nicht so klar kommuniziert, was eigentlich in Microsoft 365 Copilot im Hintergrund arbeitet.
00:30:53.674 --> 00:31:04.894
Das heißt immer, ja, da ist ein großes Sprachmodell drin und wir haben halt den Semantic Index und das ist es halt und da ist von Microsoft customised damit das Ganze secure, compliant und so weiter ist.
00:31:05.174 --> 00:31:35.799
Aber wenn man sich das mal so überlegt, naja gut, da wird auch ein Sprachmodell arbeiten, das ist heftig angepasst da wird es aber auch zum Beispiel kleine, ich sag mal so, Ob es sie jetzt schon gibt oder nicht, aber es wäre durchaus sinnvoll, ich hätte ein spezielles Sprachmodell, was richtig gut ist im Erstellen von Präsentationen Weißt du, dass nicht nur irgendwie eine Folie hinkloppen kann, sondern dass die Erkenntnisse von Storytelling, wie man Sprache aufbaut, wie man Slides gestaltet und Ähnliches.
00:31:35.799 --> 00:31:40.880
Also richtig gut in PowerPoint wäre, dass Brüste keine Excel-Kenntnisse haben, da kann ich darauf verzichten.
00:31:40.880 --> 00:32:01.684
Also insofern könnte man sich durchaus vorstellen, Dass man ja sagt, warum gibt es so viele Co-Piloten in Microsoft 365, dass so eine kleinen Experten, die ich überall drin habe, die dann vielleicht auch weniger Ressourcen verbrauchen, weil die nicht immer die große Maschine anschmeißen müssen, dass die so im Hintergrund natürlich optimiert darauf sind, auf die Anwendungsfälle und mir dann noch bessere Dinge liefern.
00:32:01.904 --> 00:32:08.003
Also das ist einfach so für mich wo ich denke, das wäre vielleicht ein guter Ansatz, wenn man in diese Richtung das Ganze weiterentwickelt.
00:32:08.784 --> 00:32:09.924
Was nicht ist, kann
00:32:09.924 --> 00:32:10.604
er noch werden.
00:32:11.759 --> 00:32:43.545
Ja, aber das siehst du ja auch, das ist ja praktisch der gleiche Ansatz, den ich bei Apple Intelligence gesehen habe, als ich die Demo da gesehen habe, dass jetzt du da vorne sagst hey, das sieht ja smart aus, das ist zwar jetzt von der Funktionalität her sicherlich noch, macht das gar nicht so viel, aber das sieht ja echt smart aus, das ist so richtig integriert, das ist und aufgrund meiner Erfahrung jetzt mit diesen kleinen Sprachmodellen und sozusagen dieselben Modelle mal selber zu betreiben und zu gucken, wohin eigentlich die Entwicklung geht, Und da sage ich mal, eigentlich ist das eine gute Entwicklung.
00:32:43.545 --> 00:32:46.605
Und so kann ich mir das auch vorstellen, dass das in diese Richtung weitergeht.
00:32:46.605 --> 00:32:49.184
Ohne jetzt definitiv sagen zu können, dass es so ist.
00:32:49.184 --> 00:32:54.244
Aber das ergibt für mich in diese Richtung Sinn.
00:32:54.263 --> 00:32:55.325
Und ja, nichts Sinn.
00:32:56.934 --> 00:33:01.115
Ich finde es schön, dass du diesmal das Thema Apple nicht dazu gebracht hast.
00:33:02.615 --> 00:33:04.694
Ich glaube halt auch, dass das ein guter...
00:33:04.694 --> 00:33:06.214
Sonst ist das immer mein Part.
00:33:06.494 --> 00:33:06.835
Deswegen...
00:33:08.250 --> 00:33:18.150
Ich glaube, dass das tatsächlich ein guter Weg ist, um einfach aufzuzeigen dass es andere Möglichkeiten gibt.
00:33:18.289 --> 00:33:23.150
So dieses, was Apple da verkauft ist ja so eine Art hybride AI-Lösung.
00:33:23.730 --> 00:33:36.974
Also dass sie sagen, das, was wir eben nicht mit dem SLM lösen können, da schicken wir es raus Richtung Cloud und haben dann LLM dahinter Dass das tatsächlich cool ist.
00:33:36.974 --> 00:33:49.194
Und dann sind wir bei den Use Cases die Ralf mit angebracht hat, nämlich auch die Möglichkeit zu sagen, wir packen das auf andere Geräte und dann haben wir da einen größeren Mehrwert draus.
00:33:50.174 --> 00:33:51.734
Ich sehe auch schon den Mehrwert.
00:33:51.974 --> 00:33:56.255
Das war jetzt auch, was ich vorhin gesagt habe, stimme ich dir voll überein.
00:33:56.255 --> 00:33:58.694
Also es wird immer diese Kombination Hybrid geben.
00:33:58.694 --> 00:34:06.970
Klar brauche ich natürlich, wenn ich auch auf dem Co-Pilot plus PC Mit Microsoft 365 Copilot arbeiten will, dann muss ich halt auf meine Daten in der Cloud zugreifen.
00:34:06.970 --> 00:34:27.059
Das ist ja völlig klar Aber ich denke mir, viele Funktionen die du auf dem Copilot Plus dann mithilfe von Generative AI bieten kannst, also, weiß ich was, Maschine konfigurieren oder fragen, warum funktioniert das nicht oder andere kleinere Dinge, weiß ich was, ein Lokal was zeichnen willst, Dann könnte wahrscheinlich auch das lokale Paint mit dem lokalen Ding erst mal unterstützt werden.
00:34:27.059 --> 00:34:29.539
Und wenn es dann gar nicht mehr weitergeht, ja, hier muss ich jetzt nochmal abfragen.
00:34:29.619 --> 00:34:36.980
Also man könnte wahrscheinlich auch eine ganze Menge von Traffic und so weiter vorab sozusagen auf den Rechner verlagern.
00:34:36.980 --> 00:34:39.159
Dann ist das halt eine Frage, wie man das machen kann.
00:34:39.159 --> 00:34:45.099
Aber mit diesen kleinen Modellen hast du überhaupt erst mal die Möglichkeit, es auf diesen lokalen Maschinen laufen zu lassen.
00:34:45.099 --> 00:34:57.344
Und um dich hier mal als Apple-Fan, ich bin ja auch ein Fan von Apple, Wenn ich mir angucke dass ich mir dieses MacBook vor zweieinhalb Jahren gekauft habe, mit diesem M1-Chip da drin.
00:34:57.485 --> 00:35:02.065
Ich muss mal sagen, das ist so eines der feinsten Stück Technik, die ich je benutzt habe.
00:35:02.065 --> 00:35:06.425
Vor allen Dingen weil ich habe den bisher immer noch nicht gehört, dass er anfängt zu rauschen.
00:35:06.704 --> 00:35:13.905
Und allein dieses mit dem Apple Silicon, das ist so performant für meine Anwendung.
00:35:13.945 --> 00:35:16.465
Und ich kann darauf diese Sprachmodelle laufen lassen.
00:35:16.465 --> 00:35:17.445
Und ich müsste jetzt...
00:35:17.684 --> 00:35:23.085
Auf meinem Windows-PC kann ich das im Moment gar nicht laufen lassen, weil ich gar nicht die richtige Technik dazu habe.
00:35:23.364 --> 00:35:26.025
Und das ist schon richtig, richtig smart.
00:35:26.045 --> 00:35:28.164
Und das ist schon richtig cool.
00:35:28.164 --> 00:35:30.684
Aber auf der anderen Seite, gut, du bist dann halt in der Apple-Welt.
00:35:30.903 --> 00:35:40.144
Und wenn man zum Beispiel sieht, was man dort an Grafiken hätte machen können, gut, da hast du drei, weiß ich was, Comic-Style oder drei verschiedene Grafikstile.
00:35:40.224 --> 00:35:41.525
Damit kannst du was erstellen.
00:35:41.644 --> 00:35:43.965
Sei froh damit, hübsch reicht, fertig, aus.
00:35:44.144 --> 00:35:49.324
Und den Rest müssen wir uns halt um Copyright und alles andere nicht kümmern, weil wir können das dann ein bisschen entsprechend eingrenzen.
00:35:50.085 --> 00:35:52.105
Das ist halt typisch Apple-Marketing.
00:35:52.105 --> 00:35:58.085
Wir können gerade nicht mehr, aber wir verkaufen das mal so, als würden wir damit die Welt versuchen zu retten.
00:35:58.465 --> 00:36:02.625
Oh, cool weil du mich ja nach der Erfahrung der letzten 18 Monate fragst.
00:36:02.625 --> 00:36:05.605
Ich meine, da war Microsoft ja auch nicht schlecht im Marketing.
00:36:05.605 --> 00:36:12.824
Ich muss sagen, Marketing-Architekten haben sie ja grob alle richtig gut vermarktet und wir so als MVPs vor Ort...
00:36:13.425 --> 00:36:19.824
Müssen dann immer den Realitätsabgleich nicht mal vorsichtig auszudrücken.
00:36:20.074 --> 00:36:22.485
Das ist eine schöne Beschreibung ja.
00:36:22.835 --> 00:36:23.244
Ja.
00:36:23.784 --> 00:36:34.385
Jetzt haben wir relativ viel über das, was du auf deinen lokalen Geräten mit hast, was du an Erfahrung auch mit hast und Use Cases.
00:36:34.605 --> 00:36:48.409
Siehst du AI für die Industrie oder Gar nicht mal auf eine Branche runtergebrochen, tatsächlich eher für Industrie allgemein als den Heilsbringer.
00:36:48.409 --> 00:36:51.349
Und damit wird jetzt alles besser,
00:36:51.349 --> 00:36:53.409
schneller, weiter,
00:36:53.409 --> 00:36:54.010
höher.
00:36:54.469 --> 00:36:59.869
Also ich bin lange genug dabei, dass ich an Heilsbringer nicht mehr glaube, weil ich noch nie geglaubt habe.
00:36:59.949 --> 00:37:12.358
Auf der anderen Seite ist es aber so, dass ich sage, also allein diese Funktion, die ich ganz am Anfang schon gesagt habe, Sprachkommunikation, Ja, das kann ich natürlich in jedes Teil einbinden.
00:37:12.858 --> 00:37:15.798
Ich brauche kein Handbuch mehr, ich kann dann vielleicht mit dem Gerät reden.
00:37:15.798 --> 00:37:27.440
Und wenn das irgendwann so klein ist, neulich hat mich jemand gefragt, nach einem Vortrag der gehalten hat wir haben Frontline-Worker, wir sind im Tiefbau, wir sind unter der Tage, unter Erde und wir haben viele Nationen die da arbeiten.
00:37:27.599 --> 00:37:35.500
Gibt es eigentlich ein Gerät was in Echtzeit Sprachübersetzung machen kann, damit sich der türkische Mitarbeiter mit dem deutschen unterhalten kann oder ähnliches?
00:37:35.719 --> 00:37:37.559
Und zwar ohne Cloud, ohne alles.
00:37:37.559 --> 00:37:45.039
Ich vermute mal, das könnte man tatsächlich mittlerweile mit der vorhandenen Technologie auch schon machen, aber ich habe da jetzt keine fertige Lösung draus.
00:37:45.300 --> 00:37:55.960
Und insofern, klar ist es natürlich für das Thema, was natürlich diese KI bietet eine Kommunikation zu schaffen, mit den Daten zu sprechen.
00:37:55.960 --> 00:37:58.300
Dafür müssen deine Daten natürlich okay sein.
00:37:58.300 --> 00:37:59.619
Das können in der Industrie...
00:38:00.045 --> 00:38:03.824
Daten von Maschinen sein oder ähnliches.
00:38:03.824 --> 00:38:23.525
Oder, keine Ahnung, habe ich mal gelesen, die haben Mikrofonaufnahmen von irgendwelchen Schneide und Montagemaschinen gemacht und konnten anhand der Auswertung der Tonprofile erkennen, ob sich da was in Zukunft negativ entwickeln wird, weil es da entsprechende Erfahrungen gibt.
00:38:23.525 --> 00:38:26.403
Das haben die vor ein paar Jahren mal irgendwie mit Hilfe von KI gemacht.
00:38:26.403 --> 00:38:30.070
Ich kann mir durchaus vorstellen, dass du Da auch Ähnliches machen kann.
00:38:30.070 --> 00:38:44.989
Also ich denke mir, das wird gerade im industriellen Bereich, kannst du mit diesen Modellen sicherlich vieles erreichen, was so die Auswertung betrifft was die Kommunikation, Wartung und Ähnliches betrifft weil einfach diese Sprache da ist.
00:38:44.989 --> 00:38:53.230
Und wenn du ihn mit den speziellen Daten zu diesem Maschine oder zu diesem Prozess betreust, kann er dir einfach nochmal viel bessere Aufgaben vor Ort geben.
00:38:53.230 --> 00:39:04.329
Und wenn du dann natürlich nochmal siehst, dass das Ganze ja mittlerweile multimodal wird, Dass du eben auch zum Beispiel ein Foto mal hinschicken kannst und sagen kannst, guck mal hier, so sieht es aus, was muss ich jetzt machen?
00:39:04.469 --> 00:39:08.829
Und das sagt dir dann gleich, was du machen musst, ist natürlich was anderes.
00:39:08.829 --> 00:39:16.730
Meine Lieblingsanwendung aus dieser Woche, Fotos machen auf Konferenzen von den Slides die Vortragen an die Wand werfen.
00:39:16.889 --> 00:39:25.590
Und dann gleich mal zu fragen, zum Beispiel wenn jemand dir an die Wand wirft, hier ist unser Framework, wie wir SharePoint eingefügt haben, in sechs Schritten.
00:39:25.815 --> 00:39:33.375
Und dann machst du ein Foto davon, schickst das mal gleich an Chat-GPT und sag mal, so bitte, das Framework finde ich klasse, wie kann ich das in meinem Unternehmen einbinden?
00:39:33.375 --> 00:39:41.954
Und du kriegst dann ungefähr fünf Seiten an ausführlicher Erläuterung mit welchen Schritten, mit einem Zeitplan, was du machen kannst, ohne dass du weiter gefragt hast.
00:39:42.054 --> 00:39:45.454
Dann sagst du schon, oh das war los, das war schön, das war nett.
00:39:46.175 --> 00:39:51.894
Das sind so Dinge, die, ich denke mir die dann auch im industriellen Bereich ganz klar weit vorne liegen.
00:39:51.894 --> 00:40:04.259
Und der industrielle Bereich hat ja immer schon KI genutzt Intensiver genutzt und wenn jetzt halt dieses Sprachmodell noch hinzukommt mit den Funktionen halt der Erkennung, der Sprache und dem Reasoning dann wird das nochmal einen ganz anderen Drive geben.
00:40:12.579 --> 00:40:24.550
Ich stimme, ich bin da völlig d'accord, gerade was die Industrie angeht Ich habe ganz oft schon Anforderungen gesehen und gehabt, die gesagt haben, Wir hätten gerne Vergleichsmechanismen.
00:40:24.550 --> 00:40:37.090
Das, was du gerade gesagt hast mit Ton, kenne ich schon von Qualität, weil einfach globale Unternehmen in unterschiedlichen Regionen fertigen und die Qualität auch sicherstellen wollen.
00:40:37.630 --> 00:40:45.269
Und da sehe ich relativ viel Nutzen weil das eben antrainieren lässt.
00:40:45.269 --> 00:40:48.909
Also ich habe tatsächlich etwas, was dem Standard entsprechen muss.
00:40:48.909 --> 00:41:02.568
Und dann habe ich die Möglichkeit, dort anzupassen Eine schnelle einfache Prüfung zu machen, die vorher sehr aufwendig war und die viele Probleme in den Fertigungsstraßen eben mit rausnehmen kann.
00:41:02.889 --> 00:41:17.028
Auswertung von IoT-Informationen Also habe ich irgendwo etwas, was vielleicht am Anfang einer neuen Maschine einen Produktionszeitraum von drei Sekunden pro Stück hat.
00:41:17.369 --> 00:41:30.349
Und je länger sie läuft, desto stärker habe ich dann den Effekt dass es einfach 3,2, 3,5 Sekunden dauert weil ich einen Verschleiß feststelle.
00:41:30.750 --> 00:41:48.550
Da kann ich dann anfangen zu sagen, okay, die letzten Maschinen dieser Art haben bei einer Grenze von 3,7 angefangen mit der Produktion Teil XY, dann musste getauscht werden.
00:41:49.309 --> 00:41:52.469
Und dann kann ich ganz gezielt Wartungen in der Richtung durchführen.
00:41:53.030 --> 00:41:55.250
Ich glaube, da ist nochmal ein ganz, ganz großer Punkt.
00:41:55.250 --> 00:42:01.210
Das mache ich aber typischerweise nicht mit einem OpenAI oder mit einem Chat-GPT.
00:42:02.349 --> 00:42:03.369
Ja und nein.
00:42:04.030 --> 00:42:07.789
Die Daten, die du da sammelst, sind natürlich, das ist halt Datensammlung.
00:42:07.789 --> 00:42:10.809
Also es ist eher komplette Daten, weil es ja relativ klar ist.
00:42:10.875 --> 00:42:17.135
Was du natürlich, wenn du diese Daten irgendwo gesammelt hast, alles gemacht hast, dann kannst du natürlich dann solche Fragen stellen.
00:42:18.815 --> 00:42:20.875
Guck doch mal über die Daten drüber weg.
00:42:20.875 --> 00:42:24.195
Das sind die Zeitabläufe oder ähnliches.
00:42:25.135 --> 00:42:26.514
Erkennst du da irgendwas drin?
00:42:26.514 --> 00:42:52.179
Hast du so dieses, ich habe mal jemand, der mal einen kritischen Blick drauf wirft So was kann ich mir gut vorstellen, dass es auch mit entsprechenden Datenmodellen gibt, was ja auch in Excel, wenn das mal richtig läuft, in den Co-Pilot mit eingebaut werden will, dass du sagen kannst, kannst du mir mal sagen, was sind denn hier vielleicht Auffälligkeiten, die in diesem, In dieser Tabelle auftreten die ich bisher noch nicht gesehen habe.
00:42:52.300 --> 00:43:00.780
Da, denke ich mir, liegt auch mal ein Punkt drin, wo man die KI oder gerade auch diese Sprachmodelle noch mal zusätzlich einsetzen kann.
00:43:00.780 --> 00:43:21.110
Auf der anderen Seite muss man halt immer gucken, wenn es um Datenerfassung, Auswertung geht, ob man das nicht eigentlich schon mit herkömmlichen Mitteln machen kann, weil natürlich, wenn du feste Zahlen und Werte hast und die irgendwie vergleichen willst, Dann brauchst du kein Wahrscheinlichkeitsmodell, was dir nochmal die Zahlen und Wahrscheinlichkeitspasses ausrechnet, so nach dem Motto.
00:43:21.349 --> 00:43:28.829
Weil dann kannst du es vermutlich auch mit einer vernünftigen Auswertung und Datenanalyse auch so aus den Daten herausnehmen.
00:43:28.829 --> 00:43:35.670
Kannst dann aber vielleicht mit dem GPT-Modell oder mit deinem Sprachmodell einfach nochmal einen Frontends schaffen.
00:43:35.940 --> 00:43:42.539
Wo auch jemand, der vielleicht noch ganz andere Anfragen an diese Daten hat, noch mal kommunizieren kann, wo vielleicht keine Auswertung drin ist.
00:43:42.539 --> 00:43:43.599
Das kann ich mir gut vorstellen.
00:43:43.599 --> 00:43:44.860
Ja, das
00:43:44.860 --> 00:44:01.719
sehe ich genauso, Michael, dass man das nicht mit einem LLM oder SLM löst und dass man hier eher mit einem klassischen Machine Learning drangeht und da das Zauberwort heißt, was Michael beschrieben hat oder Michi beschrieben hat, damit wir euch auseinanderhalten können.
00:44:01.980 --> 00:44:02.480
Ja.
00:44:03.239 --> 00:44:51.360
Das ist einfach ein Predictive-Maintenance-Ansatz und der ist sehr valide und hier würde tatsächlich AI zum Einsatz kommen, allerdings keine Gen-AI, also keine generative künstliche Intelligenz, sondern ein Machine Learning würde dort zum Einsatz kommen mit der Sicht auf die Daten, die Michi gerade angesprochen hatte, um daraus dann zu folgern Ob wir hier nicht hergehen und sagen, wir müssen das Werkzeug austauschen bevor es kaputt geht und der Ausschuss höher wird, weil wir haben jetzt die Produktionszeiten gemessen und stellen fest, die Produktion dauert deutlich länger oder was auch gern genommen wird, ist, der Ausschuss würde höher werden.
00:44:51.360 --> 00:44:56.139
Also die Qualität des Produkts leidet natürlich, wenn das Werkzeug langsam aber sicher kaputt geht.
00:44:56.355 --> 00:45:06.235
Und da finde ich den Ansatz gut, der Michi da reingebracht hat und gesagt hat, hey, hier haben wir es mit einem anderen Modell zu tun und hier müssen wir da anders drauf schauen.
00:45:07.114 --> 00:45:12.655
Finde ich durchaus valide aber ich teile deine Einschätzung, dass es absolut kein Use Case ist für LLMs.
00:45:15.869 --> 00:45:28.989
Ich sage mal so, Element, das eignet sich halt immer dann, wenn du diese Sprachinteraktion brauchst wenn du vielleicht so ein Verständnis Reasoning in der Richtung nutzen willst und wenn das an der Stelle Sinn macht, aber wie gesagt, oder Sinn ergibt.
00:45:44.380 --> 00:45:46.559
Sorry Ralf das musst du leider schneiden.
00:45:50.400 --> 00:45:51.920
Danke dir erstmal Michael.
00:45:52.679 --> 00:46:08.519
Es war für mich ein sehr interessanter Einblick, auch was das Thema LLMs, SLMs angeht was tatsächlich auch praktische Nutzen angeht Ich glaube, das ist etwas, was aus diesem ganzen Spieltrieb ganz oft vernachlässigt wird.
00:46:09.275 --> 00:46:12.994
Weil ganz oft einfach nur geschaut wird, hey, wo könnte ich denn jetzt anfangen?
00:46:12.994 --> 00:46:19.275
Wo könnte ich denn jetzt einfach mal ein bisschen damit rumspielen und dann tatsächlich auch einen praktischen Nutzen draus ziehen?
00:46:19.514 --> 00:46:27.875
Das ist, glaube ich das, wo viele noch dran kranken, wo auch teilweise Unternehmen noch ein Problem mit haben, die passenden Use Cases zu identifizieren.
00:46:30.474 --> 00:46:38.474
Wenn du jetzt noch einen Satz in Richtung unserer Hörerschaft mitgeben möchtest, was wäre das?
00:46:41.713 --> 00:46:42.534
Spielt es aus?
00:46:42.534 --> 00:46:43.333
Spielt rum?
00:46:43.394 --> 00:46:53.333
Zum einen, wenn man ein bisschen mit IT Spaß hat, ist es richtig spaßig zu sehen, wie du mit diesen Modellen lokal arbeiten kannst.
00:46:53.474 --> 00:47:00.474
Und es bringt tatsächlich ein anderes Verständnis für diese ganze KI.
00:47:00.474 --> 00:47:05.394
Und du siehst einfach Dinge nochmal anders von der Anwendung her.
00:47:06.403 --> 00:47:31.884
In der Kommunikation mit Anwendern nochmal anders reden, weil du einfach einen anderen Blick nochmal auf das ganze System bekommst, weil das finde ich schon mal sehr, also richtig interessant, ohne zu sagen, dass man das jetzt tiefgehend verstehen muss, aber man kommt schon dahinter und sieht immer, okay, das machen die deshalb, ah ja, verstehe ich und da muss ich noch warten, logisch gibt es noch nicht und so weiter.
00:47:32.844 --> 00:47:34.625
Ja und dann, das ist so.
00:47:35.213 --> 00:47:37.994
Und wie gesagt, es ist im Grunde genommen kein Problem.
00:47:37.994 --> 00:47:49.614
LM Studio oder Olamer runtergeladen kurz installiert in fünf Minuten, wenn ihr einen entsprechenden Rechner habt, der das unterstützt und auch vernünftigt, läuft das lokale Modell und ihr könnt loslegen.
00:47:52.293 --> 00:47:53.414
Sehr spannend.
00:47:54.074 --> 00:47:56.855
Vielen, vielen Dank nochmal, Michael, auch für die Einblicke.
00:47:58.273 --> 00:47:58.693
Ja
00:47:58.693 --> 00:47:59.134
gerne.
00:48:00.273 --> 00:48:04.253
Ja, ich bedanke mich auch ganz herzlich, dass du unser Gast warst und dir die Zeit genommen hast.
00:48:04.429 --> 00:48:08.269
Mit uns darüber zu quatschen und uns deine Erfahrungen und Sicht auf die Dinge zu geben.
00:48:08.570 --> 00:48:09.650
Super interessant.
00:48:09.969 --> 00:48:12.489
Viel zu kurz in dieser Zeit, hätte ich jetzt gesagt.
00:48:12.489 --> 00:48:13.869
Das ist zumindest mein Gefühl.
00:48:14.030 --> 00:48:19.050
Ich glaube, ich hätte noch eine dreiviertel Stunde länger mit dir ratschen können über das Thema.
00:48:20.150 --> 00:48:24.369
Ja, und damit sind wir wieder zu einem Ende unserer Episode gekommen, Michael.
00:48:27.639 --> 00:48:34.980
Magst du dich an unserer neu gewonnenen Schlussformel versuchen oder soll ich mich versuchen?
00:48:36.599 --> 00:48:38.918
Ich habe das jetzt schon ein paar Mal gemacht.
00:48:38.918 --> 00:48:41.059
Ich sehe den Ball jetzt auf deiner Seite liegen.
00:48:42.438 --> 00:48:44.139
Aha, ich wusste dass das kommt.
00:48:44.139 --> 00:48:48.278
Zum Glück gibt es ja ein Transcript von Aufnahmen.
00:48:48.278 --> 00:48:52.378
Deswegen bin ich natürlich vorbereitet hier reingekommen.
00:48:54.568 --> 00:49:01.190
Ich würde damit sagen, Dankeschön nochmal Michael und wir sprechen uns bei der nächsten Episode.
00:49:01.190 --> 00:49:08.028
Stay tuned, stay interested, sign up, listen up, here we go, bye bye, take care of all, thanks for listening.
00:49:08.730 --> 00:49:10.429
Bye bye, Dankeschön.