Vibe Coding im Realitätscheck: Was kosten AI Agents wirklich?

WEBVTT
00:00:17.911 --> 00:00:21.812
Hallo und herzlich willkommen zum Decode AI Podcast.
00:00:21.812 --> 00:00:22.812
Hallo Ralf.
00:00:23.239 --> 00:00:27.025
Steifer geht's fast nicht. Servus, Zamma Servus, Micha.
00:00:27.623 --> 00:00:30.585
Dann lassen wir mal hier noch arrangieren.
00:00:30.585 --> 00:00:32.487
Ich habe nämlich ein bisschen was mitgebracht.
00:00:32.487 --> 00:00:38.491
Wir haben beim letzten Boah! Mal über Vibe Coding gesprochen.
00:00:39.401 --> 00:00:43.825
Ja, die Be Mad Method vor allen Dingen, wir da unter die Lupe genommen.
00:00:43.825 --> 00:00:48.439
Nee, nicht nur. Du hast ja quasi noch einen Ansatz mit reingebracht.
00:00:48.713 --> 00:01:08.620
Genau, ich habe ja ganz blauäugig, wie ich manchmal bin, davon gesprochen, dass ich über Paperclip angefangen habe, dieses Wipe Coding aufzusetzen, Paperclip AI. Und dann hast du mir ans Herz gelegt, dass ich mich mal mit der BIMAD Methode auseinandersetzen sollte.
00:01:08.620 --> 00:01:14.435
Details dazu auch. Das war jetzt eine sehr, kurze Zusammenfassung, wo die Mehrwerte sind und alles.
00:01:14.435 --> 00:01:16.195
Das findet ihr in der vorherigen Episode.
00:01:16.195 --> 00:01:19.207
Aber diesmal wenn wir Mehrwerte gefunden haben.
00:01:19.609 --> 00:01:23.370
Ja, mehr Werte und eine Challenge.
00:01:23.370 --> 00:01:26.182
Und über diese Challenge würde ich heute ganz gerne reden.
00:01:26.182 --> 00:01:35.924
Nach dem Motto, würde das mal gucken, ob das umsetzt. Also die Challenge, das letzte Mal in meine Richtung.
00:01:35.451 --> 00:01:36.451
Ja.
00:01:35.924 --> 00:01:40.796
Spoiler, ich habe umgesetzt, umsetzen lassen.
00:01:40.796 --> 00:01:46.927
das ist ja das perfide mit AI.
00:01:46.927 --> 00:01:48.274
Keine Ahnung, was man noch selbst macht.
00:01:49.043 --> 00:01:54.167
Dann wollten wir ein bisschen über das Thema Kosten sprechen.
00:01:54.167 --> 00:01:57.859
Das Thema Kosten, ROI.
00:01:57.859 --> 00:02:10.769
haben wir im Vorgespräch schon ein paar unterschiedliche Wahrnehmungen dazu Du hast schon mal eine herausfordernde Frage, aber zumindest schon mal diese Gewissensfrage gestellt.
00:02:10.769 --> 00:02:13.580
Die würde ich auf jeden Fall auch gerne noch hier ...
00:02:13.913 --> 00:02:21.860
mal mitdiskutieren und vielleicht finden wir dann auch so einen Weg, zu reden, was man jetzt damit macht oder nicht.
00:02:22.421 --> 00:02:27.824
Ja, haben ja letztes Mal schon ziemlich viel auch über Gewissen teilweise gesprochen, weil Mhm.
00:02:28.224 --> 00:02:32.417
weil künstliche Intelligenz einfach einen enormen Energiehunger hat.
00:02:32.417 --> 00:02:35.828
Also können wir diese Frage nicht einfach immer wieder ausklammern.
00:02:35.828 --> 00:02:44.383
Das ist einfach mit dem heutigen Bewusstsein meiner Meinung nach nicht möglich und auch nicht fair, das zu tun.
00:02:45.044 --> 00:02:57.818
Grüß dich! Ja, stimmt. hast es ziemlich gut zusammengefasst und wir haben uns über deinen Paperclip-Ansatz unterhalten, über die BeMAD-Method. Ich hatte versprochen, dass ich einen neuen Ansatz mitbringe für diese Folge und das habe ich gemacht.
00:02:57.818 --> 00:03:01.520
Wir wollten ja quasi über Miniserien sprechen.
00:03:01.520 --> 00:03:05.562
Wir haben über Kosten gesprochen.
00:03:05.562 --> 00:03:10.694
Du hast ja glaubt das böse Wort Return of Invest gerade schon so bisschen angeteasert.
00:03:11.675 --> 00:03:17.206
was ja für die AI-Welt gerade so ein Zankapfel ist.
00:03:17.206 --> 00:03:27.573
dann hatten wir noch gesagt, wir müssten als Enterprise ja irgendwie auch als Nutzer in der Lage sein zu monitoren, wo gerade mein Verbrauch steht.
00:03:27.573 --> 00:03:35.086
Und haben gesagt, dass es gar nicht so einfach ist, wenn das Unternehmen das nicht mit einem teilt oder man diese Berechtigung hat.
00:03:35.086 --> 00:03:43.546
Und dann hatte ich versprochen, eine andere Möglichkeit mitzubringen, wie man quasi Vibe Coding voranschieben kann.
00:03:43.546 --> 00:03:53.421
Und auch das habe ich getan. Also ihr seht schon wieder eine vollgepackte Folge mit interessanten Sachen, die nicht nur Softwareentwickler interessant finden.
00:03:54.301 --> 00:03:59.543
richtig zur Erinnerung. es Software entwickeln geht, dann habe ich zwei linke Hände.
00:03:59.543 --> 00:04:36.286
Das ist ja der Grund, warum ich mit diesem Paperclip angefangen habe, mit Paperclip AI, weil ich eher so in die Richtung gehen würde und sage ich habe hier ein Wunschkonzert was passieren soll und dann soll das die AI entsprechend machen und genau so las sich das ja auch von der Beschreibung her. Ich habe beim letzten Mal schon grob erklärt, es baut dann so eine Architektur auf, eine Firmenarchitektur mit CEO, CTO und darunter dann den Agents, die sinnvoll sind oder nicht.
00:04:36.286 --> 00:04:47.512
diese sinnvoll Agents, da hast du ja gesagt, BIMAD ist ja eine Methodik, mit der man das sehr gut im Agentic Umfeld mit umsetzen kann.
00:04:47.512 --> 00:04:53.086
Das habe ich gesagt. Dann liebe AI, hier bitte guck dir diese Methodik an.
00:04:53.819 --> 00:04:59.502
und baue die Struktur bitte so dass es nach der Methodik läuft.
00:04:59.502 --> 00:05:03.855
Und rausgekommen ist, ich habe einen neuen Agent bekommen, einen Product Manager.
00:05:04.324 --> 00:05:06.404
Oh, nur einen Agent.
00:05:06.774 --> 00:05:15.800
Ja, der Rest war anscheinend schon soweit okay, weil ich hatte ja schon jemanden, einen Entwickler, hatte schon jemanden für die Quality Assurance Mmh.
00:05:15.451 --> 00:05:19.184
und dann einen UX Designer.
00:05:19.184 --> 00:05:32.593
Das heißt, ich hatte da schon laut dem, was da als Grundrollen schon mal mit bei war, schon mal relativ viel. Und dann habe ich gesagt, ja wunderbar, dann haben wir ja jetzt alles beisammen, dann leg jetzt mal los mit der Entwicklung.
00:05:33.110 --> 00:05:46.103
Und nach nur 10 bis 20 unterschiedlichen Kommandos, die ich da noch mal nachreichen musste und anbinden machen konnte, lief das auch. Also es lief wirklich Hm.
00:05:46.406 --> 00:05:52.298
zack und ein paar Tage später, weil ich lasse ja relativ viel mit meinen lokalen Modellen laufen.
00:05:52.298 --> 00:05:57.040
Da kommen wir nachher bei dem Thema Kosten noch mal drauf zurück.
00:05:57.040 --> 00:06:03.726
Habe ich am Ende des Tages ein Produkt bekommen, was Exakt nicht das war, was ich haben wollte.
00:06:03.726 --> 00:06:10.682
Ich weiß jetzt nicht genau, das Problem nicht eigentlich in Wirklichkeit 50 cm vor dem Screen liegt, aber...
00:06:10.336 --> 00:06:13.476
Vielleicht, vielleicht, das will ich nicht ausschließen.
00:06:13.476 --> 00:06:20.559
Aber ich war ja in meiner Wahrnehmung so, ich gebe denen die Unterlagen, die schon alles erarbeitet sind.
00:06:20.559 --> 00:06:37.863
Ich lasse das rauslesen, lasse daraus einen Plan erstellen und all das wurde gemacht. Also war ich völlig schockiert, als ich dann in dieses Portal reingegangen bin, was aufgesetzt wurde, habe dann die Applikation quasi gestartet und das ist ein ITSM.
00:06:38.579 --> 00:06:39.793
Das ist Ja.
00:06:40.130 --> 00:06:44.692
überhaupt nicht das Change Management, was in diesen Unterlagen beschrieben wurde.
00:06:44.692 --> 00:06:56.985
Dann ich lieber Freund, hier CEO, jetzt guckst du dir mal bitte an, was gebaut wurde und dann guckst du dir mal an, was gefordert wurde. Und dann hat er gesagt, Mensch, ich völlig das Falsche entwickelt.
00:06:56.985 --> 00:07:03.166
Auch dieser Dialog war direkt, das war die Aussage, die Erkenntnis von...
00:07:03.666 --> 00:07:10.107
von diesem Agent-Konstrukt, was dann gesagt hat, ja, ich habe sauber was entwickelt, was völlig in die falsche Richtung ging.
00:07:10.107 --> 00:07:22.247
Hat dann alles an, was es selbst analysiert hatte, nochmal dagegen gehalten, hat mir dann wunderbar gesagt, an wie vielen Stellen, ich glaube es waren 20 von den Vorgaben, die es machen sollte, fehlgeschlagen ist.
00:07:22.247 --> 00:07:28.987
Sie haben genau fünf Sachen umgesetzt, das war, dass es eine Web-Applikation ist mit einem bestimmten Framework, damit es im Web läuft.
00:07:29.487 --> 00:07:31.180
Aber inhaltlich war es halt völlig daneben.
00:07:31.721 --> 00:07:43.209
Ja, es hilft halt nicht, wenn du nicht mit Observability drüber gehst und am Ende des Tages deine Entscheidung triffst und sie in die richtige Richtung schiebst und du hast ja...
00:07:43.709 --> 00:07:49.723
nicht die B-MAT-Method angewandt, sondern du hast jemandem gesagt.
00:07:49.723 --> 00:07:52.404
Genau, und der Unterschied ist dann schon eklatant.
00:07:52.404 --> 00:08:11.317
Also hättest du das Framework installiert und dein Repository genommen und wärst dann darüber iteriert mit B-MAT, wär wahrscheinlich das Ergebnis jetzt sehr viel näher an dem, was du hättest haben wollen, als wenn du das über den Argentic Approach gemacht hättest.
00:08:11.086 --> 00:08:12.370
Es wäre ja immer Vielleicht.
00:08:11.887 --> 00:08:18.081
noch, also quasi, könntest ja den Stand des Repositories nehmen und den Gegenversuch da machen.
00:08:18.081 --> 00:08:21.122
Würde wahrscheinlich etwas mehr Zeit von dir binden, ja.
00:08:20.810 --> 00:08:24.312
Ja, vielleicht.
00:08:24.312 --> 00:08:47.392
Sagen wir vielleicht. Ich mag mich Hehehehehe da nicht so drauf festnageln lassen, weil unterm Strich, ich glaube, hat am ganz am Anfang die Analyse gemacht und hat die dann nicht weiter berücksichtigt, sondern hat irgendwas mit Change gelesen und hat dann in die Richtung entwickelt und ja, das war alles fertig, aber es war halt das falsche Produkt.
00:08:47.892 --> 00:08:52.873
Er gesagt, ich fange jetzt nochmal neu an, hat mir noch paar Entscheidungsfragen gestellt, das habe ich alles mit Mhm.
00:08:53.330 --> 00:08:56.493
berücksichtigt, habe das dann auch alles mit eingegeben, ja wunderbar.
00:08:56.841 --> 00:09:00.456
Und das hat der CEO gemacht. Also der hat dir diese Entscheidungsfragen gestellt.
00:09:00.697 --> 00:09:03.965
Das war glaube ich der CTO an der Konstellation.
00:09:04.255 --> 00:09:11.668
Wär auch die falsche Rolle eigentlich, Ja, aber der ist derjenige, der das Ganze dann an den Entwickler weiter bzw.
00:09:11.668 --> 00:09:16.631
an den Product Manager weitergibt.
00:09:16.631 --> 00:09:30.639
Das heißt, da gab es dann ganz oft Informationen, die von den verschiedenen Rollen wieder zum CTO hochgegeben wurden, dann wiederum Fragen zu stellen, weil das dann über diesen einen Kanal mit abgebildet sein sollte.
00:09:30.639 --> 00:09:32.639
Long story short.
00:09:33.139 --> 00:09:38.303
Ich habe dann meinen Entwickler, der läuft über ein lokales Modell.
00:09:38.303 --> 00:09:45.279
Ich glaube, drei Tage lang einfach nur noch pusten hören, weil Hmpf! der hat dann angefangen, alles neu umzubauen.
00:09:45.697 --> 00:09:46.697
Hmm?
00:09:46.900 --> 00:09:54.596
Ich glaube, drei Tage war keine Übertreibung, sondern wirklich. Ich habe auf meinem Nass das Ganze laufen.
00:09:54.368 --> 00:09:55.368
Ja klar.
00:09:54.596 --> 00:09:59.811
Das hat einen OK, ein GPU damit drin.
00:09:59.811 --> 00:10:01.091
Ich weiß gerade nicht, welches.
00:10:01.392 --> 00:10:13.495
Irgendso ein Mobile-Prozessor, ein Mobile-GPU drin. Auf jeden Fall merke ich immer, wenn der arbeitet, weil dann einfach die Lüftung an.
00:10:13.495 --> 00:10:23.717
Und zwar regelmäßig. Das heißt, alle zwei Minuten habe ich dann gehört, wie die... ...gemacht hat. Und dann wusste Hehehehehe ich, okay, der ist immer noch am Arbeiten, ohne dass ich aufs Dashboard gucken musste.
00:10:23.717 --> 00:10:27.830
Und dann hat er angefangen, das umzusetzen.
00:10:27.830 --> 00:10:29.059
Und er ist noch nicht fertig.
00:10:29.639 --> 00:10:34.231
Weil noch jetzt gibt es noch ein paar technische Probleme.
00:10:34.231 --> 00:10:40.183
Aber ich meine, ich mache das ja auch eher als Überprüfung, wie gut oder wie schlecht funktioniert das.
00:10:40.183 --> 00:10:51.828
Ich nehme billigend den Kauf, dass die GPU, die ich da habe, auch in Kombination mit dem Speicher, den ich da zur Verfügung stelle, eben auch nur einen Task nacheinander abarbeiten kann.
00:10:51.828 --> 00:10:58.302
Das heißt, ich habe dort eine sehr limitierte Ressource, die ich aber zumindest mal laufen.
00:10:58.783 --> 00:11:25.183
lasse, weil auf dem Nass noch viele andere Sachen mitlaufen und habe das dann, sage ich mal, einigermaßen unter Kontrolle soweit, dass es eben nicht von den Kosten her explodiert, weil ich dann irgendeinen Cloud Service nehme, der mir das alles, ich sag mal, zu teureren Preisen entwickelt hätte.
00:11:25.683 --> 00:11:26.683
Ja.
00:11:26.754 --> 00:11:39.102
Das sind wir ja quasi schon in der Story hier mit drin für unsere heutige Session.
00:11:39.102 --> 00:11:47.129
Soll ich jetzt spoilern, was wahrscheinlich mich das Ganze bisher schon hat, schrägstrich gekostet hätte oder sollen wir damit Ja, warum nicht?
00:11:46.938 --> 00:11:51.871
warten? Also zum Verständnis, wie das Konstrukt aufgebaut ist.
00:11:51.871 --> 00:11:58.498
habe für den, ich habe gerade 1, 2, 3, 4, 5, 6.
00:11:58.498 --> 00:12:07.597
6 Agents laufen, die alle unterschiedlich aufgebaut sind nach Befähigung mit unterschiedlichen Modellen.
00:12:07.597 --> 00:12:16.284
CTO und CEO laufen mit Cloud Sonnet 4.6, also wirklich auch in der Cloud.
00:12:16.284 --> 00:12:21.860
Erzeugen damit quasi echte Kosten und der Rest läuft mit lokalen Modellen.
00:12:21.860 --> 00:12:23.821
Das eine ist Gwen.
00:12:24.321 --> 00:12:35.822
für Koda, also Qan3 Koda 30 Billionen und Qan3 30 Billionen für quasi normale Entscheidungen.
00:12:35.822 --> 00:12:47.101
glaube, ist für den UX, der UX hat reasoning glaube ich was anderes. Long story short, ich habe dann jetzt mal gefragt, was sind denn da an Kosten aufgelaufen?
00:12:47.101 --> 00:12:56.173
Und seitdem ich das jetzt seit ein bisschen mehr als 20 Tagen benutze ist für Claude Kosten aufgelaufen von 100 Euro.
00:12:57.134 --> 00:13:02.356
Das fange ich alles über meine Subscription ab.
00:13:02.356 --> 00:13:06.389
Das heißt, das ist soweit okay.
00:13:06.389 --> 00:13:14.916
Wenig Zusatzkosten, wenig muss ich sagen, weil ich habe tatsächlich auch extra Usage, wenn es natürlich gerade am Laufen ist, dann will ich, dass es läuft.
00:13:14.916 --> 00:13:20.743
Das heißt, ich habe da bestimmt schon Echtgeld auch ein bisschen mit wenn man nur die Token betrachtet, sind es da 100 Euro.
00:13:21.395 --> 00:13:25.678
Der Cash hat das ganze von 700 Euro auf 100 Euro runtergebracht.
00:13:25.678 --> 00:13:28.220
den Cash lief es einigermaßen günstig dann.
00:13:28.220 --> 00:13:45.370
Und als zweiten Faktor habe ich mal gefragt, was ist denn jetzt mit Gwen? Weil mit diesen ganzen lokalen Modellen musste er mal kalkulieren können. Nimm mal eine Annahme und gib mir dann mal eine Information. Naja. Also je nachdem, über was man das dann gehostet hätte.
00:13:45.870 --> 00:14:02.826
wären wir so bei 18,30 oder 114,00 Euro wenn ich das extern gehostet hätte. Damit ihr das mal in Token wisst, ich habe mit den lokalen Modellen im Input ca.
00:14:02.826 --> 00:14:17.933
76,5 Millionen Token verarbeitet und im Output 14 Millionen und für die Sonet sind wir Jetzt muss ich zusammenrechnen im Moment.
00:14:17.933 --> 00:14:29.474
Kopfrechnen schwach. Da haben wir ungefähr 240 Millionen Input und Output 2,1, wobei halt auch viel gecached ist.
00:14:29.474 --> 00:14:37.573
Also für mein Spieleprojekt wäre, wenn das jetzt mal extern gelaufen wäre, wenn wir es auf Cloud Services hätten laufen lassen.
00:14:37.573 --> 00:14:40.994
Und Gwen sind ja schon eher die günstigeren Modelle.
00:14:41.844 --> 00:14:46.643
sagen wir mal so knapp 200 Euro Entwicklungskosten aufgelaufen.
00:14:46.643 --> 00:14:48.135
Da haben wir nur die Modellkosten.
00:14:48.802 --> 00:14:52.397
Und da reden wir jetzt auch davon, dass wir einmal in die falsche Richtung gelaufen sind.
00:14:52.897 --> 00:14:54.903
Okay, hilf mir, an welcher Stelle bin ich falsch abgebogen?
00:14:55.660 --> 00:14:57.988
Ja, naja, mein, er entwickelt das gerade neu.
00:14:58.488 --> 00:15:01.769
Ja, ach so, ja, ja, das meint sie mit falscher Richtung.
00:15:01.769 --> 00:15:05.860
ich dachte, meine Kostenberechnung oder Kostenbetrachtung.
00:15:03.854 --> 00:15:04.854
Also, ne, ne.
00:15:05.860 --> 00:15:09.591
das ist recht.
00:15:09.591 --> 00:15:23.914
allerdings auch, grad gesagt, 20 Tage, das sind jetzt so 20 Tage, wo immer so ein bisschen was nebenbei lief, sagen wir mal vier Tage, wo richtig aktiv etwas richtig nacheinander ablief, weil nicht irgendwelche Berechtigungen dazwischen hingen.
00:15:24.414 --> 00:15:52.701
noch irgendwelche ich habe mal das modell geändert und auf einmal verschluckt sich alles auch das gehört mit dazu und meine zeit ist da auch nicht mit drin was ich da alles schon mit reingepackt aber ja ist doch ok oder so 200 dollar 200 euro das doch ist doch grundsätzlich erstmal klingt doch gar nicht mehr so schlimm Jetzt bist du...
00:15:48.750 --> 00:15:54.030
Ich habe zwar noch nichts, aber wenn ich ein Ergebnis hätte, es vielleicht schöner.
00:15:55.481 --> 00:15:58.294
Wir haben ja jetzt nur eine reine Tokenkostenbetrachtung gemacht.
00:15:58.836 --> 00:16:01.615
Ja, richtig. Das reicht wohl nicht.
00:16:02.115 --> 00:16:09.679
Du hast ja auch Zeit reingesteckt, Ja, ein bisschen. Und ich weiß natürlich auch nicht, wie viel Strom da in der Zwischenzeit gelaufen ist.
00:16:10.076 --> 00:16:13.259
Genau, also das ist genau der Punkt.
00:16:13.259 --> 00:16:16.692
sehr schwer, diese Kosten zu erfassen.
00:16:16.692 --> 00:16:18.765
Auf Tokenbasis, glaube ich, hast du es sehr gut gemacht.
00:16:18.765 --> 00:16:28.125
Das heißt, wenn du sagst, 100 Dollar, aber es ist mit deiner Subscription abgefangen, dann müsstest du das nochmal ganz kurz erklären.
00:16:28.625 --> 00:16:35.341
Ja, weiß nicht, wie legal das ist, aber ich glaube, Entropic hat andere Themen als das gerade anzuhören.
00:16:35.341 --> 00:16:40.875
Weil es gibt so in den AGBs, glaube ich, so Abstufungen, was du wie mit abfangen kannst.
00:16:40.875 --> 00:16:47.912
Ich glaube, ich mache das über die CLI, was wiederum noch okay ist.
00:16:47.912 --> 00:16:57.759
ist so dieses, wir dulden das noch bis Mitte Juni wird das über die Subscription abgefangen und danach gibt es eine Änderung in den Subscriptions.
00:16:58.365 --> 00:17:00.066
dann wird das glaube ich auch wieder teurer.
00:17:00.066 --> 00:17:05.938
weiß noch nicht, wie ich das dann mache, ob ich das dann noch weiter nutze.
00:17:02.350 --> 00:17:03.350
wird erheblich teurer.
00:17:05.938 --> 00:17:26.996
Vielleicht nutze ich dann auch wie für meinen OpenClaw einfach Openrouter und nutze dann ein relativ günstiges Modell in der Cloud anstelle von dem da. Aber das andere Story, genau das mache ich quasi über installiertes Cloud, meine Subscription, die ich abgeschlossen habe für 20 Dollar im Monat.
00:17:28.200 --> 00:17:41.320
habe ich dort hinterlegt, habe mich angemeldet und über die Claw CLI wird das Ganze dann angesprochen. Das ist quasi die Schnittstelle, die Paperclip auch zur Verfügung stellt an der Stelle.
00:17:39.858 --> 00:17:40.858
Mhm.
00:17:41.320 --> 00:17:53.770
Und für die anderen Modelle habe ich ein Olamas laufen, was die GPU ansprechen kann in Form eines Containers und da drin habe ich dann die unterschiedlichen Modelle gehostet.
00:17:53.770 --> 00:17:55.707
Der lädt die Modelle in den Ich fern.
00:17:55.403 --> 00:17:56.751
Speicher rein auf meinem Nasr.
00:17:57.251 --> 00:18:03.451
Da ist allerdings auch ein relativ grosses, dickes, speicherintensives Nass mit bei.
00:18:03.451 --> 00:18:06.991
Also es ist bewusst mit diesem Ansatz gekauft.
00:18:06.991 --> 00:18:16.587
Gott sei Dank bevor der Speicherpreis in die explosionsartigen Richtung gewandert ist, da sind 92 Gigabyte Speicher drin.
00:18:17.545 --> 00:18:22.765
Ist es dasselbe nass, das uns vier Tage lang beschäftigt hat, als wir...
00:18:22.137 --> 00:18:31.412
Das ist dasselbe Nass, was mich in Redman tatsächlich so zwei, drei Tage echt frustriert hat.
00:18:30.030 --> 00:18:31.060
Ja, okay.
00:18:31.412 --> 00:18:39.184
Was übrigens nicht die Schuld vom Nass war, sondern von einem Zwischenstecker, der einfach aus war. Also das Nass konnte gar nichts dafür.
00:18:39.184 --> 00:18:42.586
Es war einfach keine Ahnung, warum dieser Zwischenstecker ausging.
00:18:42.586 --> 00:18:46.742
Anyways, genau dieses Nass, Okay.
00:18:46.939 --> 00:18:49.839
an dem ich tatsächlich so bisschen verzweifelt bin.
00:18:50.078 --> 00:18:55.778
Ich wollte nur... Ist ja okay, ist eine Zwischen-Story.
00:18:52.327 --> 00:18:53.327
Hahaha.
00:18:55.778 --> 00:19:01.588
Ja, spannend. wenn du jetzt ein Fazit ziehen würdest, wie würde das dann aussehen?
00:19:02.088 --> 00:19:29.637
Es ist eine schöne Feldstudie aus meiner Sicht, zu zeigen, dass wenn man versuchen möchte mit AI tatsächlich was lokal zu machen, gibt es Modelle und Möglichkeiten, die ich machen muss. Aber ich muss das Ganze auch mal in die Realität bringen und als Firma eben auch diese ganzen Rechenzentren-Abhängigkeiten mit Da reicht nicht irgendeine alte Büchse, die ich mal hinstelle und da geht jemand per Terminal drauf oder sonst irgendwas.
00:19:30.211 --> 00:19:51.260
sondern ich muss dann wirklich darüber reden, dass ich im Rechenzentrum meine GPUs reinbaue oder reinbauen lasse, dass ich GPUs anschaffe, die möglichst dafür sorgen, dass ich eine effiziente Berechnung da drin habe, dass ich Speicher zur Verfügung stellen muss und nicht nur 1TB an Festplattenspeicher.
00:19:51.260 --> 00:19:56.442
Die Modelle brauchen auch ein paar Gigabyte, aber eigentlich brauche ich Arbeitsspeicher.
00:19:56.701 --> 00:20:00.984
Die Crux, die gerade passiert mit diesen ganzen Hardware-Sachen.
00:20:00.984 --> 00:20:07.839
Der Grund, warum Spielekonsolen teuer werden, neue Hardware für Rechner teuer werden.
00:20:07.839 --> 00:20:12.463
Warum die Preise überall explodieren, was irgendwie mit einer klassischen Hardware zu tun hat.
00:20:12.463 --> 00:20:23.313
Warum wir inzwischen wieder DDR4-RAM haben, der teilweise seit, keine Ahnung, x Jahren wieder raus aus dem Geschäft war.
00:20:23.740 --> 00:20:24.740
Mmh.
00:20:24.814 --> 00:20:25.814
Und ...
00:20:26.182 --> 00:20:39.250
Dann kann ich sowas auch lokal machen und das sollte ich mir überlegen, wenn ich bestimmte Arbeitsprozesse habe, die vielleicht kritische Daten verarbeiten, denn ist es das immer noch wert.
00:20:39.250 --> 00:20:54.468
Heißt, aus meiner Sicht ist es nicht zwingend notwendig, eine KI in der Cloud laufen zu lassen, aber ich muss mir bewusst sein, oder über die Cloud laufen zu lassen, ich muss mir bewusst sein, dass das Unmengen an Ressourcen frisst.
00:20:54.468 --> 00:21:04.759
Und ich habe ja gesagt, Die Lüftung ging ja an. Ich bin mir sicher, dass der zu dem Zeitpunkt auch mehr als nur den Eidlstrom konsumiert hat, den er sonst Ich denke auch.
00:21:04.820 --> 00:21:07.015
hat. Die Kiste war beschäftigt.
00:21:07.726 --> 00:21:12.689
Ja, wenn Temperatur da ist, dann war sie sehr beschäftigt.
00:21:11.767 --> 00:21:12.767
Genau.
00:21:12.689 --> 00:21:34.632
Spannend. Und dabei haben wir jetzt noch einen Aspekt außen vor gelassen, nämlich dass die Daten, also du hast ja jetzt quasi lediglich in Anführungszeichen über eine Softwareentwicklung gesprochen, wo Code entsteht. Wenn wir darüber sprechen, dass wir Dokumente verwalten und verarbeiten oder wissen, wie auch immer, oder andere Formen von Daten.
00:21:35.132 --> 00:21:42.502
Dann wird das Ganze nochmal auf eine andere Nummer gelegt, weil es wäre blöd, wenn schnelle Modelle auf langsame Daten warten.
00:21:43.002 --> 00:21:44.002
Auch das Jahr.
00:21:44.531 --> 00:21:56.702
Also muss man da vielleicht in der Netzwerk-Tropologie nochmal eine Schippe drauflegen, damit Daten möglichst zügig anliegen und verarbeitet werden können und die Ausgabe dann entsprechend funktioniert.
00:21:56.702 --> 00:22:06.582
Also es ist ein bisschen ein richtig krasses Problem, mit dem man sich da auseinandersetzen muss, auf einmal wenn man sowas im Unternehmen einführen möchte und es lokal betreiben möchte.
00:22:07.082 --> 00:22:12.143
Die gleichen Herausforderungen haben natürlich auch die Großen.
00:22:12.143 --> 00:22:31.469
ganz egal, ob wir über Ionos sprechen oder bis nach Amazon und Microsoft Azure gehen. Sie haben alle dieses Problem und müssen sich damit auseinandersetzen. Sie sehen sich alle mit den Kosten konfrontiert, die du gerade genannt hast.
00:22:31.469 --> 00:22:54.940
Jetzt ist es so, wir stellen also mal fest. Und wir haben ja das letzte Mal auch schon kurz darüber gesprochen, dass gewisse Unternehmen bereits wieder stückweise zurückrudern in der Nutzung von AI, weil sie sagen, die Nutzung von AI übersteigt meinen Personalkostenschlüssel Mhm.
00:22:54.346 --> 00:22:57.377
bei weitem.
00:22:57.377 --> 00:23:08.987
Also nicht irgendwie eine Kleinigkeit oder so, sondern das ist das ist mal krass und trotzdem wird es weiter genutzt und der Hype ist quasi fast umgebrochen.
00:23:08.987 --> 00:23:11.153
Woran könnte das liegen? Warum ist das so?
00:23:11.993 --> 00:23:24.845
Ich glaube, wir sind gerade in einer ganz spannenden Phase zwischen Entdeckungsvorschaudrang und tatsächlich realem Nutzen.
00:23:24.845 --> 00:23:29.057
Wir befinden uns hinter diesem reinen Discovery-Modus.
00:23:29.057 --> 00:23:33.392
heißt, viele haben jetzt inzwischen ihre Use Cases schon definiert, die haben schon ihre Anwendungsfälle.
00:23:34.280 --> 00:23:43.699
und haben dort auch angefangen, die Prozesse mit umzustellen und einen Mehrwert draus zu generieren, zu erkennen.
00:23:42.931 --> 00:23:48.008
Genau, das ist ja auch die größte Schwierigkeit für die meisten Unternehmen.
00:23:48.008 --> 00:23:49.075
Was ist denn Mhm.
00:23:49.219 --> 00:23:50.780
echte Wertschöpfung durch AI?
00:23:51.780 --> 00:24:21.373
Ja, ich habe gerade gesagt, die meisten, die meisten heißt halt auch, die haben vielleicht mit 20 unterschiedlichen Workloads angefangen und davon laufen noch zwei, die tatsächlich dann mit KI eine Wertschöpfung mitbringen, weil diese Erfahrung erst einmal, wir probieren alles mit KI, ja, ging los und ist dann doch relativ schnell ernüchtert wieder runtergefahren worden.
00:24:21.182 --> 00:24:27.196
Das können auch mehr als zwei sein, hängt davon ab, wie und wo ich das mit umgesetzt habe, nicht auf die zwei fest nageln.
00:24:27.196 --> 00:24:40.926
Vielleicht habt ihr auch sechs umgesetzt, auch gut. Aber wir haben halt durchaus sehr viel gehabt, was losgelaufen ist, als die Kosten noch nicht so nach oben gegangen sind.
00:24:40.926 --> 00:24:48.903
Weil wir viel gesehen haben, wo die Anwender noch zaghaft waren, also wo auch die Entwickler nicht so viel damit gemacht haben.
00:24:49.403 --> 00:25:22.241
wo die Anwender nicht so viel gemacht haben, wo auch Datenmengen noch kleiner waren, weil man mal angefangen hat mit einem kleinen POC und wir schieben mal ein bisschen Daten rein, anstatt dass wir kontinuierlich irgendwo eine größere Datenmenge haben, die wir durch AI jagen. Ich glaube da ist schon ein bisschen Erfahrungswerte auch mit bei und durch die Anpassungen, die jetzt dann in den unterschiedlichen Verrechnungsmethoden hochkommen.
00:25:22.241 --> 00:25:37.229
Ich habe Entropic gerade angesprochen, aber das ist ja nicht nur Entropic, das macht ja auch ein OpenAI. Das macht ein Microsoft mit einem GitHub Copilot, die die Kosten anpassen.
00:25:37.229 --> 00:25:46.673
Da ist schon einiges, glaube ich, was auch nochmal dazu führen wird, dass die Leute deutlich stärker hinterfragen werden.
00:25:47.178 --> 00:25:50.605
Wofür nutze ich denn jetzt KI und was ist ein größerer Mehrwert davon?
00:25:50.605 --> 00:25:54.936
Ich glaube, das wird nochmal ein bisschen eine andere Wahrnehmung werden.
00:25:55.436 --> 00:25:57.101
Ich die Frage ist...
00:25:57.601 --> 00:26:07.772
habe ich einen klassischen ROI, ich AI einsetze, beziehungsweise wie macht sich das bemerkbar überhaupt?
00:26:07.772 --> 00:26:08.772
Und ich glaube da...
00:26:09.183 --> 00:26:17.359
Da werden wir noch das ein oder andere sehen, an welchen KPI es gemessen werden kann.
00:26:17.859 --> 00:26:24.375
Ich glaube, ziemlich viel, also ich würde sagen über die Hälfte der Führungskräfte heutzutage.
00:26:24.875 --> 00:26:49.953
glauben, dass AI für die Umsetzung der täglichen Aufgaben ihrer Teams wichtig oder ist. Trotzdem ist es auch so, dass ich überzeugt bin, dass die Das Erreichen des ROI oder das überhaupt festzulegen, was der ROI ist, sehr schwer zu berechnen und zu erarbeiten ist.
00:26:49.953 --> 00:26:56.698
Was ist denn tatsächlich der ROI von einem Einsatz von AI?
00:26:56.698 --> 00:27:19.342
Und da hast du schon einen ganz wichtigen Satz gesagt quasi, nämlich der Geschäftswert entsteht dadurch, dass wir in der Lage sind, zu bemessen, welche Prozesse oder welche, ja eigentlich welche Prozesse automatisiert wurden und schneller laufen und deswegen mehr Raum schaffen für etwas anderes.
00:27:19.342 --> 00:27:22.413
Und das ist ja, glaube ich, das grundsätzliche Thema bei AI.
00:27:22.413 --> 00:27:26.696
Es schafft mehr Raum für etwas anderes.
00:27:26.696 --> 00:27:30.108
Ist ja auch der Grund, warum du AI benutzt, oder? Am Ende des Tages.
00:27:30.608 --> 00:27:56.605
Am Ende ja, weil ich halt sagen kann, okay, kümmere dich jetzt bitte diese Aufgabe und ich gehe dann schon auf andere Themen. Das kann jetzt sein, dass ich eine umfangreiche Recherche mache zu einem bestimmten Thema, weil ich daraus basierend dann eine Präsentation teilweise auch erstellen Aber eben auch sage, okay, ich brauche dann eben mal die unterschiedlichen Einblicke auch.
00:27:56.605 --> 00:28:09.727
Ich brauche Studieninformationen, ich brauche Insights, ich vielleicht schon mal über ein 20-, 30-, 40-seitiges Dokument mir selbst aneignen kann.
00:28:09.727 --> 00:28:16.769
Oder ich eben die AI nehme und sage, mir da rein und hol mir folgende Aspekte raus.
00:28:16.769 --> 00:28:19.540
Und dann gucke ich mir die Sachen noch mal genauer an.
00:28:19.540 --> 00:28:29.424
Aber genauso gut, dass ich eben so wie in meinem Fall hier mit dem Showcase, möchte ich fast sagen, ich lasse was entwickeln.
00:28:29.718 --> 00:28:40.263
und muss nicht dabei sein. Das sind eigentlich so diese Seiteneffekte, wo ich sage, ich kann mich ~ andere Sachen nebenbei kümmern.
00:28:40.263 --> 00:28:47.417
Und das ist ja für mich im Office-Bereich etwas, was einen Riesen-Mehrwert bietet.
00:28:47.417 --> 00:28:56.913
Weil ich dann einfach weiß, okay, vor einem Meeting setze ich mich kurz an die Konsole, sage, mach das bitte. Der bekommt entsprechend den Rechten.
00:28:57.673 --> 00:29:00.394
dann die Möglichkeit etwas umzusetzen.
00:29:00.394 --> 00:29:51.063
Und am Ende des Tages komme ich raus aus dem Termin und habe ein fertiges Dokument, ich habe eine Linksammlung, habe irgendwas, mit dem was umgesetzt wurde, tatsächlich also aktiv etwas umgesetzt wurde, bis hin zu dem Punkt, dass ich sage, okay, das kann ich jetzt weiter verarbeiten oder habe ein fertiges Und wenn ich das auf ein Unternehmenssätze, was vielleicht in der Produktion irgendwo ist oder was mit großen Datenmengen arbeitet, mit Analysedaten arbeitet, dann habe ich da ja mehr Möglichkeiten, auch komplexe Berechnungen zum Beispiel, ohne dass da nochmal viel an Aktionen passiert, automatisch durchlaufen zu lassen.
00:29:51.063 --> 00:30:05.355
Das sehen wir auch ganz viel, was gerade von diesen Promt-getriebenen Einsätzen zu eventgetriebenen Ansätzen, mit der Einnutzung geht, auch im Office-Bereich.
00:30:05.355 --> 00:30:08.116
Da haben wir brutal viel Änderungen.
00:30:08.116 --> 00:30:13.672
das Berechnen des ROI's.
00:30:13.672 --> 00:30:24.319
Ich habe da vor kurzem einen schönen Post gesehen von der Sie mögen es mir verzeihen. werde Sie hoffentlich gleich nochmal zitieren.
00:30:24.319 --> 00:30:32.923
werden gleich nochmal loswerden Mahams Gedächtnis.
00:30:32.923 --> 00:30:55.428
Da hat sie so schön gesagt, sie hat zwar diese Momente, wo sie AI eine Aufgabe gibt, sich dann eine andere kümmert, aber gleichzeitig dann eben noch teilweise zwei, drei, vier unterschiedliche Aufgaben hat, die sie dann an AIs weiter delegiert und dann sehr viel trotzdem mit unterschiedlichen Themen hin und her springt.
00:30:56.025 --> 00:30:57.025
Femke.
00:30:57.587 --> 00:31:00.359
Nee, es war nicht Femke.
00:30:58.865 --> 00:31:00.005
Sie jetzt gleich gesagt.
00:31:00.359 --> 00:31:05.633
Vielleicht, okay, dann hat sie das Gleiche gesagt.
00:31:05.633 --> 00:31:11.846
Ich komm gleich drauf. Und sie mögen mir verzeihen, ich mein Namensgericht so schlecht ist.
00:31:12.785 --> 00:31:27.512
Ja, du kommst bestimmt drauf. Ja, also bleibt festzuhalten, der ROI von AI ist nicht so richtig einfach zu bemessen oder zu berechnen.
00:31:27.512 --> 00:31:42.510
Bleibt festzuhalten, man auf jeden Fall ein gutes Monitoring etablieren sollte die Nutzung von AI und damit nicht zwangsweise in Kostenexplosionen im Unternehmen stattfindet, das man nicht so vorhergesehen hat.
00:31:43.055 --> 00:31:44.905
Schreibt aber auch festzuhalten.
00:31:44.905 --> 00:32:06.615
Und das ist ja das, ich schon seit wir diesen Podcast haben und davor gesagt AI ist nicht jetzt da, uns sofort arbeitssuchend zu machen, sondern wir werden erstens nach und nach immer noch benötigt und werden wahrscheinlich partnerschaftlich mit AI dann arbeiten.
00:32:06.615 --> 00:32:11.121
Und das ist ja auch genau der Punkt, wo viele die Zukunft sehen von AI.
00:32:11.621 --> 00:32:53.205
Interessant ist jetzt aber auch, was du gemacht hast, das Thema mal ein bisschen wieder zu wechseln, mit der BeMAD Methode, die du agentisiert hast und damit ein Stück weit Struktur genommen hast, weil BeMAD ist primär eine Methode mit strukturiertem, agilen Ansatz, Das unterstützen wir durch künstliche Intelligenz im Entwicklungsprozess von der Ideation über Produktrequirements, über Architektur, Epics, Stories bis zur Implementierung.
00:32:53.705 --> 00:33:13.924
Dein Ansatz hat jetzt quasi einiges davon rausgeschmissen, weil da gehört ja nicht nur dazu, dass die den tollen Namen tragen, sondern dass es irgendwo ein Rezept gibt, nach dem man da vorgeht, was in deinem Unternehmen nicht umgesetzt wurde am Ende des Tages. Zumindest es hörte sich das jetzt danach an, Ich schon.
00:33:13.001 --> 00:33:19.056
weil du du du bevorzugst den agentischen Ansatz für Softwareentwicklung.
00:33:19.056 --> 00:33:30.335
Und ich hatte das letzte Mal ja schon gesagt, dass ich noch ein Alternative Ich habe es noch nicht ganz geschafft, mir selbst anzuschauen, aber ich wette, schaffe es, dich neugierig genug zu machen dafür.
00:33:31.195 --> 00:33:35.207
Es gibt etwas das nennt sich Ruffalo.
00:33:35.207 --> 00:33:37.692
Also es wird geschrieben R-U-F-L-O.
00:33:38.192 --> 00:34:07.709
Und das ist ein technischer Orchestrierungslayer für agentische Softwareentwicklung. Und viele spezialisierte Agenten, die ein geteiltes Gedächtnis haben, die mithilfe des MCP, also Model Context Protocol und der CLI, also so wie das Paperclip auch macht, mit Plugins, mit Föderationen über unterschiedliche Maschinen hinweg und anderen Sicherheitsfunktionen ein Projekt stemmt.
00:34:08.422 --> 00:34:18.913
Und Ruffalo beschreibt sich selber als Multiagent AI Harness.
00:34:18.913 --> 00:34:28.882
Mir ist in meiner Arbeit das Wort Harness für AI-Agenten jetzt schon öfter untergekommen, unter anderem bei Longchain.
00:34:29.373 --> 00:34:34.043
die einen Deep Agent haben, der sich als Agent Hornis beschreibt.
00:34:34.043 --> 00:34:37.849
Das ist ganz interessant, was Sie darunter alle verstehen.
00:34:37.849 --> 00:34:45.425
Also ein Hornis ist nichts anderes als Ich glaube, in der Arbeitswelt würde man davon sprechen, dass das ein Geräteträger ist.
00:34:45.425 --> 00:34:55.150
Ein Harnis in der Bundeswehr wäre etwas, was früher mal die Koppel gewesen ist, wo man halt ganz viele seiner Einsatz-Tools dranhängen kann.
00:34:55.150 --> 00:35:07.362
Wenn ich das bei einem Bauarbeiter sehe, ist der Harnis möglicherweise ein Fangengurt, wenn er sich irgendwo einseilen muss, plus Werkzeughalter etc.
00:35:07.844 --> 00:35:20.041
Also ein Harness ist etwas, einen grundsätzlichen Agent umgibt mit anderen Möglichkeiten, paart und die dann anknüpfen können.
00:35:20.041 --> 00:35:26.346
Und das verspricht jetzt dieses Roughflow zu sein.
00:35:26.346 --> 00:35:31.588
Also im Gegensatz dazu, wie ich es gerade schon gesagt habe, ist die BbMet Methode ja primär.
00:35:32.324 --> 00:36:11.679
strukturierte, agile, durch Künstliche Intelligenz unterstützte Entwicklungsprozess mit den unterschiedlichen Phasen, ich vorhin schon gesagt habe, mit den unterschiedlichen Rollen, die ich vorhin schon angebracht habe, während dann Ruffalo herkommt und sagt, okay, ich bin so fokussiert auf Cloud Code und Codex und andere und kann und dir über 100 spezialisierte Agenten mittels Teams oder Maschinen oder über die Vertrauensgrenzen hinweg verwalten und koordinieren, deine Software zu entwickeln.
00:36:12.179 --> 00:36:18.998
Das heißt also, hätten, wenn wir das Ganze ein bisschen zusammenfassen wollen, so ein Stück weit...
00:36:20.092 --> 00:36:48.809
Wenn wir also BeMAD und Ruffalo miteinander vergleichen, dann könnte die Headline irgendwie sowas sein wie Ruffalo skaliert Agenten, BeMAD skaliert Verständigung oder wir könnten sagen sowas wie nehmen wir mal deine Rolle ein und sagen für Entscheider ist Ruffalo eine Plattformwette und BeMAD ist eher eine Prozesswette.
00:36:49.625 --> 00:36:53.766
Das trifft es meiner Ansicht nach auch ganz gut.
00:36:53.766 --> 00:37:13.952
Wenn wir uns nämlich die beiden Tools miteinander vergleichend anschauen, dann haben wir bei BIMET immer noch mehr Methode drin, das an Softwareentwicklung erinnert, die klassisch agil getrieben ist, seinen Strukturen folgt und damit qualitativ gute Software entwickelt, wo raus gesetzte Input passt.
00:37:14.713 --> 00:37:17.884
Wie das bei Ruffalo abläuft, kann ich dir noch nicht genau sagen.
00:37:17.884 --> 00:37:22.554
Ich würde aber vermuten, es hängt davon ab, wie man die Agenten instruiert.
00:37:22.554 --> 00:37:28.548
Ich müsste mir noch mal bisschen Zeit nehmen, das auszuprobieren. Ich bin seit unserer letzten Aufnahme nicht dazu gekommen.
00:37:28.548 --> 00:37:43.764
Aber ich fand es super spannend, wie die Orchestrierung hier passiert und was da genau passiert in der Orchestrierung. Weil Ruffalo hat ja quasi den Agenten Schwarm und bei der B-Met Method bist du mehr so...
00:37:44.090 --> 00:37:50.094
in deinem Doing und du wartest da halt auch auf Ausführung.
00:37:50.094 --> 00:38:02.605
Während das bei dem Roughflow Ansatz so ist, du das beschrieben hast, so vor einem Meeting, schub sich hier nochmal kurz was an und dann gehe ich in das Meeting und wenn ich nicht da rauskomme aus dem Meeting oder morgen früh, dann ist er fertig und dann kann ich mir das Ergebnis ansehen.
00:38:02.605 --> 00:38:08.518
Also es hat zwei völlig unterschiedliche Aspekte.
00:38:08.518 --> 00:38:11.922
Wer sich das anschauen will, wir würden den Link da gerne hinteilen.
00:38:11.922 --> 00:38:18.094
Das ist auf jeden Fall was, noch Ich würde das der Tiefe analysieren, genauso wie ich das gemacht habe für BIMET.
00:38:18.094 --> 00:38:19.938
Jetzt hatten wir aber das letzte Mal noch ein anderes Problem.
00:38:19.938 --> 00:38:23.574
Du hast mich gefragt, wie ist denn so der Tokenverbrauch bei BIMET und dem ganzen Thema?
00:38:23.934 --> 00:38:31.916
Und auch für Ruffalo wäre das ja quasi ein Thema, wir uns unterhalten müssten, wie sich das darstellt.
00:38:31.916 --> 00:38:37.548
Und wir haben festgestellt, dass man das als Enterprise Nutzer gar nicht so einfach sagen kann. Warum ist das so?
00:38:37.548 --> 00:38:51.163
Du musst eine Berechtigung haben, die CLI zu starten und diese Fragen zu stellen gegenüber dem Anbieter deines Agents. In meinem Fall wäre das Codecs respektive GitHub Copilot.
00:38:51.856 --> 00:38:58.110
Da wir in einem Enterprise-Umfeld unterwegs sind und wir ein großes Unternehmen sind, habe ich natürlich diese Berechtigung nicht.
00:38:58.110 --> 00:39:14.858
jetzt würde man ja irgendwie, also man bräuchte einen Weg, das zu ändern, oder? Also ~ da direkt an diese Informationen dran zu Weiß ich nicht. Ich glaube, für die technisch verliebten Personen wäre das schon ganz gut. Die anderen sagen, Hauptsache ich kann es halt nutzen.
00:39:14.858 --> 00:39:24.264
Ich glaube für unseren Use Case, gerade wenn wir nochmal das Thema ROI betrachten, zählt das einen ganz, ganz großen Faktor.
00:39:24.264 --> 00:39:36.751
Also der Manager sollte schon auch das Gefühl haben, wie viel gerade seine Abteilung an KI-Tokens, an Kosten einfach in KI verbrennt.
00:39:37.376 --> 00:39:39.023
oder reinsetzt.
00:39:37.559 --> 00:39:41.623
Also sagen wir mal, dass der Manager das wohl am ehesten weiß.
00:39:42.123 --> 00:39:50.148
Aber machen wir da ein anderes Beispiel auf, du bist Dienstleister und du lieferst AI-unterstützte Ja, ja.
00:39:50.824 --> 00:39:52.184
Softwareentwicklung irgendwo hin.
00:39:52.184 --> 00:40:03.407
Wie möchtest du festmachen, wie viel das dann den Kunden gekostet haben könnte oder wie viel, also wie groß ist der Investort?
00:40:03.407 --> 00:40:08.489
Also wir würden ja tracken, wie viele Stunden wir investieren, den Kunden glücklich zu machen.
00:40:08.489 --> 00:40:11.846
Aber machen wir das im gleichen Maße für AI-Token auch?
00:40:12.346 --> 00:40:20.594
Wahrscheinlich geht das ganze nur über eine Annahme, die du mit reinsetzt und dann sagst du, guck mal hier auf die Tokens und wenn du die erreicht hast, machst du mal kurz eine Entwicklungspause bitte.
00:40:20.702 --> 00:40:31.510
Und bisher war das ja auch ganz einfach, weil wir wussten wir haben unsere Flatrate, sag ich mal, und konnten das abfrühstücken und dann war gut.
00:40:31.510 --> 00:40:43.050
Jetzt ändert sich das. Jetzt werden die Abrechnungszyklen und die Tarife teurer und jetzt muss man da vielleicht noch mal genauer hinschauen können.
00:40:43.050 --> 00:40:48.304
Und es gibt tatsächlich ein CLI Tool, das in der Lage ist das zu tun.
00:40:48.498 --> 00:40:57.940
einem Kollegen von mir aufgefallen, das fand ich ganz cool, das heißt CC Usage oder Crusage oder wie auch immer man es aussprechen möchte.
00:40:57.940 --> 00:41:05.112
Ich glaube CC Usage ist der korrekte Ausdruck dafür.
00:41:05.112 --> 00:41:15.565
Es ist ein Trending Github Repository und kommt von einem nicht ganz unbekannten Entwickler.
00:41:15.565 --> 00:41:49.956
Es hat bereits über 16K Stars auf GitHub und das ist in der Lage die Erfassung verschiedenster Modelle beziehungsweise das ist falsch was ich gesagt habe, Coding Agents und dessen Verbrauch zu erfassen und zwar von lokal das heißt läuft auf deinem Rechner macht eine Auswertung und kann dir dann die täglichen, wöchentlichen, monatlichen Bis hin zu Session.
00:41:49.956 --> 00:42:00.039
Also wenn du CC Usage startest, du dir von einer Session wo du gestartet bist sagen, wie viel Token du verbraucht hast.
00:42:00.039 --> 00:42:02.440
Also es ist ziemlich cool dieses Tool.
00:42:02.940 --> 00:42:11.746
Sehr einfach in der Handhabung, lässt sich sehr einfach installieren, wird gut unterstützt, macht eine relativ...
00:42:11.746 --> 00:42:14.927
Also eine Idee zu haben finde ich es ganz nett.
00:42:14.927 --> 00:42:18.150
Es läuft lokal, du hast keine auswertigen...
00:42:18.150 --> 00:42:24.233
Also gibst deine Daten nicht irgendwo hin raus, was zur Auswertung dienen würde.
00:42:24.233 --> 00:42:29.697
Von daher bin ich da super happy mit und finde das total cool, was dabei herauskommt.
00:42:29.990 --> 00:42:41.257
Und das kann ich euch nur ans Herz legen, wenn ihr wissen wollt, was euer lokaler Verbrauch von Tokens ausmacht, wenn ihr nicht selbst darauf zugreifen könnt auf diese Auswertung.
00:42:41.257 --> 00:42:51.403
Habt ihr diese Auswertung im Zugriff, dann macht es natürlich keinen Sinn, genauer hinzuschauen und es zu analysieren dort.
00:42:51.403 --> 00:42:56.237
Also, ich habe mir wieder Hausaufgaben aufgeladen, Micha.
00:42:56.574 --> 00:42:59.356
Du bist nicht alleine, du hast mich tatsächlich neugierig gemacht.
00:42:59.356 --> 00:43:17.032
Ich weiß noch nicht, ich das Roughflow nutze oder mal reinspiele. Aber zumindest mal das CC Usage und ich lese das auch so wie du. Das würde ich auf jeden Fall mal probieren.
00:43:17.032 --> 00:43:21.273
Ich habe mir parallel das Repo angeschaut.
00:43:21.273 --> 00:43:38.775
Ich finde das spannend. Vor allen Dingen möchte ich dann gerne auch verstehen, ob es ausschließlich auf CLI-Ebene arbeitet, so wie das echte Entwickler halt machen oder ob das auch für mich als ich nutze die Desktop-App Ergebnisse liefert.
00:43:38.775 --> 00:43:40.976
Mal gucken. Ich werde das testen.
00:43:41.737 --> 00:43:50.273
Ja, spannend. Ich bin natürlich immer daran interessiert, was so deins ist, was dabei rauskommt.
00:43:50.273 --> 00:43:54.155
Eine Einordnung noch von Ruffloh.
00:43:54.155 --> 00:44:20.541
Wenn wir Sicherheit und Governance Perspektive einnehmen und das mit Vergleich setzen zu BIMAD, dann sind wir bei BIMAD und haben dort Security Policies, die sehr stark auf sicheren Nutzung, Review, und Review von dem generierten Code gehen und sehr begrenzt im Dateizugriff sind etc. pp.
00:44:20.541 --> 00:44:26.393
Ziemlich aktuelle Versionen einsetzt, dass Dependency-Validierung stattfindet und so weiter und so fort.
00:44:26.393 --> 00:44:37.349
Und auch die Entwicklungsumgebung sehr isoliert läuft, während wir dann bei Ruffalo mehr technische Angriffsfläche hätten, aber auch mehr technische Sicherheitsmechanismen.
00:44:37.349 --> 00:44:43.690
Während BIMAD sich weiter mit weniger mit runtime Komplexität beschäftigt.
00:44:44.190 --> 00:44:50.384
Aber verlagert halt Governance stärker in Prozess, Review und Tool-Konfiguration.
00:44:50.384 --> 00:45:02.298
Hat Rufflo den Anspruch von Security-Funktionen wie Input-Validierung, Path Traversal Schutz, Command Injection Schutz und so was alles.
00:45:02.298 --> 00:45:10.141
das halt notwendig ist, weil man Agent hat, die Maschinen übergreifend oder übergreifend kommunizieren können.
00:45:10.141 --> 00:45:11.922
Sollten diese Mechanismen da sein?
00:45:12.728 --> 00:45:18.682
Genauso wie BIMED hat es Statusdokumente etc.
00:45:18.682 --> 00:45:25.217
Also es ist wirklich spannend zum Anschauen.
00:45:25.217 --> 00:45:46.014
Ich würde sagen, dass beide Projekte super sichtbar sind und super sinnvoll zum ausprobieren. ist sogar so, dass Ruffalo, obwohl es jünger ist als B-MAD, bereits 10k mehr Stars hat auf GitHub und knapp 1000 Forks mehr hat als die B-MAD Methode.
00:45:46.014 --> 00:45:48.014
Das finde ich schon mal super interessant.
00:45:48.014 --> 00:46:13.130
Es ist ein schnell wachsendes technisches System, hat eine hohe Änderung und Wartungsdynamik, während bei B-MAD das schon ein bisschen mehr gesetzter wirkt und auf mich den etwas weniger spielerischen Eindruck macht. Und deswegen ist auch die Einordnung für mich so, dass wir bei Ruffalo über ein technisches Experimentierfeld sprechen.
00:46:13.130 --> 00:46:21.592
Agentenschwärme, semantischer Speicher, Embeddings. Semantischer Speicher, noch nicht gehört? Interessantes Thema.
00:46:21.592 --> 00:46:25.103
Embeddings, Hooks, Tool Routing, GitHub Integration.
00:46:25.737 --> 00:46:27.800
Browser automation und all sowas.
00:46:27.800 --> 00:46:40.202
meine super cool, während wir bei BIMet halt nicht diese Agentenmaschine haben, sondern eher so ein KI-gestützten Delivery Ansatz, wo ich also noch selber die Hand als Entwickler mit anlege.
00:46:40.702 --> 00:47:07.342
Ich finde, ich finde es mega gut, Organisationen, reif genug sind, sowas wie agentische Workflows als Infrastrukturthema zu behandeln, Sicherheitsmodelle und Toolzugriffe anbieten können, sowie Kostenkontrolle respektive eine gute Control Panel am Start haben und vielleicht auch viel über lokale Modelle arbeiten, so wie es da Micha macht, können da mega gut mit abarbeiten, würde ich sagen.
00:47:07.452 --> 00:47:23.840
B-Met ist dann ein bisschen besser, wenn du mit eher unscharfen Bedingungen zu tun hast und nicht so sehr die Anforderungen klar sind, die Prioritäten sich wechseln könnten, die Architektur vielleicht inkonsistenter ist etc.
00:47:23.840 --> 00:47:35.815
Also es hat beides seine Für und Wider und ich schätze, meine persönliche Einschätzung ist, ein guter Mix aus beidem wird später dafür sorgen, dass gute Software rauspurzelt.
00:47:36.315 --> 00:47:38.972
Aber das ist nur meine persönliche Einschätzung dazu.
00:47:39.472 --> 00:47:47.474
finde das spannend, durch diese Ergänzung gewinnen wir ja tatsächlich auch einen Mehrwert, den wir für die Unternehmen schaffen können.
00:47:47.474 --> 00:47:57.081
Und wir haben jetzt in der aktuellen Episode ja auch über einiges Richtung ROI gesprochen, wie man sowas quasi mal beleuchten kann.
00:47:57.081 --> 00:48:17.119
Wir dabei einen ganz wichtigen Faktor tatsächlich noch vergessen, sind so versteckte Kosten. Und ich meine damit nicht die Strom, sondern das, was ich sag mal noch in diesen Themen wie Sozial, AI-Slop, auch das mit der Arbeitswelt.
00:48:17.119 --> 00:48:20.980
Aber das würde die heutige Episode tatsächlich deutlich sprengen.
00:48:20.980 --> 00:48:26.762
Das würde ich ganz gerne mit in die nächste Episode nehmen, Ralf, dass wir darüber mal sprechen.
00:48:26.762 --> 00:48:33.306
Dann kann ich vielleicht auch davon berichten, ob das was für mich war, das neue, das Ruffalo oder nicht.
00:48:33.762 --> 00:48:56.422
Also Ich finde das extrem diese unterschiedlichen Repos auch kennenzulernen mit den unterschiedlichen Ansätzen, weil ich glaube vielen fehlen noch auch die Möglichkeit ein bisschen über den vorgefertigten Weg hinauszuschauen und diese Hype Repos möchte ich fast sagen.
00:48:56.422 --> 00:49:04.043
Betrachtet glaube ich diese Lücken, die in ganz vielen Prozessen, wenn wir sagen wir machen irgendwas mit KI, Entwicklungen oder sonst irgendwas.
00:49:04.762 --> 00:49:15.460
geschlossen werden können. Also ich glaube da gibt es einen riesen Mehrwert das auch mit umzusetzen. Ich bin gespannt, vielleicht haben wir beide bis dahin schon Erfahrungswerte.
00:49:15.460 --> 00:49:16.460
Cool.
00:49:16.117 --> 00:49:35.983
Ja, ich werde auf jeden Fall mir das nächste Repository schnappen und ich denke, wir werden noch zwei davon betrachten, ob wir dabei jedes Mal dabei herauskommen, dass wir eine volle Strecke Software damit entwickeln können.
00:49:36.764 --> 00:49:46.335
Schwierig tatsächlich gibt es davon noch nicht so viele, mit denen das läuft, aber es gibt unterschiedliche Ansätze dafür, die wir auf jeden Fall mit euch beleuchten.
00:49:46.335 --> 00:49:50.918
Und ja, das Thema AI und Mehrwert super gern.
00:49:50.918 --> 00:49:54.443
Also ich fast gerne sagen, dass wir das in jeder unserer Folge brauchen.
00:49:54.943 --> 00:50:10.081
Ja, absolut. Und damit würde ich aber für die heutige Episode sagen, ich habe wieder was gelernt. Dankeschön, Ralf. Ich hoffe, ihr habt auch etwas gelernt.
00:50:10.081 --> 00:50:24.418
Vielleicht auch nur aus den Erfahrungen, die ich hier geteilt habe. Kontrolliert den Zwischenstand von dem, was entwickelt wurde. Challenge durchaus mal die AI, ob die auch immer noch weiß, womit sie eigentlich mal beginnen.
00:50:24.835 --> 00:50:44.143
sollte und was das Ziel war, respektive die passenden Frameworks zu implementieren, wie der Ralf das so schön gesagt hat, beMAT Methode und damit würde ich sagen, ich habe es schon wieder, ich kriege Teile zusammen von unserer Schlussformel.
00:50:45.342 --> 00:50:46.655
doch mal ein paar Teile davon.
00:50:46.655 --> 00:50:49.327
Es ist doch in Ordnung. Es wird schon Hehehe.
00:50:49.628 --> 00:50:52.731
gehen. Ich fände noch super interessant.
00:50:52.731 --> 00:51:03.670
Also erstens, Michael, ich habe viel gelernt von dem, was du erzählt hast heute. Ich fand das mega interessant, deine Kostenauswertung da zu sehen und zu hören.
00:51:03.670 --> 00:51:05.143
Und da sollten wir dranbleiben.
00:51:05.143 --> 00:51:07.764
Ich glaube, dass es ein bewegendes Thema ist im Moment.
00:51:08.264 --> 00:51:19.159
Und ansonsten hast du noch ein paar ganz interessante Knöpfe gedrückt bei mir, so was wie, wie sieht das eigentlich Home AI aus?
00:51:19.159 --> 00:51:21.054
Das beschäftigt mich jetzt allerdings Mach's nicht, das ist ein Rabbit Hole.
00:51:21.719 --> 00:51:26.920
schon nicht gerade eben, seitdem du das gesagt hast, sondern schon ein bisschen länger befasse ich mich damit.
00:51:26.920 --> 00:51:32.233
Wie könnte das aussehen? Also auch so was wird dann demnächst mal hier breit getreten werden.
00:51:32.733 --> 00:51:41.172
Ja, be careful. Das ist wirklich etwas, da kannst du tief drin versinken, aber es macht Spaß.
00:51:40.628 --> 00:51:48.034
Ich schon... Ich hab ein paar lustige und ein paar nicht so witzige Sachen schon eroiert.
00:51:48.034 --> 00:51:50.496
ist ganz witzig auf jeden Fall.
00:51:50.496 --> 00:51:53.139
Also Leute, vielen Dank fürs Zuhören.
00:51:53.639 --> 00:51:54.639
Micha?
00:51:54.432 --> 00:52:00.387
Ja, bleibt weiterhin interessiert.
00:52:00.387 --> 00:52:01.409
Und da hört schon wieder auf.
00:52:01.409 --> 00:52:03.885
Das war so das Wichtigste, ich im Kopf hatte.
00:52:04.385 --> 00:52:07.159
bleibt interessiert, bleibt neugierig, Danke.
00:52:06.960 --> 00:52:09.103
abonniert uns und hört uns zu.
00:52:09.103 --> 00:52:16.025
Wir freuen uns auf uns, uns das nächste Mal mit euch zu treffen hier an dieser Stelle. Euer Micha und Ralf.
00:52:16.025 --> 00:52:17.025
Bye bye.
00:52:16.880 --> 00:52:17.880
Ciao!