Ein Bedarf an Nuancen: Andrew Palmer vom Economist

In der heutigen Folge der Ich, ich selbst und AI Podcast, Andrew Palmer, leitender Redakteur bei Der Ökonom, beschreibt, wie Organisationen mit generativer KI experimentieren können, während sie Geschwindigkeit, Qualität und Risiko ausbalancieren. In seiner eigenen Organisation testen Andrew und andere künstliche Intelligenz mit menschlicher Aufsicht, um Effizienzsteigerungen beim Redigieren und Veröffentlichen zu entwickeln.

Als Moderator des Der Ökonom-Podcasts Boss Class spricht Andrew mit Führungskräften sowie Berufseinsteigern und hebt interessante Erkenntnisse aus aktuellen Gesprächen über Fähigkeiten und Einstellung hervor.

Abonnieren Ich, ich selbst und AI auf Apple Podcasts oder Spotify.

Abschrift

Allison Ryder: Wie experimentieren wir mit KI auf eine Weise, die produktiv, aber auch sicher ist? Der heutige Gast erklärt, wie er neue Entwicklungsprojekte mit KI angestoßen hat und berichtet, wie verschiedene Führungskräfte, mit denen er gesprochen hat, über die Technologie denken.

Andrew Palmer: Ich bin Andrew Palmer von Der Ökonom, und Sie hören Ich, ich selbst und AI.

Sam Ransbotham: Willkommen bei Ich, ich selbst und AI, ein Podcast von MIT Sloan Management Review die Zukunft der künstlichen Intelligenz erforschen. Ich bin Sam Ransbotham, Professor für Analytik am Boston College. Ich forsche über Daten, Analytik und KI bei MIT SMR seit 2014 mit Forschungsartikeln, jährlichen Branchenberichten, Fallstudien und nun 13 Staffeln Podcast-Episoden. In jeder Episode sprechen Unternehmensführer, führende Forscher und KI-Politikgestalter mit uns darüber, was KI-Hype von KI-Erfolg unterscheidet.

Heute begrüßen wir Andrew Palmer. Er ist leitender Redakteur bei Der Ökonom, wo er Autor der Kolumne „Bartleby“ und Moderator des Boss Class -Podcasts ist. Seine aktuelle Podcast-Staffel untersucht, wie der Einsatz generativer KI das Management und Berufe wie unseren verändert. Andrew, willkommen.

Andrew Palmer: Hallo, Sam. [Es ist] schön, hier zu sein.

Sam Ransbotham: Einige unserer Zuhörer kennen vielleicht nicht Der Ökonom oder die Boss Class Podcast. Können Sie uns eine kurze Einführung geben?

Andrew Palmer: Der Ökonom, war fast während seiner gesamten Geschichte ein wöchentliches Nachrichtenmagazin. Jetzt sind wir natürlich in vielen verschiedenen Formaten verfügbar. Wir werden in London veröffentlicht, aber unser Fokus ist global, und wir berichten über Wirtschaft, Unternehmen, Politik, Wissenschaft, Technologie und vieles mehr. Der Boss Class Podcast ist eine serielle narrative Podcast-Serie, die ich zu Management und Arbeitsplatz moderiere. Wir hatten bisher drei Staffeln, und wie Sie sagten, war die letzte speziell diesem heiklen Thema der generativen KI am Arbeitsplatz gewidmet.

Sam Ransbotham: Es ist heikel, und ich finde, Sie tun einen guten Job, einige dieser Heikelkeiten zu erkunden. Einer Ihrer Kollegen, Ludwig Siegele, sagte in einer Folge – und ich habe das herausgezogen – „Der Ökonom begrüßt Veränderung. Wir denken, Technologie ist gut und sollte genutzt werden.“

Ich finde diese innovationsfreundliche Voreingenommenheit immer etwas interessant, weil ich einen Hintergrund in Computersicherheit habe, wo wir vielleicht eine etwas andere Voreingenommenheit haben, ob Technologie genutzt werden sollte. Aber in diesem Fall stimme ich Der Ökonomzu. Wie würden Sie die allgemeine Philosophie des Journals gegenüber KI beschreiben?

Andrew Palmer: Ich würde sagen, „aufgeschlossenes Experimentieren“ ist wahrscheinlich die Art, darüber nachzudenken. Wir sind nicht kopfüber hineingestürzt. Wir haben eine Reihe interner Projekte, um zu sehen, wie wir es in unseren journalistischen Prozessen nutzen können. Zum Beispiel überprüfen wir alles, was wir tun, auf Fakten. Es gibt dort ein Forschungsteam, das eine Menge Material durcharbeiten muss. Ist es möglich, ihnen das Leben zu erleichtern, während Menschen die kritische Arbeit des Überprüfens erledigen?

Ähnlich müssen Journalisten einem Styleguide folgen, einer bestimmten Arbeitsweise. Können wir es ihnen also erleichtern, zu überprüfen, ob ihr Text das tut, was er soll, bevor er zu Redakteuren gelangt, die dann die Menschen in der Schleife sind? Es gibt viel interne Arbeit.

Und dann haben wir mit Dingen wie KI-generierten Transkripten von Podcasts experimentiert, die auf unserer Website verfügbar sind, und wir haben geheimnisvollere Sachen, bei denen ich sagen müsste: „Wenn ich es dir sage, müsste ich dich umbringen“, was wir in zwei bis drei Jahren tun könnten. Es gibt also eine ganze Palette von Dingen, die wir tun, aber wir sind immer sehr, sehr klar, dass wir eine bestimmte Marke haben, die mit hochwertigen, menschenintensiven Prozessen verbunden ist, und es steht viel auf dem Spiel, dass wir das richtig machen. Wir gehen auch ziemlich vorsichtig vor.

Sam Ransbotham: Eine der Ideen, die in einigen Folgen durchkam, ist die Idee einer „gezackten Grenze“, dass künstliche Intelligenz Sie in einigen Bereichen wirklich erstaunt hat, aber in anderen auch unerwartet katastrophal war. Wie beeinflusst das Ihre Denkweise über das Experimentieren?

Andrew Palmer: Ich denke, es kommt wahrscheinlich auf diese übergeordnete Denkweise der Vorsicht zurück, damit Sie die Technologie nicht gedankenlos übernehmen, erst recht nicht, wenn sie öffentlichkeitswirksam ist. Also durchläuft alles eine Experimentierphase. Eines der Dinge, die deutlich geworden sind – und das sieht man, denke ich, in jeder Art von Organisation, die damit ringt – ist, dass man wirklich erfahrene Leute in der Schleife braucht. Für uns sind das Redakteure, die schon sehr lange im Newsroom sind, die herausfinden, was als Qualität zählt, die Feedback zu den Experimenten geben, die wir durchführen, damit es mit der Zeit immer besser wird, und die eine ziemlich hohe Messlatte dafür setzen, was als gut genug gilt.

So wird eine Denkweise in tatsächliche Prozesse zur Bewertung und Überprüfung übersetzt. Und es ist eine neue Arbeitsweise für uns. Den größten Teil unserer Geschichte haben die Journalisten so ziemlich alles kontrolliert, und jetzt muss es viel kollaborativer sein, besonders mit dieser Technologie.

Sam Ransbotham: Was hat Sie überrascht? Was war die größte positive Überraschung und vielleicht die größte Enttäuschung?

Andrew Palmer: Ich nehme ein eigenes Beispiel, ein Herumspielen aus der letzten Staffel als eine Art Achterbahnfahrt. Also, wissen Sie, fast jeder Journalist auf der Erde macht jetzt Vibe-Coding. Ich bin da keine Ausnahme, aber damals schien es, als würden wir wirklich Neuland betreten. Das ist alles aufgezeichnet, aber ich bin kein Programmierer, habe absolut keine Ahnung, was ich tue. Sie sind in diesem Gespräch definitiv der Experte.

Wir haben einen Styleguide, den ich Ihnen erwähnt habe, der im Grunde unsere Bibel ist, wie man schreiben sollte, all die Grammatik, der Hass auf Amerikanismen, wie Sie schockiert sein werden zu erfahren – all solche Regeln, die man in einem großen PDF durchblättern kann. Man kann es seinem Redakteur überlassen, aber idealerweise hätte man etwas, das im Grunde nur Ihren Text gegen diesen Guide prüfen könnte. Ludwig Siegele, den Sie vorhin erwähnt haben, hatte ein Jahr darauf gewartet, Entwicklerzeit zu bekommen, um das zu bauen.

Es war relativ einfach, aber in einer geschäftigen Organisation mit vielen Leuten, die verschiedene Dinge zu tun haben, war dies weit unten in der Warteschlange. Das Magische daran war, dass ich mich zurückzog und in 75 Minuten eine Erweiterung baute, die Text gegen den Styleguide prüfte. Wenn ich sage: „Ich habe gebaut“, war ich eher so eine Art Marionette. Ich hatte wirklich keine Ahnung, was ich tat, aber durch die Verwendung von Claude wurde dieses Ding generiert. Das war irgendwie erstaunlich für mich. Ich hatte das Gefühl, etwas erreicht zu haben, das völlig außerhalb meines Zuständigkeitsbereichs lag, das ich einfach völlig unfähig gewesen wäre zu tun, und es umging eindeutig unsere internen Bürokratien.

Dann ist die Art von Enttäuschung, die Sie erwähnten, dass wir das tatsächlich nicht einfach am nächsten Tag magisch an die Leute herausgeben können. Es gibt eine Menge Governance, über die man dabei nachdenken muss. Die Hintergrundarbeit darüber, welche Architektur, welche Software, welche Datenprozesse wir haben, musste alles durchdacht werden. In der Praxis hätte das, was ich gebaut hatte, nicht skalierbar funktioniert.

Also, jedenfalls haben es zu diesem Zeitpunkt ein paar Leute übernommen, die wirklich wussten, was sie taten. Und es führte zu etwas Schnellem. Es hat den Prozess definitiv beschleunigt, ihnen Ideen zum Arbeiten gegeben, aber es war auch klar, dass ich nicht in der Lage sein würde, magisch alle organisatorischen Prozesse zu umgehen und Dinge zu ändern.

Ich weiß nicht, ob das enttäuschend ist oder nicht, aber es gibt andere Beispiele, wo dieses Ding mir einfach unsinnige Antworten gibt, halluziniert, all das Zeug, über das Sie Woche für Woche in der Show sprechen. Aber ich denke, das ist wahrscheinlich das beste Beispiel dafür, von diesem Gefühl der Euphorie, dass sich eine ganz neue Welt eröffnet hat, wieder auf den Boden der Tatsachen zurückgebracht zu werden.

Sam Ransbotham: Es gibt eine Binsenweisheit in der Softwareentwicklung: Wenn Sie einen Softwareentwickler fragen: „Wie weit sind Sie? Ist es fast fertig?“ Oh, sie sind zu 90 % fertig. Und diese ersten 90 % dauern etwa die Hälfte der Zeit oder ein Viertel der Zeit, und die letzten 10 % sind wirklich schwer, und sie brauchen immer viel Zeit.

Und ich denke, das sehen wir vielleicht beim Vibe-Coding. Es erledigt diese 90 % ziemlich schnell. Es macht die anfänglichen Bildschirme oder was auch immer, aber wie Sie sagen, gehört noch viel mehr zu diesem Prozess. Wenn ich darüber nachdenke, mit künstlicher Intelligenz zu extrapolieren, denke ich, wir neigen dazu, diese Linien linear oder sogar exponentiell zu ziehen, aber abnehmende Erträge könnten die normalere Form sein, besonders, wie Sie dort beschreiben, mit all den anderen Prozessen.

Andrew Palmer: Kann ich Sie etwas fragen, Sam? Sehen Sie selbst Vibe-Coding-Apps und bemerken Sie einen Unterschied?

Sam Ransbotham: Ich bin total ins Programmieren im Allgemeinen vertieft. Das ist mein Hobby, und ich liebe es. Was ich finde, ist fast genau das, was Sie beschrieben haben, dass diese Fähigkeit, etwas schnell zu prototypen, erstaunlich ist. Man kann einfach etwas hochwerfen und einen Schnüffeltest machen: „Ist das eine weitere Investition wert?“, ohne, wie Sie sagen, auf Ihre Bürokratie zu warten, die ein Jahr Rückstand hat.

Aber man kann sich nicht vormachen, dass das tatsächlich Produktionscode sein wird. Und so lernt man viel daraus, aber ich weiß nicht, ob man da wirklich etwas in die Produktion einbringt, denn bis ich den Code bekomme, habe ich jedes einzelne Bit umgeschrieben, bevor es tatsächlich in etwas geht, das Produktion ist. Aber es gab mir diesen Schnüffeltest ziemlich schnell.

Andrew Palmer: Einer der Leute, mit denen wir sprachen, war Anton Osika, der Chef von Lovable, einer dieser großen Vibe-Coding-Plattformen, mit Sitz in Schweden, und er hatte diesen schönen Satz – „Demo, don’t memo“ – als eine Art, darüber nachzudenken, was wirklich gut zum Prototyping ist. Machen Sie keine PowerPoints. Schreiben Sie keine langen Dokumente. Bauen Sie einfach das Ding und zeigen Sie, was es kann. Aber er war auch sehr klar, dass man nichts direkt in Produktionsumgebungen bringen möchte, was völlig konsistent mit dem klingt, was Sie gesagt haben.

Sam Ransbotham: Ich weiß, Sie sprechen viel über Jobs, aber eines der Dinge, die Sie dort angesprochen haben, war diese Verzögerung, die Sie hatten, als Sie auf den Style-Checker durch die normalen bürokratischen Prozesse warteten. Und Sie konnten sozusagen einen schnelleren Eindruck davon bekommen. Mein Gefühl ist, dass die meisten Organisationen riesige Rückstände von Projekten haben.

Andrew Palmer: Ich erinnere mich an ein Gespräch mit Hannah Calhoon, der KI-Chefin bei Indeed. Sie hatten sie vielleicht sogar in Ihrer Show. [Es ist ein] großer Jobmarktplatz, wie jeder weiß, und sie beschrieb die organisatorischen Probleme, die entstehen, wenn plötzlich jeder eine Menge Code generieren kann, was bedeutet, dass eine Unmenge Code von Leuten überprüft werden muss. Es ist ein bisschen wie ein Wasserbetteffekt, oder? Ich meine, die Arbeitsbrocken verschwinden an einer Stelle und tauchen woanders wieder auf.

Ich denke, die Frage ist: Ich glaube, Sie sagten, Sie würden im Grunde den Schnüffeltest machen, aber dann schreiben Sie alles wieder von Grund auf neu. Besteht das Risiko, mit Vibe-Coding auf halbem Weg eine Route einzuschlagen und dann festzustellen: „Eigentlich wollten wir hier nicht anfangen, also müssen wir es noch einmal machen?“ Das Durchdenken ist Teil der organisatorischen Herausforderung dabei. Es gibt eindeutig eine technische Herausforderung, aber tatsächlich ist die Art, wie wir Dinge entwerfen, um wirklich schlechte Ergebnisse zu vermeiden, irgendwie auch ein Hindernis für schnellen Fortschritt.

Sam Ransbotham: Aber das müssen wir noch nicht wissen. Wir experimentieren alle, wie Sie sagten. Jeder experimentiert damit. Wir müssen noch nicht genau wissen, wie diese in organisatorische Prozesse passen werden, ohne etwas zu lernen. All diese Werkzeuge, über die wir sprechen, werden sich verbessern. [Bei Unternehmen] wie Lovable, das Sie erwähnten, und anderen werden sie mit der Zeit besser werden. Ich denke, wir haben sozusagen die Kontrolle über unser Schicksal, wie das abläuft und worin wir investieren und worin nicht.

Andrew Palmer: Ich stimme dem theoretisch zu, und dann gibt es eine ganze Reihe von Anreizen im System, die in der Praxis Ihren Handlungsspielraum einschränken. Wenn Sie also eine Gruppe von Leuten in der Führungsebene haben, die stark unter Druck stehen, Produktivitätssteigerungen zu erzielen, ist es durchaus möglich, dass sie loslegen. … Wir haben es doch gesehen, oder? Ein Teil der Geschichte der ersten Jahre der generativen KI ist, dass man auf Dinge zusteuert, ohne unbedingt über die organisatorischen Konsequenzen nachzudenken.

Sam Ransbotham: Sprechen Sie über diese Anreize. Welche Anreize sehen Sie in Organisationen, die im Widerspruch zueinander stehen?

Andrew Palmer: Viele Vorstände setzen CEOs und ihre Kollegen stark unter Druck, sehr materielle Kapitalrenditen zu erzielen. Das können Kosteneinsparungen durch Entlassungen sein oder ein echter Produktionssprung. Keines dieser Dinge ist unbedingt großartig. Es kann sein, dass Sie Leute voreilig entlassen. Es kann sein, dass Sie tatsächlich Qualität gegen Quantität opfern.

Ich versuche, mir ein Beispiel auszudenken. Johnson & Johnson war ein weiterer Gast in der Sendung, und sie hatten einen sehr bewussten, quasi „Lasst tausend Blumen blühen“-Ansatz für generative KI in den ersten Jahren. Ich glaube nicht, dass sie katastrophale Ergebnisse hatten, aber sie stellten auch schnell fest … dass dieses Problem von Engpässen an verschiedenen Stellen auftauchte.

Es ist wieder das Wasserbett, oder? Diese sehr große Organisation hatte viele, viele Leute, die unabhängig voneinander auf die gleiche Art von Arbeitsablauf zur Verbesserung kamen, so etwas wie Rechnungsstellung, um das schneller zu machen, während das Einzige, was das bewirken würde, eine ganze Reihe von Rechnungen wäre, die dann bei der Finanzabteilung landen würden, die sie nicht erwartet, oder? Es gab also eine Art Chaos-Problem.

Aber noch wichtiger: Der Mangel an Priorisierung bedeutete, dass viel Arbeit geleistet wurde. Nur 15 % der Projekte lieferten 85 % des Werts. Der Rest brachte vielleicht einen Nutzen, die Leute lernten etwas usw. Aber was den Ertrag angeht, nicht so sehr. Also haben sie jetzt auf einen viel stärker prioritätsgesteuerten, zentralisierten Ansatz umgeschwenkt, bei dem es einen zentralen KI-Rat gibt.

Klingt ein bisschen nach Star Wars, [einen] zentralen KI-Rat zu haben, einen zentralen Datenrat, der Dinge absegnet. Aber es fühlt sich viel absichtlicher, viel zielgerichteter an. Sie sehen Umfragen unter Führungskräften, die sagen: „Wir haben noch keine massiven Produktivitätssteigerungen gesehen. In den nächsten drei Jahren erwarten wir sie.“ Irgendwann werden sie entweder sagen müssen: „Nun, es kommt keine“, oder sie werden in eine Art „Wir werden das schon hinkriegen“-Haltung gedrängt. Die Anreize, Ergebnisse zu zeigen, sind ziemlich stark.

Sam Ransbotham: Meine zynischere Sichtweise ist, dass wir viele Stellenstreichungen aufgrund von KI-Ankündigungen sehen, bei denen ich stark vermute, dass KI als Sündenbock benutzt wird. Sie haben die Wahl zu sagen: „Okay, ich habe eine wirklich schlechte Entscheidung getroffen und zu viele Leute eingestellt“ oder „Ich habe wirklich schlechte Entscheidungen getroffen, oder es ist diese KI-Sache.“ Es ist wirklich schön, auf das exogene Ding zu zeigen.

Ich möchte auf etwas zurückkommen, das Sie vorhin erwähnt haben. Wir sprachen über das Programmieren, aber ich denke, es ist ein größeres Problem im Allgemeinen. Vielleicht könnten wir das näher ausführen. Ihr Wasserbett ist, dass Sie eine Leichtigkeit der Erstellung geschaffen haben, wie mit diesen Werkzeugen, die die Fähigkeit haben, zu generieren. Ich meine, es steckt sogar im Namen: generative KIWir haben keine evaluative KIDas ist kein großer, massiver Trend da draußen. GenAI ist das Thema, nicht das Evaluieren.

Ich denke, das sehen wir sicherlich in der Wissenschaft. Offene Repositorien wie das [Internet] Archive wurden mit Einreichungen überflutet, weil der schwierige Teil weniger im Generieren liegt als vielmehr darin, herauszufinden, was es wert ist, konsumiert zu werden, insbesondere in unserer zeitbasierten Aufmerksamkeitsökonomie. Wie werden wir damit umgehen?

Bieten Sie etwas Hoffnung. Haben Sie irgendwelche Gedanken dazu, was mit der Welt passieren wird, wenn wir in der Lage sind, alles so schnell zu generieren?

Andrew Palmer: Das Beispiel, das mir in den Sinn kommt und mit dem ich gerade selbst herumgespielt habe, liegt im Bereich der Personalbeschaffung, wo es diese Art von unkontrollierter Generierung von Inhalten auf der Kandidatenseite gibt, und dann auf der Arbeitgeberseite sind Sie gezwungen, KI zu nutzen, um mit diesem Bombardement fertig zu werden. Es gibt also eine Art seltsames Wettrüsten.

Mein Beispiel dafür war, dass ich mich gerade bei einem Anbieter für automatische Bewerbungssoftware angemeldet habe, ein paar Details eingegeben habe, wirklich spärliche Details. … Ich hätte mehr Zeit damit verbringen können. [Ich] bin dann weggegangen, habe etwa eine Stunde herumgetrödelt, kam zurück und stellte fest, dass ich mich auf hundert Stellen beworben hatte. Ich hatte keine Ahnung, was das war, und darunter waren die Position des Betriebsleiters der Stadt New York und des Direktors der Iran and Afghanistan Veterans [of America]. Ich meine, Sie können wahrscheinlich am Akzent erkennen, warum ich nicht die offensichtliche Person dafür bin. Es schien ziemlich lächerlich, oder, dass man die Postfächer der Leute füllen konnte. Ich möchte mich also bei der Iran and Afghanistan Veterans Association entschuldigen.

Aber offensichtlich braucht man auf der anderen Seite dann diese automatisierte Antwort. Niemand ist damit zufrieden. Es ist wie ein wirklich schlechtes Gleichgewicht, das erzeugt wurde, und das kann man auch an anderen Stellen sehen.

Also, wie kommt man da raus? Ich schätze, mehr Menschen könnten ein Weg sein. Man könnte absichtlich Menschen in Prozesse auf der Arbeitgeberseite einbauen und irgendwie sehen, ob das in irgendeiner Weise funktioniert, aber das fühlt sich nicht sehr skalierbar an.

Man könnte transparent über seine KI-Richtlinie sein und sagen: „Es ist in Ordnung, KI zu nutzen, aber so wollen wir, dass Sie sie nutzen“, oder eine KI-spezifische Frage stellen, die beweist, wie Sie Ihre KI-Kenntnisse zum besten Vorteil nutzen würden, was auch immer das sein mag. Es gibt einige Hinweise – anekdotisch – dass Transparenz über die KI-Nutzung tatsächlich die Anzahl der gefälschten Bewerbungen reduzieren kann. Und dann, denke ich, die sehr langfristige Antwort, die mir ein bisschen zu sehr nach Nirwana klingt, um sie vollständig zu kaufen.

Sam Ransbotham: Erzählen Sie uns den Traum.

Andrew Palmer: Nun, das sagen die Leute in dieser Welt: Irgendwann wird die KI so gut sein, dass sie Kandidaten aufspürt. Es wird das geben, was sie Reverse Apply nennen. Als Kandidat müssen Sie sich also keine Sorgen machen, sich auf irgendetwas zu bewerben. Die KI wird von Ihrem Eintrag auf einer Seite wie Indeed genau wissen, wofür Sie geeignet sind, Ihre Vorlieben und Erfahrungen verstehen, und im Grunde werden sie zu Ihnen kommen – keine Notwendigkeit für all den Schrott, der bereits im System ist. Vielleicht wird das mit der Zeit der Fall sein. Ich würde wirklich gerne wissen, ob Sie das für plausibel halten, aber es scheint, dass wir eine lange Zeit brauchen werden, um dorthin zu gelangen, und in der Zwischenzeit ist es irgendwie schlecht für alle.

Sam Ransbotham: Ich denke, wir [können] einige Analogien zur Deepfake-Erkennung ziehen, die im Gange ist. Jedes Mal, wenn wir das Deepfaking verbessern, verbessern wir die Deepfake-Erkennung, und wir gehen hin und her. Wenn Sie also Bewerbungen für einen Job generieren, werden Sie den Detektor für Bewerbungen haben. Wir haben das zum Beispiel bei der Suchmaschinenautomatisierung gesehen, wo Sie die richtigen Schlüsselwörter auf Ihre Website setzen und in den Suchmaschinen „eingestellt“ werden. Wir arbeiten viele solcher Dynamiken durch.

Ich denke, in Ihrer Folge hatten Sie tatsächlich eine frischgebackene Absolventin, Kat Harrison-Gaze, die über die Erfahrungen bei der Bewerbung auf dem Arbeitsmarkt sprach. Können Sie das an einem Beispiel verdeutlichen?

Andrew Palmer: Kat war in Oxford, also im britischen Kontext, an einer sehr, sehr prestigeträchtigen Universität, eindeutig sehr klug, sollte jemand sein, den Arbeitgeber wollen. Es gibt viele Faktoren, die hier hineinspielen. Wir sollten das nicht nur der KI anlasten, aber sie beschrieb zwei Sorgen.

Eine ist der Bewerbungsprozess und „Wie navigiere ich das?“ Sie hat einen Verdacht gegenüber KI. Sie macht sich Sorgen über kognitive Abhängigkeit. Sie schätzte ihre eigene Fähigkeit, Dinge durchzudenken. Es war wie: „Wenn du dieses Ding anfasst, wird es mich infizieren und meine Denkfähigkeit verändern“, war ein Teil davon.

Und dann die zweite Sorge war allgemeiner: „Wenn man über eine Karriere in Jahrzehnten nachdenkt, wo zum Teufel setze ich meine Chips? Was ist die Karriere, die in Zukunft Sinn ergibt?“ Beides scheinen mir völlig vernünftige Sorgen zu sein. Es ist wirklich schwer, den Rekrutierungsprozess gerade jetzt zu navigieren. Ich denke übrigens nicht, dass das Nicht-Anfassen von KI die Antwort ist.

Der Rat an Kat war also: „Nutze KI, scheue dich nicht davor. So solltest du nicht darüber denken.“ Und der Rat an Arbeitgeber war: „Hier ist eine sehr kluge Person, die entschlossen ist, unabhängig zu denken. Schauen Sie sich sie an.“

Sam Ransbotham: Was Sie beschreiben, denke ich, ist, dass wir uns in Richtung Maschine-zu-Maschine-Interaktion bewegen … früher, in den alten Tagen, sind die Leute von Büro zu Büro gelaufen, haben sich beworben, vielleicht einen Lebenslauf abgegeben und jemanden persönlich getroffen – das wurde online. Was Sie so beschreiben, ist eine Zukunft, in der Ihr Faktor mit meinem Faktor spricht; Ihr Agent mit meinem Agenten verhandelt. Und ähnlich wie die Baseballspieler, die Agenten haben, die in ihrem Namen verhandeln, beschreiben Sie im Grunde, dass Sie Personalvermittler haben, die im Namen des Unternehmens verhandeln, Agenten, die im Namen des Arbeitgebers verhandeln, und dass dies nicht unbedingt Menschen sein müssen, sondern eine Maschine-zu-Maschine-Interaktion sein kann. Ist das die Zukunft, auf die wir zusteuern?

Andrew Palmer: Ich hoffe irgendwie nicht. Ich schätze, es kommt darauf an. … In der ersten Stufe kann ich das total verstehen. Es ist fast unerlässlich, oder, an diesem Punkt, weil es schwer zu sehen ist, wie es sonst skalieren kann. Aber solange es Menschen in der Belegschaft gibt – und übrigens, das ist ein Prozess, der von Menschen derzeit außergewöhnlich schlecht durchgeführt wird. Es ist ein wirklich schwieriger Prozess, ihn richtig hinzubekommen, aber vieles kann verbessert werden, indem Menschen sich die Zeit nehmen, ehrlich zu testen, ob jemand kulturell passt. „Dieser Job ist aus diesen Gründen gut, aber aus diesen schlecht.“ Solche Dinge müssen nicht von Menschen erledigt werden, aber sie funktionieren im Allgemeinen besser, wenn Menschen Dinge durchsprechen. Also müssen Menschen irgendwann im Prozess sein, denke ich. Solange wir mit anderen Menschen arbeiten, sind kulturelle Passung, die Werte einer Organisation, all diese Dinge absolut entscheidend für eine gute Einstellung.

Man könnte sich einen maschinengeführten, fähigkeitsbasierten Prozess vorstellen, der testet, ob jemand den Job machen kann. Aber was motiviert sie eigentlich? Warum treten sie bei? Würden sie gut passen? Will ich mit dieser Person arbeiten? All diese Dinge. Ich habe nicht das Gefühl, dass ein Agent der richtige Weg ist, um diese Fragen zu beantworten.

Sam Ransbotham: Vielleicht liegt es nur daran, dass ich mich damit wohlfühle, was die Leute angeht, mit denen ich arbeite … aber wie Sie sagen, machen wir das historisch gesehen schlecht. Wir treffen voreingenommene Entscheidungen. Wir treffen Entscheidungen aufgrund von Merkmalen, aufgrund derer wir diese Entscheidungen nicht treffen sollten. Ich finde es irgendwie reizvoll, dass die zunehmende Automatisierung uns vielleicht helfen könnte, das zumindest zu erkennen oder zumindest potenzielle Kandidaten zu heben, die unsere Vorurteile uns vorenthalten haben.

Andrew Palmer: Das stimmt. [Psychologe] Danny Kahneman war offensichtlich sehr, sehr dafür, dass der Algorithmus in jedem Prozess ist, und würde wetten, dass das viel besser ist als jeder Mensch. Ich denke, es ist wahrscheinlich eine Kombination aus beidem, oder? Ich meine, man hat eine regelbasierte, algorithmische Methode, um Voreingenommenheit aus der Art und Weise zu entfernen, wie man Fragen stellt, was auch immer. Trotzdem gibt es grundlegend etwas Wichtiges daran, mit jemandem auszukommen, was ein ziemlich wichtiger Teil einer Einstellung ist.

Darf ich nach Wettrüsten fragen? Tut mir leid, dass ich den Spieß umdrehe, aber Sie sind in der Cybersicherheit, oder?

Sam Ransbotham: Ja, das war damals meine Dissertation.

Andrew Palmer: Diese Art von Wettrüstungsproblem – Sie haben eine KI, die Schwachstellen aufspürt, und eine KI, die versucht, sie zu patchen. Was ist der Endpunkt dabei, und was ist die Rolle des Menschen in dieser Welt?

Sam Ransbotham: Ich würde gerne die Antwort darauf wissen, was das sein wird, aber sicherlich ist es groß. Wir haben so viel Automatisierung bei Dingen gesehen, die früher menschliche Penetrationstests und solche Dinge waren. Das ist alles weitgehend automatisiert worden, aber es gibt etwas grundlegend Cleveres an Menschen, die Wege finden, sowohl zu schützen als auch Anreize zu gestalten, die, denke ich, in vielerlei Hinsicht immer noch die Oberhand behalten.

Was jetzt passiert, ist, dass, sobald wir die Anreize klar haben und ein strukturiertes Regelwerk haben, die Maschine es auf die hyperverfeinerte Ebene bringt, aber dann wird jemand mit einem anderen Ansatz oder einer anderen Idee kommen. Und leider ist das häufige Problem in der Sicherheit, dass die Menschen das schwächste Glied sind. Wir könnten den ganzen Tag Ihr Passwort angreifen, aber es wird viel einfacher sein, einfach in Ihr Büro zu gehen und einen Blick auf das zu werfen, was Sie auf dem Haftnotizzettel auf Ihrem Schreibtisch geschrieben haben, oder Sie dazu zu bringen, es preiszugeben. Also denke ich, wir sehen, dass die Sterblichen hier das schwächere Glied sein könnten.

Ich meine Maschinen, weil nur Maschinen so schnell reagieren können. Aber ich komme zurück auf eine Ihrer Folgen über den Oura Ring. Eine Möglichkeit, ein Unternehmen anzugreifen, wäre ein Rückerstattungsangriff. Ich meine, das ist nicht das, was wir als traditionellen Cyberangriff betrachten, aber ein Rückerstattungsangriff könnte darin bestehen, sich über etwas zu beschweren, das mit einem Produkt nicht stimmt, um eine Rückerstattung zu erhalten. Und Sie hatten das Beispiel des Oura Rings. … Warum beschreiben Sie es nicht? Der KI-Agent diagnostizierte das Problem, überprüfte die Richtlinie und bestellte dann den Ersatz.

Andrew Palmer: Ja, genau das war es. Wir haben mit Mike Krieger gesprochen, der einer der Leute bei Anthropic in deren neuen Produktabteilung ist, Mitbegründer von Instagram. Er sprach darüber, was auf ihrer Roadmap stand, und offensichtlich, unvermeidlich, begannen wir, über agentische Dinge zu sprechen. Er erzählte von seiner besten Kundenerfahrung zu diesem Zeitpunkt. Der Ring [Kamera] schien ein Batterieproblem zu haben, interagierte nur mit einem Agenten. Und dieses Ding entschied im Grunde selbst, dass er Anspruch auf einen neuen Ring hatte. Es fragte nach seiner Adresse, und es wurde verpackt. Und er betrachtete das als die absolut beste Kundenerfahrung, die er je hatte.

Zu Ihrem Punkt jedoch: Was hindert die KI daran, Ihnen einfach Batterien fürs Leben zu geben? Das steht in den Richtlinien, oder? Es ist wie: Wenn es eine bestimmte Schwellenzahl oder einen Prozentsatz von Rückerstattungen gibt, die von einem Agenten gewährt werden, dann hört man auf und übergibt es an einen Menschen oder ein anderes KI-Modell.

Da steckt also viel in der Governance. Und dazu hatte ich ein Gespräch mit Bret Taylor, dem Vorsitzenden von OpenAI, aber auch dem Mitbegründer von Sierra, einem weiteren Startup für kundenorientierte Agenten. Und auch hier waren Metriken super wichtig, um das richtig hinzubekommen. Anfangs dachten sie: „OK, jeder Anruf, der nicht erfordert, dass der Agent an einen Menschen übergibt, ist ein erfolgreicher Anruf.“ Und dann erkannten sie: „OK, das ist völlig manipulierbar. Also werden wir einfach nie an einen Menschen übergeben.“ Hundertprozentiger Erfolg. Alle sind zufrieden. Und offensichtlich ist das nicht richtig. Also haben sie jetzt eine kombinierte Metrik aus dem Anteil der Übergabeanrufe, aber auch dem Net Promoter Score von Kunden, die die Interaktion mit dem Agenten erlebt haben. Diese gemischte Metrik scheint zu funktionieren.

Das fühlt sich völlig offensichtlich an, aber es ist irgendwie das tägliche Brot der Umsetzung von gutem Management. Was ist das Problem, das Sie zu lösen versuchen? Wie messen Sie Erfolg? Das ist völlig grundlegend dafür, dass das richtig gemacht wird. Und das ist ein einfaches Beispiel dafür, wie sie zu einer anständigen Metrik gekommen sind.

Sam Ransbotham: Ja, diese Messung ist eine große Sache. Ich denke, eine Sache, die passiert, ist, dass diese Werkzeuge uns helfen, Dinge anders zu messen, sodass wir Dinge messen können, die wir vorher nie messen konnten. Wir sammeln viel mehr Daten, und das ist großartig. Aber es zeigt auch, dass viele der bestehenden Messgrößen möglicherweise … ich glaube, Ihr Ausdruck war manipulierbar, dass, sobald Leute herausfinden, was diese Metrik ist, sie etwas tun werden.

Lassen Sie mich zu Ihnen wechseln. Unsere Show ist Ich, ich selbst und AI. Wie sind Sie dazu gekommen? Erzählen Sie uns etwas über Ihren Hintergrund.

Andrew Palmer: Ich bin seit 2007 bei der Zeitschrift [und hatte] mehrere Schreib- und Redaktionsjobs, die eine Vielzahl von Themen abdeckten, von Lateinamerika über Finanzen bis zu unserem Datenjournalismus-Team, Großbritannien-Redakteur usw.

Zuletzt habe ich über Management und Arbeit geschrieben. Und das meiste, was wir hier bei Der Ökonom tun, ist ein Blick von außen nach innen. Es sind große unpersönliche Kräfte am Werk, makroökonomische, geopolitische, technologische. Ich bin die Person innerhalb des Arbeitsplatzes, die nach außen schaut, und betrachte Menschen sozusagen als Nebenprodukt davon, wie wir alle interagieren.

Ich mache das schon eine Weile, und ganz offensichtlich beeinflusst KI den Arbeitsplatz und beeinflusst uns als Angestellte und beeinflusst Manager und wirft alle möglichen Fragen auf. Es war also sehr natürlich für mich, darüber zu schreiben. Und ich denke, es ist einer dieser superinteressanten Schnittpunkte, wo man diese unglaublich wissenschaftliche, kalte Maschinentechnologie hat, und dann hat man diese unglaublich chaotische Suppe von Emotionen, was ein Mensch ist, und sie zusammenzubringen, ist wirklich interessant zu beobachten.

Hier ist eine kleine Vorschau, aber es wird keine Vorschau mehr sein, wenn das rauskommt: Ich schreibe diese Woche über die eine Sache, auf die sich alle einigen können. Es ist großartig, dass KI die Drecksarbeit oder Plackerei beseitigen wird. Ich bin mir da nicht ganz sicher, denn für Menschen ist Plackerei in der richtigen Dosis wirklich gut. Es ist wirklich gut. Es gibt ein bisschen Handlungsspielraum, weil man Dinge erledigen kann. Man kann sich ein wenig entspannen, weil man nicht die ganze Zeit auf Hochtouren sein kann. Es gibt einige Hinweise, dass Gedankenwandern wirklich gut für die Kreativität ist. Also gibt es ein Problem mit der Idee, dass wir alle die ganze Zeit auf höheren Aufgaben maximal ausgelastet sein werden. Wir sind einfach nicht dafür gebaut. Das ist also das Terrain, in dem ich mich bewege.

Sam Ransbotham: Ich finde das ziemlich faszinierend. Es stimmt, dass man nur durch Innehalten, Nachdenken und Reflektieren, und es braucht ein bisschen, nicht ständig aktiv zu sein, um solche Ideen zu haben. Das ist sicherlich das Gegenteil von „Oh, du wirst die Plackerei loswerden.“ Auf der anderen Seite gibt es sicherlich viele unserer Jobs, die echte Plackerei sind, und ich denke, der Trick ist, dass wir versuchen, das alles herauszufinden. Wie viel Plackerei ist die Goldlöckchen-Menge?

Andrew Palmer: Wieder kommt man auf Anreize zurück. Ein Manager mit einer bestimmten Denkweise könnte denken: „OK, Herumtrödeln ist nichts, was ich möchte, dass jemand auf meiner Gehaltsliste jemals tut, oder?“, „Lasst uns rausgehen und die ganze Zeit kognitiv intensive Dinge tun. Es wird erstaunlich sein.“ Es gibt also auch eine Art Denkweise, die sich ändern muss, wie wir Plackerei vorher nicht loswerden konnten – es war einfach ein Teil des Lebens. Was, wenn es eine Option ist, alles loszuwerden? Wie würde man darüber denken?

Ich war einmal einige Zeit in einem Flugsicherungszentrum, wo ihre Aufgabe darin besteht, darüber nachzudenken: „Was ist die optimale Leistungsumgebung, in der Sie nicht möchten, dass diese Leute unter ihrem A-Spiel sind?“ Es gibt also eine wirklich interessante Balance, die sie dort zu finden versuchen, zwischen man will nicht überlasten, also [braucht man] begrenzte Sitzungszeiten und obligatorische Pausen, aber man will auch nicht unterstimulieren, weil [bei] zu viel Langeweile die Aufmerksamkeit im Grunde beginnt, in Bahnen abzuschweifen, die nicht großartig sind, wenn man für die Flugsicherung verantwortlich ist. Also haben sie darüber nachgedacht, oder? Es ist eine Art Disziplin der menschlichen Faktoren. Und seltsamerweise wird es wahrscheinlich in jedes Büro kommen, nur in einer viel weniger risikoreichen Weise.

Sam Ransbotham: Eines der Dinge, die Sie dort erwähnt haben, war, dass wir früher nicht die Fähigkeit hatten, diese Dinge zu automatisieren, und so mussten wir keine Entscheidungen treffen. Jetzt, wo wir diese Fähigkeiten haben, müssen wir einige schwierige Entscheidungen treffen. Welche Art von Fähigkeiten helfen Menschen, diese Entscheidungen zu treffen? Ich bin an einer Universität, helfen Sie mir hier. Was sollten wir Studenten helfen zu lernen? Welche Arten von Fähigkeiten helfen ihnen, solche Entscheidungen zu treffen?

Andrew Palmer: Seltsamerweise verwende ich den Begriff menschliche Faktoren, was eine eigene Disziplin ist, oder? Aber es war immer ziemlich eng definiert, so wie man das Beste aus einem Kampfpiloten oder so herausholt. Aber ich denke schon, dass es etwas mit dem Verständnis menschlicher Leistung zu tun hat, das wirklich wichtig ist, um zu verstehen, wie die Komplementarität von Menschen und Maschinen funktioniert. Es gibt etwas um die Managementdisziplin selbst, oder? Wie entwirft man einen guten Prozess? Wie vermeidet man Engpässe, oder? Die Regulierung des Arbeitsflusses so, dass nicht alles an einer anderen Stelle im System zusammenläuft, erfordert, dass man auf organisatorischer Ebene denkt und über Systeme und Prozesse nachdenkt.

Also, im Grunde genommen sind Systemdenken, alle Management-Schulungen und all das meiner Meinung nach super nützlich, um das durchzudenken, und ein bisschen Selbstreflexion. Vielleicht ist das Beste an dieser Technologie, dass sie einen, sobald man sie nutzt, dazu zwingt, sich selbst zu hinterfragen: „Worin bin ich gut? Wo habe ich wahrscheinlich einen nachhaltigen Vorteil? Was mache ich gerne? Was nicht? Gefällt mir die Idee wirklich, zu 100 % höherwertige Aufgaben zu erledigen? Ist das für mich glaubwürdig?“ Ich weiß nicht, wie man Selbstbewusstsein trainiert, aber beim Ausprobieren beginnt man unweigerlich, denke ich, solche inneren Gespräche zu führen, und die sind nützlich.

Sam Ransbotham: Selbst um diese Fragen zu beantworten, brauchen wir viel mehr Informationen über Menschen und darüber, wie sie arbeiten, und das führt ein wenig zurück zu Ihrem Thema der Messung. Das steht in vielerlei Hinsicht im Konflikt mit meinem Wunsch, meine persönlichen Daten zu schützen. Gleichzeitig könnten mir diese Systeme wahrscheinlich helfen, ein wenig über mich selbst zu verstehen, wie ich arbeite und in welchen Situationen ich am besten arbeite.

Ich denke, insgesamt ist eines der Dinge, die Sie in vielen verschiedenen Fällen und Beispielen hervorheben, dieses Bedürfnis nach Nuancen, dieses Bedürfnis, nicht immer zu weit zu gehen, nicht immer zu wenig zu tun. Ein bisschen experimentieren, aber sich nicht zu sehr darauf verlassen. Ich denke, das ist wirklich das übergreifende Thema, das ich aus Ihrem Podcast mitgenommen habe, diese Idee, etwas Nuancen in all diese Entscheidungen zu bringen. Und ich denke, diese Nuancen kommen in unserem aktuellen „Mach diese 10 Dinge, um ein besserer KI-Mensch zu werden“ nicht immer gut zur Geltung. Ich denke, ein Thema, das ich aus Ihrer Arbeit herausgezogen habe, ist Klarheit und Nuancen. Und ich denke, das ist wirklich schwer.

Andrew Palmer: Es ist wirklich schwer. Eine andere Art, es zu formulieren, aber es ist die schlechteste Art, den Podcast zu vermarkten, nämlich langweilig zu sein. Also meistern Sie das Wesentliche, die Grundlagen, richtig? Was ist das Ziel, das Sie anstreben? KI-Einführung ist keine Metrik für sich. Also, welches Problem versuchen Sie zu lösen? Denken Sie über Workflows von Anfang bis Ende nach, nicht über eine einzelne Sache, bei der Arbeit vielleicht nur umverteilt wird. All diese Arten von Fragen sind einfach gesunder Menschenverstand, aber wie üblich bringt einen das ziemlich weit.

Sam Ransbotham: Andrew, vielen Dank, dass Sie sich die Zeit genommen haben, mit uns zu sprechen. Wenn Zuhörer Ihren Podcast hören oder ein Experiment sehen möchten, bei dem Sie einen Bot erstellt haben, um Ihre eigene Stimme in einem Podcast zu erzeugen – ich fand das ein lustiges Beispiel – Staffel 3 von Boss Class läuft gerade mit Der Ökonom. Vielen Dank, dass Sie sich die Zeit genommen haben, mit uns zu sprechen.

Andrew Palmer: Danke, Sam. Es hat Spaß gemacht.

Sam Ransbotham: Vielen Dank fürs Zuhören heute. In unserer nächsten Folge wechseln wir zum Gesundheitswesen und sprechen mit Carla Goulart Peron, Chief Medical Officer bei Philips, darüber, wie KI das menschliche Element im medizinischen Bereich verbessert, nicht einschränkt. Bitte schalten Sie ein.

Allison Ryder: Danke fürs Zuhören Ich, ich selbst und AI. Unsere Sendung kann zum großen Teil dank der Unterstützung unserer Hörer weiterlaufen. Ihre Streams und Downloads machen einen großen Unterschied. Wenn Sie einen Moment Zeit haben, hinterlassen Sie uns bitte eine Apple Podcasts-Bewertung oder eine Bewertung auf Spotify. Und teilen Sie unsere Sendung mit anderen, von denen Sie denken, dass sie interessant und hilfreich sein könnten.

ICH, MICH UND KI^® ist eine bundesweit eingetragene Marke des Massachusetts Institute of Technology.