ChatGPT bricht in die physische Welt ein. Zwei Forscher von UC Berkeley und ETH Zürich haben die Leistung des OpenAI-Modells GPT-4o genutzt, um günstigen Roboterarmen beizubringen, Verschüttetes aufzuwischen. Dies ist eine clevere Demonstration dafür, wie KI-Sprachmodelle, wie das hinter OpenAI’s beliebtem Chatbot ChatGPT, genutzt werden können, um Aufgaben zu erledigen, die oberflächlich wenig mit Sprache zu tun haben.
Es dauerte dem Robotik-Duo nur vier Tage, den Roboterarmen beizubringen, mit nur einem normalen Schwamm einen nahegelegenen Fleck zu identifizieren. Ein Video des UC Berkeley Robotikers Jannik Grothusen zeigt den Roboter, der gefragt wird, was sich vor ihm befindet. ‚Ich sehe einen Schwamm und einen kleinen Fleck auf einer Oberfläche‘, antwortete der Roboter perfekt auf Englisch.
Die Bewegungen der Arme wurden laut Grothusen an etwa 100 Demonstrationen trainiert. Die Arme selbst sind vollständig Open Source und können mithilfe einer YouTube-Playlist zu Hause gebaut werden. Ein kontextbewusster ‚Multimode-Agent‘ namens LangChain diente als Rahmenwerk zur Übersetzung der Eingabe und Ausgabe des Modells in Roboterbewegungen mittels Verstärkungstraining.
Grothusen argumentierte in einem LinkedIn-Beitrag, dass das Experiment ein ‚Proof-of-Concept für eine Robotersteuerungsarchitektur‘ ist und eine ‚visuelle Sprachmodell für die Mensch-Roboter-Interaktion, Schlussfolgerung und Orchestrierung‘ einschließt. Es zeigt auch, wie Open Source dabei ist, das Feld der Robotik zu demokratisieren.
Ob das Konzept jemals zu einem vollwertigen Reinigungsroboter wird, der Verschüttetes im Haushalt aufwischt, bleibt jedoch unklar.
