Bestehen oder Durchfallen: Wissenschaftler bereiten ‚Die letzte Prüfung der Menschheit‘ vor, um leistungsstarke KI zu testen

AI-Experten fordern die schwierigsten und umfassendsten Fragen ein, um die fortschrittlichsten KI-Systeme zu überlisten

AI-Experten rufen zur Einreichung von Fragen für das ’schwierigste und umfassendste Fragenpaket aller Zeiten‘ auf, um die fortschrittlichsten künstlichen Intelligenzsysteme von heute – sowie diejenigen, die noch kommen werden – zu überlisten.

Wie Reuters berichtet, wird dieser Test – in der Branche bekannt als ‚Die letzte Prüfung der Menschheit‘ – vom Center for AI Safety (CAIS) und dem Schulungsdatenlabelunternehmen Scale AI crowdsourct. Scale AI hat im Sommer eine Milliarde Dollar eingesammelt und hat nun einen Gesamtwert von 14 Milliarden Dollar.

Reuters weist darauf hin, dass die Einreichungen für diese ‚Prüfung‘ nur einen Tag nach Veröffentlichung der Ergebnisse des neuen o1-Modellvorschau von OpenAI geöffnet wurden. Wie CAIS-Geschäftsführer Dan Hendryks feststellt, scheint o1 die beliebtesten Denkbenchmarks ‚zerstört‘ zu haben.

Bereits 2021 veröffentlichte Hendrycks zwei Papiere mit Vorschlägen für KI-Tests, die bewerten sollten, ob Modelle in der Lage wären, Studenten zu übertrumpfen. Zu dieser Zeit gaben KI-Systeme Antworten fast willkürlich ab, aber wie Hendrycks bemerkt, haben die heutigen Modelle die Tests von 2021 ‚zerquetscht‘.

Während die Testkriterien von 2021 hauptsächlich auf Mathematik und Sozialkunde abzielten, wird ‚Die letzte Prüfung der Menschheit‘, wie der Geschäftsführer des CAIS sagte, abstraktes Denken einbeziehen, um es schwieriger zu machen. Die beiden Institutionen, die den Test organisieren, planen auch, die Testkriterien vertraulich zu halten und nicht öffentlich zugänglich zu machen, damit die Antworten nicht in Schulungsdaten für KI landen.

Bis zum 1. November werden Experten aus Bereichen wie Raketenwissenschaft und Philosophie ermutigt, Fragen einzureichen, die für Personen außerhalb ihrer Fachgebiete schwer zu beantworten wären. Nach einer Peer-Bewertung erhalten Gewinner Co-Autorschaft an einem mit dem Test verbundenen Papier sowie Preise von bis zu 5.000 US-Dollar gesponsert von Scale AI.

Obwohl die Organisatoren eine sehr breite Palette von Fragearten suchen, teilten sie Reuters mit, dass eine Sache nicht in der Prüfung enthalten sein wird: alles über Waffen, da es für KI zu gefährlich ist davon Kenntnis zu haben.

Teile den Artikel

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert