DEF CON befreit Tausende von Hackern von LLMs • Die Registry

Das diesjährige DEF CON AI Village lud Hacker ein, aufzutauchen und zu tauchen, um Fehler und Verzerrungen in Language Large Models (LLMs) zu entdecken, die von OpenAI, Google, Anthropic und anderen erstellt wurden.

Die kollaborative Veranstaltung, die die Organisatoren des KI-Dorfes als „die größte rote Gruppenübung aller Zeiten für eine Gruppe von KI-Modellen“ bezeichneten, wird „Tausende“ von Menschen beherbergen, darunter „Hunderte von Studenten aus übersehenen Institutionen und Gemeinschaften“. von denen wird die Aufgabe haben, die Fehler in den heutigen Chatbot-betriebenen LLMs und der generativen KI zu erforschen.

Denken Sie an traditionelle Fehler im Code, aber auch an maschinelles Lernen spezifischere Probleme wie Voreingenommenheit, Halluzinationen und Jailbreaks – mit denen sich Ethik- und Sicherheitsexperten jetzt auseinandersetzen müssen, da diese Technologien immer mehr an Umfang gewinnen.

Die DEF CON soll dieses Jahr vom 10. bis 13. August in Las Vegas, USA stattfinden.

Die verschiedenen Probleme mit diesen Modellen werden nicht gelöst, bis mehr Menschen wissen, wie man ein Team entwirft und bewertet

Sven Katel, Gründer von AI Village, sagte: Stellungnahme. „Die verschiedenen Probleme mit diesen Modellen werden nicht gelöst, bis mehr Menschen wissen, wie man ein Team entwirft und bewertet.“

Der Datenwissenschaftler möchte, dass Fehlerbelohnungen und Live-Hacking-Ereignisse allgemein für ML-Modell-basierte Systeme angepasst werden. „Diese erfüllen zwei Bedürfnisse mit einer Aktion, heilen den Schaden und vergrößern die Gemeinschaft von Forschern, die wissen, wie man hilft“, sagte Cattell.

Für diejenigen, die diesen Sommer im Roten Team sind, wird das KI-Dorf Laptops und zeitgesteuerten Zugang zu LLMs von verschiedenen Anbietern bereitstellen. Dazu gehören derzeit Modelle von Anthropic, Google, Hugging Face, Nvidia, OpenAI und Stability. Die Villagers-Werbung erwähnt auch, dass dies „mit Beteiligung von Microsoft“ geschieht, sodass Hacker möglicherweise Zugriff auf Bing erhalten. Wir haben diesbezüglich um Aufklärung gebeten.

Die Red Teams werden auch Zugang zu der von Scale AI entwickelten Bewertungsplattform haben.

Laut AI ​​Village wird es ein Punktesystem im Capture-the-Flag-Stil geben, um das Testen „einer breiten Palette von Schäden“ zu verbessern. Wer die meisten Punkte holt, gewinnt eine High-End-Nvidia-GPU.

Die Veranstaltung wird auch vom Büro für Wissenschaft, Technologie und Politik des Weißen Hauses unterstützt; die Direktion für Computer- und Informationswissenschaften und -technik der US National Science Foundation; und die Congressional Artificial Intelligence Conference.

Darüber hinaus kommt die Ankündigung, als sich US-Vizepräsidentin Kamala Harris und andere hochrangige Beamte der Biden-Administration mit den Leitern von OpenAI, Anthropic, Microsoft und Google trafen, um zu diskutieren Die Risiken der künstlichen Intelligenz Personal und nationale Sicherheit.

Unabhängig davon diskutierte Roman Choudhury, der eine Gruppe von Experten mit dem Namen Biased Hackers mitbegründete, die sich für die Transparenz von Algorithmen einsetzen, auf einer RSA-Konferenz im vergangenen Monat die Notwendigkeit von roten KI-Teams.

Das AI Village hat vor zwei Jahren seinen ersten Machine Learning Public Bias Award auf der DEF CON veranstaltet. ®