Chef veiligheid Anthropic: 'Meer dan 10% kans dat AI mensheid binnen 10 jaar vernietigt'

Ja het Anthropic achter Claude ja

Maar hoopgevende noot: ze doen wel hun best! Evan Hubinger is chef 'allignment', wat er ongeveer op neerkomt dat het zijn taak is AI 'in lijn' te houden met 'menselijke waarden'. En als je er dan even vanuit gaat dat die menselijke waarden er niet op neerkomen dat de mensheid uitgeroeid moet worden, is hij niet unaniem enthousiast over de prognose. "We geloven er echt oprecht in dat AI alle mensen zou kunnen doden! Zelf denk ik dat de kans het komende decennium 10%> is. (...) We hebben nog geen plan om het alignment-vraagstuk voor superintelligentie op te lossen, en we liggen ook niet duidelijk op koers om dat te bereiken." Maar dat weerhoudt ze er dus niet van de wapenwedloop richting AGI/ASI (Artificial General Intelligence/Artificual Super Intelligence) te vertragen - alles is immers voor Bassie.

Hubinger reageert bovenstaand op een tweet van Jacob Coxon, en dat is dus een Antropic-onderzoeker die gisteren ontslag nam wegens zijn onderstaande gewetensnood. En dan berichtte de Financial Times gisteren ook nog dat Antropic heeft nagelaten zijn nieuwste frontiermodel Mythos 5.1 - sinds 1 september operationeel voor geselecteerde cliënten - in te dienen voor pre-lanceer-veiligheidstesten bij het Britse AI Security Institute en vergelijkbare Amerikaanse organen. Zal wel niks zijn!

Maar wat is er erger? Het vernietigen van de mensheid of de teksten van Rob Jetten?