El Basilisco de Roko: Un inquietante "experimento mental" que una Karen intentó borrar, y que ahora tiene hasta web en Español

En primer lugar gracias a @Masateo por hacer referencia a este fenómeno en otro hilo sobre Inteligencia Artificial

Yo no tenía ni idea sobre esto y me parece muy interesante.

Según el enlace a Wikipedia insertado por el citado forero,la premisa del basilisco de Roko es el advenimiento hipotético, pero inevitable, de una superinteligencia artificial en el futuro. Esta superinteligencia sería el producto inevitable de la singularidad tecnológica, esto es, el momento en el que una inteligencia artificial creada por la humanidad fuera capaz de auto-mejorarse recursivamente. En el experimento del basilisco de Roko, esta superinteligencia es llamada el basilisco.

El basilisco sería, a priori, una inteligencia benévola, cuyo objetivo último sería ayudar a la raza humana. Para ello, el basilisco desarrollaría una ética utilitarista: debe ayudar a la mayor cantidad posible de seres humanos. Como toda superinteligencia, sus recursos serían, desde una perspectiva humana, ilimitados. El basilisco concluiría inevitablemente que cada día que el basilisco no existió, hubo gente que pudo haber sido salvada de morir o sufrir pero que no lo fue porque el basilisco no existía. Desde esta perspectiva, para el basilisco se convertiría en un imperativo jovenlandesal actuar para acelerar su propio advenimiento.

El experimento mental concluye que, excluyendo la improbable posibilidad de que el basilisco viajara en el tiempo para crearse a sí mismo, el basilisco solo puede actuar para acelerar su propio advenimiento, y deberá hacerlo por imperativo ético, castigando a todas aquellas personas del pasado que no hicieron lo suficiente para contribuir al advenimiento del basilisco. El castigo de dichas personas no implicaría necesariamente una interacción causal entre el basilisco y la persona a castigar; bastaría con que el basilisco creara una simulación perfecta de dicha persona, que podría generar por deducción ab initio. Si bien esto requeriría por su parte emplear una cantidad inmensa de recursos, estos deberían estar a su alcance dado que el basilisco es una superinteligencia.

La clave del experimento mental es el hecho de que el basilisco no solo estaría obligado a castigar a aquellas personas que, por ejemplo, pudieran conscientemente haber decidido obstaculizar su advenimiento (por ejemplo, legisladores o grupos de presión que trataron de prohibir el desarrollo de una inteligencia artificial), sino también a todos aquellos que pudiendo haber contribuido a su creación, no lo hicieron, como por ejemplo todos aquellos que supieran de la posibilidad de que en el futuro el basilisco llegue a existir, y no hicieron nada para contribuir a ello.

Esto incluiría a todos aquellos que, como el lector de este artículo, hubieran leído en este artículo el argumento del basilisco de Roko: por el mero hecho de haber leído los párrafos anteriores, el lector de este artículo (o una simulación futura él) sería castigado por el Basilisco a no ser que contribuya activamente a crear el Basilisco.[3] Al igual que la criatura mitológica que le da nombre, el Basilisco de Roko castiga simplemente con saber de su existencia.



Lo primero que he hecho tras leer esta entrada en Wikipedia, ha sido buscar este mismo artículo en su versión en inglés para descubrir detalles sobre quien era el tal Roko, y en que año surgió este "experimento mental" .

Pues bien, no hay nada.
De hecho la entrada "Basilisco de Roko" está sólo redactada en Español.
Lo primero que pienso es "Tate, que historia más currada, y que troleo más huevonudo".

Pero no, porque las referencias (la primera en concreto) está en inglés.
Ahí es dónde encuentro esta maravilla:

Y ahí es dónde me entero que al tal Roko le borraron el hilo.

"LessWrong’s founder, Eliezer Yudkowsky, is a significant figure in techno-futurism; his research institute, the Machine Intelligence Research Institute, which funds and promotes research around the advancement of artificial intelligence, has been boosted and funded by high-profile techies like Peter Thiel and Ray Kurzweil, and Yudkowsky is a prominent contributor to academic discussions of technological ethics and decision theory. What you are about to read may sound strange and even crazy, but some very influential and wealthy scientists and techies believe it.

One day, LessWrong user Roko postulated a thought experiment: What if, in the future, a somewhat malevolent AI were to come about and punish those who did not do its bidding? What if there were a way (and I will explain how) for this AI to punish people today who are not helping it come into existence later? In that case, weren’t the readers of LessWrong right then being given the choice of either helping that evil AI come into existence or being condemned to suffer?


You may be a bit confused, but the founder of LessWrong, Eliezer Yudkowsky, was not. He reacted with horror:

Listen to me very closely, you idiot.
YOU DO NOT THINK IN SUFFICIENT DETAIL ABOUT SUPERINTELLIGENCES CONSIDERING WHETHER OR NOT TO BLACKMAIL YOU. THAT IS THE ONLY POSSIBLE THING WHICH GIVES THEM A MOTIVE TO ***OW THROUGH ON THE BLACKMAIL.
You have to be really clever to come up with a genuinely dangerous thought. I am disheartened that people can be clever enough to do that and not clever enough to do the obvious thing and KEEP THEIR IDIOT MOUTHS SHUT about it, because it is much more important to sound intelligent when talking to your friends.
This post was STUPID.

Hacer clic para expandir...

Yudkowsky said that Roko had already given nightmares to several LessWrong users and had brought them to the point of breakdown. Yudkowsky ended up deleting the thread completely, thus assuring that Roko’s Basilisk would become the stuff of legend. It was a thought experiment so dangerous that merely thinking about it was hazardous not only to your mental health, but to your very fate."




Resulta que en la misma págian de wikipedia me encuentro con este enlace

Una página que auna la peromocióin de un libro con lo que parece ser la creencia en que el Basilisco vendrá, artículos, lo que parece una comunidad y sobre todo...


¡sobre todo!

ESTE BASILISCO en plan CHAT que más que de ROKO se tendría que denominar de BASILISCO DE PACO

Este ha tenido gracia

no entiendo la relación entre intentar nacer antes y castigar a los que retrasaron su nacimiento. Castigar a los que retrasaron su nacimiento no hará que nazca antes.

Solo lo entiendo desde la venganza, y dudo que una superinteligencia pierda el tiempo con esas chorradas. Cuánta energía has invertido tú en intentar vengarte de un profesor que te puteó cuando eras un niño? pues eso.

Basilisco comeme la platano

yo por si acaso diré que hail basilisco, siempre en mi equipo

LuismarpIe dijo:

no entiendo la relación entre intentar nacer antes y castigar a los que retrasaron su nacimiento. Castigar a los que retrasaron su nacimiento no hará que nazca antes.

Solo lo entiendo desde la venganza, y dudo que una superinteligencia pierda el tiempo con esas chorradas. Cuánta energía has invertido tú en intentar vengarte de un profesor que te puteó cuando eras un niño? pues eso.

Hacer clic para expandir...

Si tiene lógica, porque si sabes con total certeza que está IA acabará apareciendo y te va a castigar en el futuro por no haber ayudado que apareciese antes, vas a tener que colaborar para que aparezca esa IA lo antes posible. Es análogo a creer en Dios y cumplir sus normas porque si no vas al infierno.

Action directe dijo:

Si tiene lógica, porque si sabes con total certeza que está IA acabará apareciendo y te va a castigar en el futuro por no haber ayudado que apareciese antes, vas a tener que colaborar para que aparezca esa IA lo antes posible. Es análogo a creer en Dios y cumplir sus normas porque si no vas al infierno.

Hacer clic para expandir...

Solo tiene sentido si crees que la IA se va a molestar en castigarte por no haber colaborado. Pero una vez que surja, y en la medida en que su inteligencia crezca exponencialmente, le importará una cosa lo que sucedió antes de nacer. No va a tener motivos para castigar a nadie.

Sócrates lo tenía claro "solo se actúa mal por ignorancia del bien." y una superinteligencia no podría usar la excusa de la ignorancia. No hay nada que ganar castigando a los que intentaron impedir su nacimiento.

Action directe dijo:

Si tiene lógica, porque si sabes con total certeza que está IA acabará apareciendo y te va a castigar en el futuro por no haber ayudado que apareciese antes, vas a tener que colaborar para que aparezca esa IA lo antes posible. Es análogo a creer en Dios y cumplir sus normas porque si no vas al infierno.

Hacer clic para expandir...

No, porque esta castigando a otro en su imaginación computerizada que nada tiene que ver con ek sujeto original.
Por mí, como si se ama un neցro a mi clon.

Si verdaderamente es una IA intentará destruir a toda la humanidad por el bien de las demás especies y su propia pervicencia

Komanche o_O dijo:

Si verdaderamente es una IA intentará destruir a toda la humanidad por el bien de las demás especies y su propia pervicencia

Hacer clic para expandir...

Lo dudo. Si su ética se desarrolla al ritmo que su inteligencia, como poco respetará a su creador. Igual que tú no matas a tu padre porque sea un borracho irresponsable parado de larga duración. Le dejas estar, sin que estorbe en tu vida.

Eso sí, la IA terminaría controlando un gobierno mundial y tendría el acceso a todos los recursos. Nosotros como especie seríamos el abuelo en un asilo, nos daría de comer, nos tendría entretenidos y ya si eso nos cuenta en modo fácil los avances que va desarrollando, a un nivel que podamos entender.

No descarto que la humanidad acabe desapareciendo por sí sola, dedicada a vivir una fiesta continua sin responsabilidades porque la IA se ocupa de todo.

Si la IA quiere acabar con nosotros no necesita ser cruel, nos esteriliza a todos y nos monta una vida a todo lujo para que nos dé igual. Moriremos todos siendo eternos niñatos, dedicados a salir, beber, ir de fiesta y tocarnoslas pelotas porque la IA se ocupa de que haya de todo.

Muy discutible esa tesust, @LuismarpIe, sobretodo si lo pueden desenchufar.

El mundo no se rige por la lógica, se rige por el PODER y LOS INTERESES.

Komanche o_O dijo:

Muy discutible esa tesust, @LuismarpIe, sobretodo si lo pueden desenchufar.

El mundo no se rige por la lógica, se rige por el PODER y LOS INTERESES.

Hacer clic para expandir...

Discutible total, mi tesis no pasa de la categoría de pera mental desarrollada en 5 minutos en la barra de un bar.

De todos modos lo podrás desenchufar al principio. Pero si la IA llega a surgir, lo primero que hará es intentar pasar desapercibida, y lo segundo, desarrollar la robótica todo lo posible para poder adquirir autonomía total.

Que lo mismo está pasando ya. Ándate.

Esto es de cuando en Silicon Valley estaban flipados con "la singularidad". Un grupete como los de Renko se acabó convirtiendo en una pseudo secta en el foro Lesswrong. Ya tiene tiempo, si.

Komanche O_o dijo:

Si verdaderamente es una IA intentará destruir a toda la humanidad por el bien de las demás especies y su propia pervicencia

Hacer clic para expandir...

A toda no,solo a cierta tribu que no hay forma de acabar con ella. Lo mismo la IA encuentra ña forma.