Por qué el futuro no nos necesita

BILL JOY – 04.01.2000 12:00 PM
Fuente Original – Wired.com

Por qué el futuro no nos necesita. Nuestras tecnologías más poderosas del siglo XXI (robótica, ingeniería genética y nanotecnología) amenazan con convertir a los humanos en una especie en peligro de extinción.

Desde el momento me involucré en la creación de nuevas tecnologías, sus dimensiones éticas me han preocupado, pero recién en el otoño de 1998 me di cuenta con ansiedad de cuán grandes son los peligros a los que nos enfrentamos en el siglo XXI. Puedo fechar el inicio de mi malestar en el día en que conocí a Ray Kurzweil, el merecidamente famoso inventor de la primera máquina de lectura para ciegos y muchas otras cosas asombrosas.

Ray y yo fuimos oradores en la conferencia de Telecosmos de George Gilder, y lo encontré por casualidad en el bar del hotel después de que nuestras dos sesiones terminaron. Estaba sentado con John Searle, un filósofo de Berkeley que estudia la conciencia. Mientras hablábamos, Ray se acercó y comenzó una conversación, cuyo tema me persigue hasta el día de hoy.

Me había perdido la charla de Ray y el panel posterior en el que habían estado Ray y John, y ahora continuaron donde lo habían dejado, con Ray diciendo que la tasa de mejora de la tecnología se iba a acelerar y que íbamos a hacerlo. convertirse en robots o fusionarse con robots o algo así, y John respondió que esto no podía suceder, porque los robots no podían estar conscientes.

Si bien había oído hablar de ese tipo antes, siempre había sentido que los robots sensibles estaban en el ámbito de la ciencia ficción. Pero ahora, de alguien a quien respetaba, estaba escuchando un fuerte argumento de que eran una posibilidad a corto plazo. Me sorprendió, especialmente dada la capacidad probada de Ray para imaginar y crear el futuro. Ya sabía que las nuevas tecnologías como la ingeniería genética y la nanotecnología nos estaban dando el poder de rehacer el mundo, pero un escenario realista e inminente para los robots inteligentes me sorprendió.

Es fácil cansarse de estos avances. Casi todos los días escuchamos en las noticias algún tipo de avance tecnológico o científico. Sin embargo, esta no fue una predicción ordinaria. En el bar del hotel, Ray me dio una preimpresión parcial de su libro de próxima publicación, La era de las máquinas espirituales, que describía una utopía que él previó: una en la que los humanos se acercaban a la inmortalidad al convertirse en uno con la tecnología robótica. Al leerlo, mi sensación de malestar solo se intensificó; Estaba seguro de que tenía que estar subestimando los peligros, subestimando la probabilidad de un mal resultado a lo largo de este camino.

Me encontré con más problemas por un pasaje que detalla un dis escenario topian:

EL NUEVO DESAFÍO LUDDITA
Primero, postulemos que los científicos de la computación logran desarrollar máquinas inteligentes que pueden hacer todas las cosas mejor que los seres humanos. En ese caso, presumiblemente, todo el trabajo será realizado por vastos sistemas de máquinas altamente organizados y no será necesario ningún esfuerzo humano. Puede ocurrir cualquiera de dos casos. A las máquinas se les podría permitir tomar todas sus propias decisiones sin supervisión humana, o de lo contrario se podría retener el control humano sobre las máquinas.

Si a las máquinas se les permite tomar todas sus propias decisiones, no podemos hacer conjeturas sobre los resultados, porque es imposible adivinar cómo se comportarían tales máquinas. Solo señalamos que el destino de la raza humana estaría a merced de las máquinas. Se podría argumentar que la raza humana nunca sería tan tonta como para entregar todo el poder a las máquinas. Pero no estamos sugiriendo que la raza humana entregaría voluntariamente el poder a las máquinas ni que las máquinas tomarían el poder voluntariamente. Lo que sugerimos es que la raza humana podría permitirse fácilmente caer en una posición de tal dependencia de las máquinas que no tendría más remedio práctico que aceptar todas las decisiones de las máquinas.A medida que la sociedad y los problemas que enfrenta se vuelven cada vez más complejos y las máquinas se vuelven cada vez más inteligentes, la gente permitirá que las máquinas tomen más decisiones por ellos, simplemente porque las decisiones tomadas por las máquinas traerán mejores resultados que las hechas por el hombre. Eventualmente, se puede llegar a una etapa en la que las decisiones necesarias para mantener el sistema en funcionamiento serán tan complejas que los seres humanos serán incapaces de tomarlas de manera inteligente. En esa etapa, las máquinas estarán en control efectivo. La gente no podrá simplemente apagar las máquinas, porque dependerán tanto de ellas que apagarlas equivaldría a un suicidio.Eventualmente, se puede llegar a una etapa en la que las decisiones necesarias para mantener el sistema en funcionamiento serán tan complejas que los seres humanos serán incapaces de tomarlas de manera inteligente. En esa etapa, las máquinas estarán en control efectivo. La gente no podrá simplemente apagar las máquinas, porque dependerán tanto de ellas que apagarlas equivaldría a un suicidio.Eventualmente, se puede llegar a una etapa en la que las decisiones necesarias para mantener el sistema en funcionamiento serán tan complejas que los seres humanos serán incapaces de tomarlas de manera inteligente. En esa etapa, las máquinas estarán en control efectivo. La gente no podrá simplemente apagar las máquinas, porque dependerán tanto de ellas que apagarlas equivaldría a un suicidio.

Por otro lado, es posible que se mantenga el control humano sobre las máquinas. En ese caso, el hombre promedio puede tener control sobre ciertas máquinas privadas propias, como su automóvil o su computadora personal, pero el control sobre grandes sistemas de máquinas estará en manos de una pequeña élite, tal como lo está hoy, pero con dos diferencias. Debido a las técnicas mejoradas, la élite tendrá un mayor control sobre las masas; y como el trabajo humano ya no será necesario, las masas serán superfluas, una carga inútil para el sistema. Si la élite es despiadada, simplemente puede decidir exterminar a la masa de la humanidad. Si son humanos, pueden usar propaganda u otras técnicas psicológicas o biológicas para reducir la tasa de natalidad hasta que la masa de la humanidad se extinga, dejando el mundo a la élite. O,si la élite está formada por liberales blandos, pueden decidir desempeñar el papel de buenos pastores del resto de la raza humana. Se asegurarán de que se satisfagan las necesidades físicas de todos, de que todos los niños sean criados en condiciones psicológicamente higiénicas, de que todos tengan un pasatiempo saludable para mantenerlo ocupado y de que cualquiera que se sienta insatisfecho se someta a un "tratamiento" para curar su "problema". " Por supuesto, la vida carecerá de un propósito tan grande que las personas tendrán que ser diseñadas biológica o psicológicamente para eliminar su necesidad del proceso de poder o hacer que "sublimen" su impulso por el poder y lo conviertan en un pasatiempo inofensivo. Estos seres humanos diseñados pueden ser felices en una sociedad así, pero ciertamente no serán libres. Habrán sido reducidos a la condición de animales domésticos.pueden decidir desempeñar el papel de buenos pastores del resto de la raza humana. Se asegurarán de que se satisfagan las necesidades físicas de todos, de que todos los niños sean criados en condiciones psicológicamente higiénicas, de que todos tengan un pasatiempo saludable para mantenerlo ocupado y de que cualquiera que se sienta insatisfecho se someta a un "tratamiento" para curar su "problema". " Por supuesto, la vida carecerá de un propósito tan grande que las personas tendrán que ser diseñadas biológica o psicológicamente para eliminar su necesidad del proceso de poder o hacer que "sublimen" su impulso por el poder y lo conviertan en un pasatiempo inofensivo. Estos seres humanos diseñados pueden ser felices en una sociedad así, pero ciertamente no serán libres. Habrán sido reducidos a la condición de animales domésticos.pueden decidir desempeñar el papel de buenos pastores del resto de la raza humana. Se asegurarán de que se satisfagan las necesidades físicas de todos, de que todos los niños sean criados en condiciones psicológicamente higiénicas, de que todos tengan un pasatiempo saludable para mantenerlo ocupado y de que cualquiera que se sienta insatisfecho se someta a un "tratamiento" para curar su "problema". " Por supuesto, la vida carecerá de un propósito tan grande que las personas tendrán que ser diseñadas biológica o psicológicamente para eliminar su necesidad del proceso de poder o hacer que "sublimen" su impulso por el poder y lo conviertan en un pasatiempo inofensivo. Estos seres humanos diseñados pueden ser felices en una sociedad así, pero ciertamente no serán libres. Habrán sido reducidos a la condición de animales domésticos.1

En el libro, no descubre hasta que pasa la página que el autor de este pasaje es Theodore Kaczynski, el Unabomber. No soy un apologista de Kaczynski. Sus bombas mataron a tres personas durante una campaña terrorista de 17 años e hirieron a muchas otras. Una de sus bombas hirió gravemente a mi amigo David Gelernter, uno de los informáticos más brillantes y visionarios de nuestro tiempo. Como muchos de mis colegas, sentí que fácilmente podría haber sido el próximo objetivo de Unabomber.

Las acciones de Kaczynski fueron asesinas y, en mi opinión, criminalmente locas. Claramente es un ludita, pero decirlo simplemente no descarta su argumento; Por difícil que me resulte reconocerlo, vi algún mérito en el razonamiento de este único pasaje. Me sentí obligado a enfrentarlo.

La visión distópica de Kaczynski describe consecuencias no deseadas, un problema bien conocido con el diseño y el uso de la tecnología, y que está claramente relacionado con la ley de Murphy: "Todo lo que pueda salir mal, saldrá mal". (En realidad, esta es la ley de Finagle, que en sí misma muestra que Finagle tenía razón). Nuestro uso excesivo de antibióticos ha llevado a lo que puede ser el mayor problema hasta ahora: la aparición de bacterias resistentes a los antibióticos y mucho más peligrosas. Sucedieron cosas similares cuando los intentos de eliminar los mosquitos de la malaria utilizando DDT hicieron que adquirieran resistencia al DDT; Los parásitos de la malaria también adquirieron genes resistentes a múltiples fármacos. 2

La causa de muchas de estas sorpresas parece clara: los sistemas involucrados son complejos, e involucran interacción y retroalimentación entre muchas partes. Cualquier cambio en dicho sistema se producirá en cascada de formas que son difíciles de predecir; esto es especialmente cierto cuando se trata de acciones humanas.

Empecé a mostrarles a mis amigos la cita de Kaczynski de La era de las máquinas espirituales; Les entregaba el libro de Kurzweil, les dejaba leer la cita y luego observaba su reacción al descubrir quién lo había escrito. Aproximadamente al mismo tiempo, encontré el libro de Hans Moravec Robot: Mere Machine to Transcendent Mind. Moravec es uno de los líderes en investigación en robótica y fue uno de los fundadores del programa de investigación en robótica más grande del mundo, en la Universidad Carnegie Mellon. Robot me dio más material para probar con mis amigos, material que apoya sorprendentemente el argumento de Kaczynski.

El corto plazo (principios de la década de 2000)
Las especies biológicas casi nunca sobreviven a los encuentros con competidores superiores. Hace diez millones de años, América del Norte y del Sur estaban separadas por un istmo hundido de Panamá. América del Sur, como Australia hoy en día, estaba poblada por mamíferos marsupiales, incluidos equivalentes en bolsas de ratas, ciervos y tigres. Cuando se elevó el istmo que conecta América del Norte y América del Sur, las especies placentarias del norte, con metabolismos y sistemas reproductivos y nerviosos ligeramente más efectivos, tardaron solo unos pocos miles de años en desplazar y eliminar a casi todos los marsupiales del sur.

En un mercado completamente libre, los robots superiores seguramente afectarían a los humanos como los placentarios norteamericanos afectaron a los marsupiales sudamericanos (y como los humanos han afectado a innumerables especies). Las industrias robóticas competirían vigorosamente entre ellas por la materia, la energía y el espacio, lo que incidentalmente llevaría su precio más allá del alcance humano. Incapaces de costear las necesidades de la vida, los humanos biológicos serían eliminados de la existencia.

Probablemente haya un respiro, porque no vivimos en un mercado completamente libre. El gobierno coacciona el comportamiento ajeno al mercado, especialmente mediante la recaudación de impuestos. Aplicada con criterio, la coerción gubernamental podría apoyar a las poblaciones humanas con mucho estilo gracias a los frutos del trabajo de los robots, quizás durante mucho tiempo.

Una distopía de libros de texto, y Moravec acaba de ponerse nervioso. Continúa discutiendo cómo nuestro trabajo principal en el siglo XXI será "asegurar la cooperación continua de las industrias de robots" mediante la aprobación de leyes que decreten que sean "agradables", y describiendo cuán seriamente peligroso puede ser un humano "una vez transformado en un robot superinteligente ilimitado ". 3 La opinión de Moravec es que los robots eventualmente nos sucederán, que los humanos claramente se enfrentan a la extinción.

Decidí que era hora de hablar con mi amigo Danny Hillis. Danny se hizo famoso como cofundador de Thinking Machines Corporation, que construyó una supercomputadora paralela muy poderosa. A pesar de mi puesto actual de científico jefe en Sun Microsystems, soy más un arquitecto informático que un científico, y respeto el conocimiento de Danny sobre la información y las ciencias físicas más que el de cualquier otra persona que conozca. Danny también es un futurista de gran prestigio que piensa a largo plazo; hace cuatro años fundó la Long Now Foundation, que está construyendo un reloj diseñado para durar 10.000 años, en un intento de llamar la atención sobre la lamentablemente corta capacidad de atención de nuestra sociedad. (Consulte " Prueba de tiempo ", Wired 8.03, página 78.)

Así que volé a Los Ángeles con el propósito expreso de cenar con Danny y su esposa, Pati. Seguí mi rutina ahora familiar, exponiendo las ideas y los pasajes que me parecieron tan inquietantes. La respuesta de Danny, dirigida específicamente al escenario de Kurzweil de humanos fusionándose con robots, llegó rápidamente y me sorprendió bastante. Dijo, simplemente, que los cambios vendrían gradualmente y que nos acostumbraríamos a ellos.

Pero supongo que no me sorprendió del todo. Había visto una cita de Danny en el libro de Kurzweil en la que decía: "Me gusta mi cuerpo tanto como cualquiera, pero si puedo tener 200 años con un cuerpo de silicona, lo aceptaré". Parecía que él estaba en paz con este proceso y sus riesgos concomitantes, mientras que yo no.

Mientras hablaba y pensaba en Kurzweil, Kaczynski y Moravec, de repente recordé una novela que había leído hace casi 20 años, La peste blanca, de Frank Herbert, en la que un biólogo molecular se vuelve loco por el asesinato sin sentido de su familia. Para buscar venganza, construye y disemina una plaga nueva y altamente contagiosa que mata de manera amplia pero selectiva. (Tenemos suerte de que Kaczynski fuera matemático, no biólogo molecular). También me acordé de los Borg de Star Trek, una colmena de criaturas en parte biológicas y en parte robóticas con una fuerte racha destructiva. Los desastres tipo Borg son un elemento básico de la ciencia ficción, entonces, ¿por qué no me habían preocupado más antes tales distopías robóticas? ¿Por qué otras personas no estaban más preocupadas por estos escenarios de pesadilla?

Ciertamente, parte de la respuesta radica en nuestra actitud hacia lo nuevo, en nuestro sesgo hacia la familiaridad instantánea y la aceptación incondicional. Acostumbrados a vivir con avances científicos casi rutinarios, todavía tenemos que aceptar el hecho de que las tecnologías más convincentes del siglo XXI (robótica, ingeniería genética y nanotecnología) plantean una amenaza diferente a las tecnologías anteriores. Específicamente, los robots, los organismos diseñados y los nanobots comparten un factor amplificador peligroso: pueden autorreplicarse. Una bomba explota solo una vez, pero un bot puede convertirse en muchos y perder el control rápidamente.

Gran parte de mi trabajo durante los últimos 25 años se ha centrado en las redes informáticas, donde el envío y la recepción de mensajes crea la oportunidad de una replicación fuera de control. Pero si bien la replicación en una computadora o una red de computadoras puede ser una molestia, en el peor de los casos desactiva una máquina o desconecta una red o un servicio de red. La autorreplicación incontrolada en estas nuevas tecnologías corre un riesgo mucho mayor: un riesgo de daño sustancial en el mundo físico.

Cada una de estas tecnologías también ofrece una promesa incalculable: la visión de casi inmortalidad que Kurzweil ve en sus sueños de robot nos impulsa hacia adelante; la ingeniería genética pronto puede proporcionar tratamientos, si no curas directas, para la mayoría de las enfermedades; y la nanotecnología y la nanomedicina pueden abordar aún más males. Juntos podrían extender significativamente nuestro promedio de vida y mejorar la calidad de nuestras vidas. Sin embargo, con cada una de estas tecnologías, una secuencia de pequeños avances sensibles individualmente conduce a una acumulación de gran poder y, concomitantemente, a un gran peligro.

¿Qué fue diferente en el siglo XX? Ciertamente, las tecnologías subyacentes a las armas de destrucción masiva (ADM) —nucleares, biológicas y químicas (NBC) — eran poderosas y las armas constituían una enorme amenaza. Pero la construcción de armas nucleares requirió, al menos por un tiempo, el acceso a materias primas raras —de hecho, efectivamente no disponibles— e información altamente protegida; Los programas de armas biológicas y químicas también tendían a requerir actividades a gran escala.

Las tecnologías del siglo XXI, la genética, la nanotecnología y la robótica (GNR), son tan poderosas que pueden generar nuevas clases de accidentes y abusos. Y lo que es más peligroso, por primera vez, estos accidentes y abusos están ampliamente al alcance de individuos o pequeños grupos. No requerirán grandes instalaciones ni materias primas raras. El conocimiento por sí solo permitirá su uso.

Por lo tanto, tenemos la posibilidad no solo de armas de destrucción masiva sino de destrucción masiva habilitada por el conocimiento (KMD), esta destructividad enormemente amplificada por el poder de la autorreplicación.

Creo que no es exagerado decir que estamos en la cúspide de la mayor perfección del mal extremo, un mal cuya posibilidad se extiende mucho más allá de lo que las armas de destrucción masiva legaron a los Estados-nación, en un sorprendente y terrible empoderamiento de los extremos. individuos.

Nada en la forma en que me involucré con las computadoras me sugirió que iba a enfrentar este tipo de problemas.

Mi vida ha estado impulsada por una profunda necesidad de hacer preguntas y encontrar respuestas. Cuando tenía 3 años ya estaba leyendo, así que mi padre me llevó a la escuela primaria, donde me senté en el regazo del director y le leí un cuento. Comencé la escuela temprano, luego salté un grado y escapé a los libros; estaba increíblemente motivado para aprender. Hice muchas preguntas, a menudo distrayendo a los adultos.

Cuando era adolescente estaba muy interesado en la ciencia y la tecnología. Quería ser un radioaficionado pero no tenía dinero para comprar el equipo. La radioafición era la Internet de su tiempo: muy adictiva y bastante solitaria. Dejando a un lado las cuestiones de dinero, mi madre puso un pie firme: yo no iba a ser un aficionado; Ya era bastante antisocial.

Puede que no haya tenido muchos amigos cercanos, pero estaba inundado de ideas. En la escuela secundaria, había descubierto a los grandes escritores de ciencia ficción. Recuerdo especialmente el Have Spacesuit Will Travel de Heinlein y el I, Robot de Asimov, con sus Tres leyes de la robótica. Me encantaron las descripciones de los viajes espaciales y quería tener un telescopio para mirar las estrellas; como no tenía dinero para comprar o hacer uno, revisé libros sobre la fabricación de telescopios de la biblioteca y leí sobre cómo hacerlos. Me elevé en mi imaginación.

Los jueves por la noche mis padres iban a jugar a los bolos y los niños nos quedábamos solos en casa. Fue la noche del Star Trek original de Gene Roddenberry y el programa me impresionó mucho. Llegué a aceptar su noción de que los humanos tenían un futuro en el espacio, al estilo occidental, con grandes héroes y aventuras. La visión de Roddenberry de los siglos venideros fue una con fuertes valores morales, encarnados en códigos como la Primera Directiva: no interferir en el desarrollo de civilizaciones menos avanzadas tecnológicamente. Esto tuvo un atractivo increíble para mí; Los humanos éticos, no los robots, dominaban este futuro, y tomé el sueño de Roddenberry como parte del mío.

Destaqué en matemáticas en la escuela secundaria, y cuando fui a la Universidad de Michigan como estudiante de ingeniería, tomé el plan de estudios avanzado de las carreras de matemáticas. Resolver problemas matemáticos fue un desafío emocionante, pero cuando descubrí las computadoras encontré algo mucho más interesante: una máquina en la que se podía poner un programa que intentaba resolver un problema, después de lo cual la máquina verificaba rápidamente la solución. La computadora tenía una noción clara de correcto e incorrecto, verdadero y falso. ¿Fueron correctas mis ideas? La máquina podría decirme. Esto fue muy seductor.

Tuve la suerte de conseguir un trabajo en la programación de las primeras supercomputadoras y descubrí el asombroso poder de las máquinas grandes para simular numéricamente diseños avanzados. Cuando fui a la escuela de posgrado en UC Berkeley a mediados de la década de 1970, comencé a quedarme despierto hasta tarde, a menudo toda la noche, inventando nuevos mundos dentro de las máquinas. Resolviendo problemas. Escribiendo el código que tanto argumentaba para ser escrito.

En La agonía y el éxtasis, la novela biográfica de Miguel Ángel de Irving Stone, Stone describió vívidamente cómo Miguel Ángel liberó las estatuas de la piedra, "rompiendo el hechizo del mármol", esculpiendo las imágenes en su mente. 4 En mis momentos más extáticos, el software de la computadora surgió de la misma manera. Una vez que lo había imaginado en mi mente, sentí que ya estaba allí en la máquina, esperando ser liberado. Permanecer despierto toda la noche parecía un pequeño precio a pagar para liberarlo, para dar forma concreta a las ideas.

Después de unos años en Berkeley, comencé a enviar parte del software que había escrito: un sistema Pascal instructivo, utilidades Unix y un editor de texto llamado vi (que, para mi sorpresa, todavía se usa ampliamente más de 20 años después). —A otros que tenían miniordenadores PDP-11 y VAX pequeños similares. Estas aventuras en el software eventualmente se convirtieron en la versión Berkeley del sistema operativo Unix, que se convirtió en un "desastre de éxito" personal; tanta gente lo quería que nunca terminé mi doctorado. En cambio, conseguí un trabajo para Darpa poniendo Berkeley Unix en Internet y arreglándolo para que fuera confiable y para ejecutar bien grandes aplicaciones de investigación. Todo esto fue muy divertido y muy gratificante. Y, francamente, no vi robots aquí ni en ningún lugar cercano.

Aún así, a principios de la década de 1980, me estaba ahogando. Los lanzamientos de Unix fueron muy exitosos, y mi pequeño proyecto de uno pronto tuvo dinero y algo de personal, pero el problema en Berkeley siempre fue el espacio de oficina en lugar del dinero; no había espacio para la ayuda que necesitaba el proyecto, así que cuando los otros fundadores de Sun Microsystems apareció. Salté ante la oportunidad de unirme a ellos. En Sun, las largas horas continuaron hasta los primeros días de las estaciones de trabajo y las computadoras personales, y he disfrutado participando en la creación de tecnologías avanzadas de microprocesadores y tecnologías de Internet como Java y Jini.

De todo esto, confío en que quede claro que no soy ludita. Más bien, siempre he tenido una fuerte creencia en el valor de la búsqueda científica de la verdad y en la capacidad de la gran ingeniería para lograr el progreso material. La Revolución Industrial ha mejorado enormemente la vida de todos durante los últimos doscientos años, y siempre esperé que mi carrera implicara la construcción de soluciones valiosas para problemas reales, un problema a la vez.

No he sido decepcionado. Mi trabajo ha tenido más impacto del que esperaba y se ha utilizado más ampliamente de lo que razonablemente podría haber esperado. He pasado los últimos 20 años todavía tratando de descubrir cómo hacer que las computadoras sean tan confiables como quiero que sean (aún no están casi allí) y cómo hacerlas fáciles de usar (un objetivo que se ha cumplido con menos éxito). A pesar de algunos avances, los problemas que persisten parecen aún más abrumadores.

Pero si bien era consciente de los dilemas morales que rodean las consecuencias de la tecnología en campos como la investigación de armas, no esperaba enfrentar esos problemas en mi propio campo, o al menos no tan pronto.

Quizás siempre es difícil ver un impacto mayor mientras estás en el vórtice de un cambio. No entender las consecuencias de nuestros inventos mientras estamos en el éxtasis del descubrimiento y la innovación parece ser una falta común de científicos y tecnólogos; Durante mucho tiempo hemos sido impulsados ​​por el deseo general de saber cuál es la naturaleza de la búsqueda de la ciencia, sin detenernos a notar que el progreso hacia tecnologías más nuevas y poderosas puede cobrar vida propia.

Hace tiempo que me he dado cuenta de que los grandes avances en la tecnología de la información no provienen del trabajo de científicos informáticos, arquitectos informáticos o ingenieros eléctricos, sino del de los científicos físicos. Los físicos Stephen Wolfram y Brosl Hasslacher me introdujeron, a principios de la década de 1980, en la teoría del caos y los sistemas no lineales. En la década de 1990, aprendí sobre sistemas complejos de conversaciones con Danny Hillis, el biólogo Stuart Kauffman, el físico ganador del Nobel Murray Gell-Mann y otros. Más recientemente, Hasslacher y el ingeniero eléctrico y físico de dispositivos Mark Reed me han estado dando una idea de las increíbles posibilidades de la electrónica molecular.

En mi propio trabajo, como codirector de tres arquitecturas de microprocesadores (SPARC, picoJava y MAJC) y como diseñador de varias implementaciones de las mismas, he tenido un conocimiento profundo y de primera mano de la ley de Moore. Durante décadas, la ley de Moore ha predicho correctamente la tasa exponencial de mejora de la tecnología de semiconductores. Hasta el año pasado, creía que la tasa de avances pronosticada por la ley de Moore podría continuar solo hasta aproximadamente 2010, cuando comenzarían a alcanzarse algunos límites físicos. No era obvio para mí que una nueva tecnología llegaría a tiempo para mantener el rendimiento avanzando sin problemas.

Pero debido al reciente progreso rápido y radical en la electrónica molecular —donde los átomos y moléculas individuales reemplazan a los transistores dibujados litográficamente— y las tecnologías a nanoescala relacionadas, deberíamos ser capaces de alcanzar o superar la tasa de progreso de la ley de Moore durante otros 30 años. Para el 2030, es probable que podamos construir máquinas, en cantidad, un millón de veces más poderosas que las computadoras personales de hoy, lo suficiente para implementar los sueños de Kurzweil y Moravec.

A medida que este enorme poder informático se combina con los avances manipuladores de las ciencias físicas y los nuevos y profundos conocimientos de la genética, se está desatando un enorme poder transformador. Estas combinaciones abren la oportunidad de rediseñar completamente el mundo, para bien o para mal: los procesos de replicación y evolución que se han limitado al mundo natural están a punto de convertirse en dominios del esfuerzo humano.

Al diseñar software y microprocesadores, nunca tuve la sensación de estar diseñando una máquina inteligente. El software y el hardware son tan frágiles y las capacidades de la máquina para "pensar" tan claramente ausentes que, incluso como una posibilidad, esto siempre ha parecido muy lejano en el futuro.

Pero ahora, con la perspectiva del poder de computación a nivel humano en unos 30 años, surge una nueva idea: que puedo estar trabajando para crear herramientas que permitan la construcción de la tecnología que pueda reemplazar a nuestra especie. ¿Cómo me siento por esto? Muy incómodo. Después de haber luchado toda mi carrera para construir sistemas de software confiables, me parece más que probable que este futuro no funcione tan bien como algunas personas pueden imaginar. Mi experiencia personal sugiere que tendemos a sobreestimar nuestras habilidades de diseño.

Dado el increíble poder de estas nuevas tecnologías, ¿no deberíamos preguntarnos cómo podemos coexistir mejor con ellas? Y si nuestra propia extinción es un resultado probable, o incluso posible, de nuestro desarrollo tecnológico, ¿no deberíamos proceder con mucha cautela?

El sueño de la robótica es, primero, que las máquinas inteligentes puedan hacer nuestro trabajo por nosotros, permitiéndonos una vida de ocio, devolviéndonos al Edén. Sin embargo, en su historia de tales ideas, Darwin Among the Machines, George Dyson advierte: "En el juego de la vida y la evolución hay tres jugadores en la mesa: los seres humanos, la naturaleza y las máquinas. Estoy firmemente del lado de la naturaleza. Pero la naturaleza, sospecho, está del lado de las máquinas ". Como hemos visto, Moravec está de acuerdo, creyendo que es posible que no sobrevivamos al encuentro con la especie de robot superior.

¿Qué tan pronto se podría construir un robot tan inteligente? Los próximos avances en el poder de la computación parecen hacerlo posible para 2030. Y una vez que existe un robot inteligente, es solo un pequeño paso para una especie de robot, para un robot inteligente que puede hacer copias evolucionadas de sí mismo.

Un segundo sueño de la robótica es que nos reemplazaremos gradualmente con nuestra tecnología robótica, logrando casi la inmortalidad al descargar nuestras conciencias; Es este proceso al que Danny Hillis cree que nos acostumbraremos gradualmente y que Ray Kurzweil detalla elegantemente en La era de las máquinas espirituales. (Estamos comenzando a ver indicios de esto en la implantación de dispositivos informáticos en el cuerpo humano, como se ilustra en la portada de Wired 8.02).

Pero si nos descargan en nuestra tecnología, ¿cuáles son las posibilidades de que a partir de entonces seamos nosotros mismos o incluso humanos? Me parece mucho más probable que una existencia robótica no sea como la humana en ningún sentido que entendemos, que los robots no serían en ningún sentido nuestros hijos, que en este camino nuestra humanidad bien podría perderse.

La ingeniería genética promete revolucionar la agricultura aumentando el rendimiento de los cultivos y reduciendo el uso de pesticidas; para crear decenas de miles de nuevas especies de bacterias, plantas, virus y animales; reemplazar la reproducción, o complementarla, con la clonación; crear curas para muchas enfermedades, aumentando nuestra esperanza de vida y nuestra calidad de vida; y mucho, mucho más. Ahora sabemos con certeza que estos profundos cambios en las ciencias biológicas son inminentes y desafiarán todas nuestras nociones de lo que es la vida.

Tecnologías como la clonación humana, en particular, han aumentado nuestra conciencia de los profundos problemas éticos y morales que enfrentamos. Si, por ejemplo, nos rediseñáramos en varias especies separadas y desiguales utilizando el poder de la ingeniería genética, amenazaríamos la noción de igualdad que es la piedra angular de nuestra democracia.

Dado el increíble poder de la ingeniería genética, no sorprende que existan importantes problemas de seguridad en su uso. Mi amigo Amory Lovins coescribió recientemente, junto con Hunter Lovins, un editorial que ofrece una visión ecológica de algunos de estos peligros. Entre sus preocupaciones: que "la nueva botánica alinea el desarrollo de las plantas con su éxito económico, no evolutivo". (Ver " Historia de dos botánicos ", página 247.) La larga carrera de Amory se ha centrado en la eficiencia energética y de recursos al adoptar una visión de sistema completo de los sistemas creados por el hombre; Esta vista de sistema completo a menudo encuentra soluciones simples e inteligentes para problemas aparentemente difíciles, y también se aplica aquí de manera útil.

Después de leer el editorial de Lovins, vi un artículo de opinión de Gregg Easterbrook en The New York Times (19 de noviembre de 1999) sobre cultivos transgénicos, bajo el título: "Alimentos para el futuro: algún día, el arroz habrá incorporado vitamina A. A menos que ganen los luditas ".

¿Son Amory y Hunter Lovins luditas? Ciertamente no. Creo que todos estaríamos de acuerdo en que el arroz dorado, con su vitamina A incorporada, es probablemente algo bueno, si se desarrolla con el cuidado adecuado y el respeto por los posibles peligros de trasladar genes a través de los límites de las especies.

La conciencia de los peligros inherentes a la ingeniería genética está comenzando a crecer, como se refleja en el editorial de Lovins. El público en general es consciente de los alimentos modificados genéticamente y está preocupado por ellos, y parece rechazar la idea de que se debería permitir que tales alimentos no estén etiquetados.

Pero la tecnología de la ingeniería genética ya está muy avanzada. Como señalan los Lovins, el USDA ya ha aprobado alrededor de 50 cultivos modificados genéticamente para su liberación ilimitada; más de la mitad de la soja del mundo y un tercio de su maíz contienen ahora genes empalmados de otras formas de vida.

Si bien hay muchos temas importantes aquí, mi principal preocupación con la ingeniería genética es más limitada: que da el poder, ya sea militarmente, accidentalmente o en un acto terrorista deliberado, para crear una plaga blanca.

Las muchas maravillas de la nanotecnología fueron imaginadas por primera vez por el físico ganador del Nobel Richard Feynman en un discurso que pronunció en 1959, publicado posteriormente con el título "Hay mucho espacio en el fondo". El libro que me impresionó mucho, a mediados de los 80, fue Engines of Creation, de Eric Drexler , en el que describía maravillosamente cómo la manipulación de la materia a nivel atómico podía crear un futuro utópico de abundancia, donde casi todo podía ser fabricado a bajo costo, y casi cualquier enfermedad o problema físico imaginable podría resolverse utilizando nanotecnología e inteligencias artificiales.

Un libro posterior, Unbounding the Future: The Nanotechnology Revolution, que Drexler coescribió, imagina algunos de los cambios que podrían tener lugar en un mundo en el que tuviéramos "ensambladores" de nivel molecular. Los ensambladores podrían hacer posible la energía solar a un costo increíblemente bajo, curas para el cáncer y el resfriado común mediante el aumento del sistema inmunológico humano, esencialmente una limpieza completa del medio ambiente, supercomputadoras de bolsillo increíblemente económicas; de hecho, cualquier producto podría ser fabricado por ensambladores en un no cuestan más que el de la madera: los vuelos espaciales son más accesibles que los viajes transoceánicos en la actualidad y la restauración de especies extintas.

Recuerdo que me sentí bien con la nanotecnología después de leer Engines of Creation. Como tecnólogo, me dio una sensación de calma, es decir, la nanotecnología nos mostró que era posible un progreso increíble y, de hecho, tal vez inevitable. Si la nanotecnología era nuestro futuro, entonces no me sentí presionado a resolver tantos problemas en el presente. Llegaría al futuro utópico de Drexler a su debido tiempo; Bien podría disfrutar más la vida aquí y ahora. Dada su visión, no tenía sentido quedarse despierto toda la noche, todo el tiempo.

La visión de Drexler también condujo a mucha diversión. De vez en cuando llegaba a describir las maravillas de la nanotecnología a otros que no habían oído hablar de ella. Después de burlarse de ellos con todas las cosas que Drexler describió, les daría una tarea propia: "Usa la nanotecnología para crear un vampiro; para obtener crédito adicional, crea un antídoto".

Con estas maravillas venían claros peligros, de los que era muy consciente. Como dije en una conferencia de nanotecnología en 1989, "No podemos simplemente hacer nuestra ciencia y no preocuparnos por estas cuestiones éticas". 5 Pero mis conversaciones posteriores con físicos me convencieron de que la nanotecnología podría ni siquiera funcionar o, al menos, no funcionaría pronto. Poco después me mudé a Colorado, a una fábrica de mofeta que había creado, y el enfoque de mi trabajo cambió al software para Internet, específicamente a las ideas que se convirtieron en Java y Jini.

Luego, el verano pasado, Brosl Hasslacher me dijo que la electrónica molecular a nanoescala ahora era práctica. Esta era una noticia nueva , al menos para mí, y creo que para mucha gente, y cambió radicalmente mi opinión sobre la nanotecnología. Me envió de regreso a Engines of Creation.Releyendo el trabajo de Drexler después de más de 10 años, me sentí consternado al darme cuenta de lo poco que recordaba de su extensa sección llamada "Peligros y esperanzas", que incluía una discusión sobre cómo las nanotecnologías pueden convertirse en "motores de destrucción". De hecho, al releer hoy este material de advertencia, me sorprende lo ingenuas que parecen algunas de las propuestas de salvaguardia de Drexler, y lo mucho que considero que los peligros son ahora mucho mayores de lo que él parecía entonces. (Habiendo anticipado y descrito muchos problemas técnicos y políticos con la nanotecnología, Drexler fundó el Foresight Institute a fines de la década de 1980 "para ayudar a preparar a la sociedad para las tecnologías avanzadas anticipadas", lo más importante, la nanotecnología).

Parece bastante probable que se produzca un gran avance para los ensambladores en los próximos 20 años. La electrónica molecular, el nuevo subcampo de la nanotecnología donde las moléculas individuales son elementos del circuito, debería madurar rápidamente y volverse enormemente lucrativo en esta década, lo que provocaría una gran inversión incremental en todas las nanotecnologías.

Desafortunadamente, al igual que con la tecnología nuclear, es mucho más fácil crear usos destructivos para la nanotecnología que constructivos. La nanotecnología tiene claros usos militares y terroristas, y no es necesario tener tendencias suicidas para lanzar un dispositivo nanotecnológico masivamente destructivo; estos dispositivos pueden construirse para ser selectivamente destructivos, afectando, por ejemplo, solo a una determinada área geográfica oa un grupo de personas genéticamente distinto.

Una consecuencia inmediata del trato fáustico para obtener el gran poder de la nanotecnología es que corremos un grave riesgo: el riesgo de destruir la biosfera de la que depende toda la vida.

Como explicó Drexler:

Las "plantas" con "hojas" no más eficientes que las células solares actuales podrían competir con las plantas reales, llenando la biosfera con un follaje no comestible. Las "bacterias" omnívoras resistentes podrían competir con las bacterias reales: podrían esparcirse como el polen, replicarse rápidamente y reducir la biosfera a polvo en cuestión de días. Los replicadores peligrosos podrían ser demasiado resistentes, pequeños y de propagación rápida para detenerlos, al menos si no nos preparamos. Ya tenemos suficientes problemas para controlar los virus y las moscas de la fruta.

Entre los entendidos de la nanotecnología, esta amenaza se conoce como el "problema de la sustancia pegajosa gris". Aunque las masas de replicadores incontrolados no tienen por qué ser grises o pegajosas, el término "sustancia viscosa gris" enfatiza que los replicadores capaces de destruir la vida pueden ser menos inspiradores que una sola especie de crabgrass. Pueden ser superiores en un sentido evolutivo, pero esto no tiene por qué hacerlos valiosos.

La amenaza de la sustancia pegajosa gris deja una cosa perfectamente clara: no podemos permitirnos ciertos tipos de accidentes con ensambladores replicantes.

La sustancia viscosa gris seguramente sería un final deprimente para nuestra aventura humana en la Tierra, mucho peor que un simple fuego o hielo, y uno que podría provenir de un simple accidente de laboratorio. 6 Ups.

Es sobre todo el poder de la autorreplicación destructiva en genética, nanotecnología y robótica (GNR) lo que debería hacernos reflexionar. La autorreplicación es el modus operandi de la ingeniería genética, que utiliza la maquinaria de la célula para replicar sus diseños, y el principal peligro que subyace a la sustancia viscosa gris en la nanotecnología. Las historias de robots frenéticos como los Borg, que se replican o mutan para escapar de las limitaciones éticas que les imponen sus creadores, están bien establecidas en nuestros libros y películas de ciencia ficción. Incluso es posible que la autorreplicación sea más fundamental de lo que pensamos y, por lo tanto, más difícil, o incluso imposible, de controlar. Un artículo reciente de Stuart Kauffman en Naturetitulado "Autoreplicación: incluso los péptidos lo hacen" analiza el descubrimiento de que un péptido de 32 aminoácidos puede "autocatalizar su propia síntesis". No sabemos qué tan extendida está esta capacidad, pero Kauffman señala que puede insinuar "una ruta hacia los sistemas moleculares que se reproducen a sí mismos sobre una base mucho más amplia que el emparejamiento de bases de Watson-Crick". 7

En verdad, durante años hemos tenido claras advertencias de los peligros inherentes al conocimiento generalizado de las tecnologías GNR, de la posibilidad de que el conocimiento por sí solo permita la destrucción masiva. Pero estas advertencias no se han publicitado ampliamente; las discusiones públicas han sido claramente inadecuadas. No hay ningún beneficio en dar a conocer los peligros.

Las tecnologías nucleares, biológicas y químicas (NBC) utilizadas en las armas de destrucción masiva del siglo XX fueron y son en gran parte militares, desarrolladas en laboratorios gubernamentales. En marcado contraste, las tecnologías GNR del siglo XXI tienen claros usos comerciales y están siendo desarrolladas casi exclusivamente por empresas corporativas. En esta era de comercialismo triunfante, la tecnología —con la ciencia como su doncella— está produciendo una serie de inventos casi mágicos que son los más increíblemente lucrativos jamás vistos. Estamos persiguiendo agresivamente las promesas de estas nuevas tecnologías dentro del sistema ahora indiscutible del capitalismo global y sus múltiples incentivos financieros y presiones competitivas.

Este es el primer momento en la historia de nuestro planeta en el que cualquier especie, por sus propias acciones voluntarias, se ha convertido en un peligro para sí misma, así como para un gran número de otras.

Puede ser una progresión familiar, que ocurre en muchos mundos: un planeta, recién formado, gira plácidamente alrededor de su estrella; la vida se forma lentamente; evoluciona una procesión caleidoscópica de criaturas; surge la inteligencia que, al menos hasta cierto punto, confiere un enorme valor de supervivencia; y luego se inventa la tecnología. Se dan cuenta de que existen cosas tales como las leyes de la naturaleza, que estas leyes pueden ser reveladas mediante experimentos, y que el conocimiento de estas leyes puede hacerse tanto para salvar como para quitar vidas, ambos en escalas sin precedentes. La ciencia, reconocen, otorga inmensos poderes. En un instante, crean artilugios que alteran el mundo. Algunas civilizaciones planetarias se abren camino, ponen límites a lo que se puede y no se debe hacer, y atraviesan con seguridad el tiempo de los peligros. Otros, no tan afortunados ni tan prudentes, mueren.

Ese es Carl Sagan, escribiendo en 1994, en Pale Blue Dot, un libro que describe su visión del futuro humano en el espacio. Solo ahora me estoy dando cuenta de cuán profunda era su percepción, y cuán dolorosamente extraño, y extrañaré, su voz. A pesar de toda su elocuencia, la contribución de Sagan no fue menos que la del simple sentido común, un atributo del que, junto con la humildad, muchos de los principales defensores de las tecnologías del siglo XXI parecen carecer.

Recuerdo de mi niñez que mi abuela estaba firmemente en contra del uso excesivo de antibióticos. Había trabajado desde antes de la Primera Guerra Mundial como enfermera y tenía una actitud de sentido común de que tomar antibióticos, a menos que fueran absolutamente necesarios, era malo para usted.

No es que fuera enemiga del progreso. Vio muchos avances en una carrera de enfermería de casi 70 años; mi abuelo, diabético, se benefició enormemente de los tratamientos mejorados que estuvieron disponibles durante su vida. Pero ella, como muchas personas sensatas, probablemente pensaría que sería muy arrogante para nosotros, ahora, diseñar una "especie de reemplazo" robótica, cuando obviamente tenemos tantos problemas para hacer que las cosas relativamente simples funcionen, y tantos problemas para administrar, o incluso comprensión — nosotros mismos.

Ahora me doy cuenta de que ella tenía conciencia de la naturaleza del orden de la vida y de la necesidad de vivir con ese orden y respetarlo. Con este respeto viene una humildad necesaria de la que nosotros, con nuestro descaro de principios del siglo XXI, carecemos bajo nuestro propio riesgo. El punto de vista del sentido común, basado en este sentido, a menudo es correcto, antes que la evidencia científica. La clara fragilidad e ineficacia de los sistemas creados por el hombre que hemos construido debería hacernos reflexionar a todos; la fragilidad de los sistemas en los que he trabajado ciertamente me humilla.

Deberíamos haber aprendido una lección de la fabricación de la primera bomba atómica y de la carrera armamentista resultante. No lo hicimos bien entonces, y los paralelismos con nuestra situación actual son preocupantes.

El esfuerzo para construir la primera bomba atómica fue dirigido por el brillante físico J. Robert Oppenheimer. Oppenheimer no estaba naturalmente interesado en la política, pero se volvió dolorosamente consciente de lo que percibía como la grave amenaza para la civilización occidental del Tercer Reich, una amenaza seguramente grave debido a la posibilidad de que Hitler pudiera obtener armas nucleares. Energizado por esta preocupación, trajo su fuerte intelecto, pasión por la física y habilidades de liderazgo carismático a Los Alamos y dirigió un esfuerzo rápido y exitoso de una increíble colección de grandes mentes para inventar rápidamente la bomba.

Lo sorprendente es cómo este esfuerzo continuó con tanta naturalidad después de que se eliminó el ímpetu inicial. En una reunión poco después del Día de la EV con algunos físicos que sintieron que quizás el esfuerzo debería detenerse, Oppenheimer argumentó que continuara. Su razón declarada parece un poco extraña: no por el temor de grandes bajas por una invasión de Japón, sino porque las Naciones Unidas, que pronto se formarán, deberían tener un conocimiento previo de las armas atómicas. Una razón más probable por la que el proyecto continuó es el impulso que se había acumulado: la primera prueba atómica, Trinity, estaba casi a mano.

Sabemos que en la preparación de esta primera prueba atómica los físicos procedieron a pesar de una gran cantidad de posibles peligros. Inicialmente estaban preocupados, según un cálculo de Edward Teller, de que una explosión atómica pudiera incendiar la atmósfera. Un cálculo revisado redujo el peligro de destruir el mundo a una probabilidad de tres en un millón. (Teller dice que más tarde pudo descartar por completo la posibilidad de ignición atmosférica). Sin embargo, Oppenheimer estaba lo suficientemente preocupado por el resultado de Trinity que organizó una posible evacuación de la parte suroeste del estado de Nuevo México. Y, por supuesto, existía el peligro evidente de iniciar una carrera de armamentos nucleares.

Un mes después de esa primera prueba exitosa, dos bombas atómicas destruyeron Hiroshima y Nagasaki. Algunos científicos habían sugerido que la bomba simplemente se demostrara, en lugar de lanzarla sobre las ciudades japonesas, diciendo que esto mejoraría enormemente las posibilidades de control de armas después de la guerra, pero fue en vano. Con la tragedia de Pearl Harbor todavía fresca en la mente de los estadounidenses, habría sido muy difícil para el presidente Truman ordenar una demostración de las armas en lugar de usarlas como lo hizo: el deseo de terminar rápidamente la guerra y salvar las vidas que Se han perdido en cualquier invasión de Japón fue muy fuerte. Sin embargo, la verdad fundamental era probablemente muy simple: como dijo más tarde el físico Freeman Dyson, "la razón por la que se descartó fue simplemente que nadie tuvo el coraje o la previsión de decir que no".

Es importante darse cuenta de lo conmocionados que estaban los físicos tras el bombardeo de Hiroshima, el 6 de agosto de 1945. Describen una serie de oleadas de emoción: primero, una sensación de satisfacción por el hecho de que la bomba funcionó, luego el horror de toda la gente. que había sido asesinado, y luego una sensación convincente de que de ningún modo se debería lanzar otra bomba. Sin embargo, por supuesto, se lanzó otra bomba sobre Nagasaki, sólo tres días después del bombardeo de Hiroshima.

En noviembre de 1945, tres meses después de los bombardeos atómicos, Oppenheimer se mantuvo firme detrás de la actitud científica, diciendo: "No es posible ser un científico a menos que creas que el conocimiento del mundo y el poder que esto da, es una cosa". que es de valor intrínseco para la humanidad, y que lo está utilizando para ayudar a difundir el conocimiento y está dispuesto a asumir las consecuencias ".

Oppenheimer continuó trabajando, con otros, en el informe Acheson-Lilienthal, que, como dice Richard Rhodes en su reciente libro Visions of Technology, "encontró una manera de prevenir una carrera armamentista nuclear clandestina sin recurrir a un gobierno mundial armado"; su sugerencia fue una forma de ceder el trabajo de armas nucleares por parte de los estados-nación a una agencia internacional.

Esta propuesta condujo al Plan Baruch, que se presentó a las Naciones Unidas en junio de 1946 pero nunca se adoptó (tal vez porque, como sugiere Rhodes, Bernard Baruch había "insistido en sobrecargar el plan con sanciones convencionales", con lo que inevitablemente lo condenaba, aunque de todos modos, "casi con certeza habría sido rechazado por la Rusia estalinista"). Otros esfuerzos para promover pasos sensatos hacia la internacionalización de la energía nuclear para evitar una carrera armamentista chocaron con la política estadounidense y la desconfianza interna, o la desconfianza de los soviéticos. La oportunidad de evitar la carrera armamentista se perdió, y muy rápidamente.

Dos años más tarde, en 1948, Oppenheimer parecía haber llegado a otra etapa en su pensamiento, diciendo: "En una especie de sentido crudo que ninguna vulgaridad, humor o exageración pueden extinguir por completo, los físicos han conocido el pecado; y esto es un conocimiento que no pueden perder ".

En 1949, los soviéticos hicieron explotar una bomba atómica. Para 1955, tanto los Estados Unidos como la Unión Soviética habían probado bombas de hidrógeno adecuadas para su entrega por avión. Y así comenzó la carrera de armamentos nucleares.

Hace casi 20 años, en el documental The Day After Trinity, Freeman Dyson resumió las actitudes científicas que nos llevaron al precipicio nuclear:

"Lo he sentido yo mismo. El brillo de las armas nucleares. Es irresistible si vienes a ellas como científico. Sentir que está ahí en tus manos, liberar esta energía que alimenta las estrellas, dejar que haga tus órdenes. realizar estos milagros, para levantar un millón de toneladas de rocas al cielo. Es algo que le da a la gente una ilusión de poder ilimitado, y es, de alguna manera, responsable de todos nuestros problemas, esto, lo que podríamos llamar arrogancia técnica, que supera a las personas cuando ven lo que pueden hacer con sus mentes ". 8

Ahora, como entonces, somos creadores de nuevas tecnologías y estrellas del futuro imaginado, impulsados, esta vez por grandes recompensas financieras y la competencia global, a pesar de los claros peligros, sin apenas evaluar cómo puede ser tratar de vivir en un mundo que es el resultado realista de lo que estamos creando e imaginando.

En 1947, The Bulletin of the Atomic Scientists comenzó a poner un Reloj del Juicio Final en su portada. Durante más de 50 años, ha mostrado una estimación del peligro nuclear relativo que hemos enfrentado, reflejando las cambiantes condiciones internacionales. Las manecillas del reloj se han movido 15 veces y hoy, a las nueve minutos para la medianoche, reflejan un peligro real y continuo de las armas nucleares. La reciente incorporación de India y Pakistán a la lista de potencias nucleares ha aumentado la amenaza de fracaso del objetivo de no proliferación, y este peligro se reflejó al acercar las manecillas a la medianoche de 1998.

En nuestro tiempo, ¿cuánto peligro enfrentamos, no solo por las armas nucleares, sino por todas estas tecnologías? ¿Qué tan altos son los riesgos de extinción?

El filósofo John Leslie ha estudiado esta cuestión y ha llegado a la conclusión de que el riesgo de extinción humana es de al menos el 30 por ciento, mientras que Ray Kurzweil cree que tenemos "una posibilidad mejor que incluso de superarlo", con la salvedad de que "siempre ha sido acusado". de ser optimista ". 9 Estas estimaciones no solo no son alentadoras, sino que tampoco incluyen la probabilidad de muchos resultados horribles que no llegan a la extinción.

Ante tales evaluaciones, algunas personas serias ya están sugiriendo que simplemente nos movamos más allá de la Tierra lo más rápido posible. Colonizaríamos la galaxia usando sondas de von Neumann, que saltan de un sistema estelar a otro y se replican sobre la marcha. Este paso será casi con certeza necesario dentro de 5 mil millones de años (o antes si nuestro sistema solar es impactado desastrosamente por la colisión inminente de nuestra galaxia con la galaxia de Andrómeda dentro de los próximos 3 mil millones de años), pero si tomamos a Kurzweil y Moravec en su palabra que podría ser necesaria a mediados de este siglo.

¿Cuáles son las implicaciones morales aquí? Si debemos movernos más allá de la Tierra tan rápido para que la especie sobreviva, ¿quién acepta la responsabilidad por el destino de aquellos (la mayoría de nosotros, después de todo) que quedan atrás? E incluso si nos dispersamos hacia las estrellas, ¿no es probable que llevemos nuestros problemas con nosotros o descubramos, más tarde, que nos han seguido? El destino de nuestra especie en la Tierra y nuestro destino en la galaxia parecen estar inextricablemente vinculados.

Otra idea es erigir una serie de escudos para defenderse de cada una de las tecnologías peligrosas. La Iniciativa de Defensa Estratégica, propuesta por la administración Reagan, fue un intento de diseñar tal escudo contra la amenaza de un ataque nuclear de la Unión Soviética. Pero como Arthur C. Clarke, que estaba al tanto de las discusiones sobre el proyecto, observó: "Aunque podría ser posible, a un gran costo, construir sistemas de defensa locales que 'sólo' dejarían pasar un pequeño porcentaje de misiles balísticos, la gran cantidad de La idea promocionada de un paraguas nacional era una tontería. Luis Álvarez, quizás el físico experimental más grande de este siglo, me comentó que los defensores de tales esquemas eran 'tipos muy brillantes sin sentido común' ".

Clarke continuó: "Mirando mi bola de cristal, a menudo nublada, sospecho que una defensa total podría ser posible en un siglo más o menos. Pero la tecnología involucrada produciría, como subproducto, armas tan terribles que nadie se molestaría en usarlas. algo tan primitivo como los misiles balísticos ". 10

En Engines of Creation, Eric Drexler propuso que construyamos un escudo nanotecnológico activo, una forma de sistema inmunológico para la biosfera, para defendernos de los replicadores peligrosos de todo tipo que pudieran escapar de los laboratorios o ser creados maliciosamente. Pero el escudo que propuso sería en sí mismo extremadamente peligroso: nada podría evitar que desarrolle problemas autoinmunes y ataque a la biosfera misma. 11

Se aplican dificultades similares a la construcción de escudos contra la robótica y la ingeniería genética. Estas tecnologías son demasiado poderosas para protegerse en el marco de tiempo de interés; incluso si fuera posible implementar escudos defensivos, los efectos secundarios de su desarrollo serían al menos tan peligrosos como las tecnologías contra las que estamos tratando de protegernos.

Por tanto, todas estas posibilidades son indeseables o inalcanzables, o ambas cosas. La única alternativa realista que veo es la renuncia: limitar el desarrollo de las tecnologías que son demasiado peligrosas, limitando nuestra búsqueda de ciertos tipos de conocimiento.

Sí, lo sé, el conocimiento es bueno, al igual que la búsqueda de nuevas verdades. Buscamos conocimiento desde la antigüedad. Aristóteles abrió su Metafísica con la simple afirmación: "Todos los hombres por naturaleza desean saber". Como valor fundamental de nuestra sociedad, hemos acordado durante mucho tiempo el valor del acceso abierto a la información y reconocemos los problemas que surgen con los intentos de restringir el acceso y el desarrollo del conocimiento. En los últimos tiempos, hemos llegado a reverenciar el conocimiento científico.

Pero a pesar de los sólidos precedentes históricos, si el acceso abierto y el desarrollo ilimitado del conocimiento en lo sucesivo nos pone a todos en un claro peligro de extinción, entonces el sentido común exige que reexaminemos incluso estas creencias básicas y arraigadas desde hace mucho tiempo.

Fue Nietzsche quien nos advirtió, a finales del siglo XIX, no sólo que Dios ha muerto, sino que "la fe en la ciencia, que al fin y al cabo existe indiscutiblemente, no puede deber su origen a un cálculo de la utilidad; debe haberse originado a pesar de todo. del hecho de que la desutilidad y peligrosidad de la 'voluntad de la verdad', de la 'verdad a cualquier precio' se le demuestra constantemente ". Es este peligro adicional el que ahora enfrentamos plenamente: las consecuencias de nuestra búsqueda de la verdad. La verdad que busca la ciencia ciertamente puede considerarse un sustituto peligroso de Dios si es probable que conduzca a nuestra extinción.

Si pudiéramos estar de acuerdo, como especie, en lo que queremos, hacia dónde nos dirigimos y por qué, entonces haríamos nuestro futuro mucho menos peligroso, entonces podríamos entender lo que podemos y debemos renunciar. De lo contrario, podemos imaginarnos fácilmente una carrera armamentista desarrollándose sobre las tecnologías GNR, como sucedió con las tecnologías NBC en el siglo XX. Este es quizás el mayor riesgo, ya que una vez que comienza una carrera así, es muy difícil ponerle fin. Esta vez, a diferencia del Proyecto Manhattan, no estamos en una guerra, enfrentándonos a un enemigo implacable que amenaza nuestra civilización; en cambio, somos impulsados ​​por nuestros hábitos, nuestros deseos, nuestro sistema económico y nuestra necesidad competitiva de saber.

Creo que todos deseamos que nuestro rumbo esté determinado por nuestros valores colectivos, nuestra ética y nuestra moral. Si hubiéramos ganado más sabiduría colectiva en los últimos miles de años, entonces un diálogo con este fin sería más práctico, y los increíbles poderes que estamos a punto de desatar no serían tan preocupantes.

Uno pensaría que nuestro instinto de conservación nos impulsa a entablar ese diálogo. Los individuos claramente tienen este deseo, sin embargo, como especie, nuestro comportamiento parece no estar a nuestro favor. Al abordar la amenaza nuclear, a menudo nos hablamos deshonestamente a nosotros mismos y entre nosotros, lo que aumenta enormemente los riesgos. Si esto fue por motivos políticos, o porque decidimos no pensar en el futuro, o porque cuando nos enfrentamos a amenazas tan graves actuamos de manera irracional por miedo, no lo sé, pero no es un buen augurio.

Las nuevas cajas de genética, nanotecnología y robótica de Pandora están casi abiertas, pero parece que apenas nos hemos dado cuenta. Las ideas no se pueden volver a poner en una caja; a diferencia del uranio o el plutonio, no es necesario extraerlos ni refinarlos, y se pueden copiar libremente. Una vez que están fuera, están fuera. Churchill comentó, en un famoso cumplido zurdo, que el pueblo estadounidense y sus líderes "invariablemente hacen lo correcto, después de haber examinado todas las demás alternativas". En este caso, sin embargo, debemos actuar de manera más profética, ya que hacer lo correcto solo al final puede significar perder la oportunidad de hacerlo.

Como dijo Thoreau, "No viajamos en el ferrocarril; viaja sobre nosotros"; y esto es contra lo que debemos luchar, en nuestro tiempo. La pregunta es, en efecto, ¿cuál será el amo? ¿Sobreviviremos a nuestras tecnologías?

Estamos siendo impulsados ​​hacia este nuevo siglo sin plan, sin control, sin frenos. ¿Ya hemos ido demasiado lejos por el camino para cambiar de rumbo? No lo creo, pero aún no lo estamos intentando, y la última oportunidad de hacer valer el control, el punto a prueba de fallas, se acerca rápidamente. Tenemos nuestros primeros robots para mascotas, así como técnicas de ingeniería genética disponibles comercialmente, y nuestras técnicas a nanoescala están avanzando rápidamente. Si bien el desarrollo de estas tecnologías avanza a través de una serie de pasos, no es necesariamente el caso, como sucedió en el Proyecto Manhattan y la prueba Trinity, que el último paso para probar una tecnología sea grande y difícil. El avance hacia la autorreplicación salvaje en robótica, ingeniería genética o nanotecnología podría llegar de repente, repitiendo la sorpresa que sentimos cuando nos enteramos de la clonación de un mamífero.

Y, sin embargo, creo que tenemos una base sólida y sólida para la esperanza. Nuestros intentos de lidiar con las armas de destrucción masiva en el último siglo brindan un brillante ejemplo de renuncia que debemos considerar: el abandono unilateral de Estados Unidos, sin condiciones previas, del desarrollo de armas biológicas. Esta renuncia se debió a la comprensión de que, si bien se necesitaría un enorme esfuerzo para crear estas armas terribles, a partir de ese momento podrían duplicarse fácilmente y caer en manos de naciones rebeldes o grupos terroristas.

La conclusión clara fue que nos crearíamos amenazas adicionales al perseguir estas armas, y que estaríamos más seguros si no las perseguíamos. Hemos incorporado nuestra renuncia a las armas biológicas y químicas en la Convención de Armas Biológicas de 1972 (BWC) y la Convención de Armas Químicas de 1993 (CWC). 12

En cuanto a la continua y considerable amenaza de las armas nucleares, con la que hemos vivido durante más de 50 años, el reciente rechazo del Senado de los Estados Unidos al Tratado de Prohibición Completa de Pruebas, deja claro que renunciar a las armas nucleares no será políticamente fácil. Pero tenemos una oportunidad única, con el fin de la Guerra Fría, de evitar una carrera armamentista multipolar. Sobre la base de las renuncias de la BWC y la CWC, la abolición exitosa de las armas nucleares podría ayudarnos a construir el hábito de renunciar a tecnologías peligrosas. (En realidad, al deshacernos de todas las armas nucleares menos 100 en todo el mundo, aproximadamente el poder destructivo total de la Segunda Guerra Mundial y una tarea considerablemente más fácil, podríamos eliminar esta amenaza de extinción. 13

Verificar la renuncia será un problema difícil, pero no irresoluble. Tenemos la suerte de haber realizado ya una gran cantidad de trabajo relevante en el contexto de la Convención sobre las armas biológicas y otros tratados. Nuestra principal tarea será aplicar esto a tecnologías que, naturalmente, son mucho más comerciales que militares. La necesidad sustancial aquí es la transparencia, ya que la dificultad de verificación es directamente proporcional a la dificultad de distinguir entre las actividades legítimas y las abandonadas.

Sinceramente, creo que la situación en 1945 era más simple que la que enfrentamos ahora: las tecnologías nucleares eran razonablemente separables en usos comerciales y militares, y el control se vio favorecido por la naturaleza de las pruebas atómicas y la facilidad con la que se podía medir la radiactividad. La investigación sobre aplicaciones militares podría realizarse en laboratorios nacionales como Los Alamos, y los resultados se mantendrían en secreto el mayor tiempo posible.

Las tecnologías GNR no se dividen claramente en usos comerciales y militares; dado su potencial en el mercado, es difícil imaginar que se busquen únicamente en los laboratorios nacionales. Con su búsqueda comercial generalizada, hacer cumplir la renuncia requerirá un régimen de verificación similar al de las armas biológicas, pero a una escala sin precedentes. Esto, inevitablemente, aumentará las tensiones entre nuestra privacidad individual y el deseo de obtener información patentada, y la necesidad de verificación para protegernos a todos. Sin duda, encontraremos una fuerte resistencia a esta pérdida de privacidad y libertad de acción.

La verificación del abandono de ciertas tecnologías GNR tendrá que ocurrir en el ciberespacio así como en las instalaciones físicas. La cuestión fundamental será lograr que la transparencia necesaria sea aceptable en un mundo de información patentada, presumiblemente proporcionando nuevas formas de protección de la propiedad intelectual.

Verificar el cumplimiento también requerirá que los científicos e ingenieros adopten un código sólido de conducta ética, parecido al juramento hipocrático, y que tengan el coraje de denunciar según sea necesario, incluso a un alto costo personal. Esto respondería al llamado, 50 años después de Hiroshima, del premio Nobel Hans Bethe, uno de los miembros supervivientes más importantes del Proyecto Manhattan, de que todos los científicos "cesen y desistan de trabajar en la creación, desarrollo, mejora y fabricación de energía nuclear. armas y otras armas de destrucción masiva potencial ". 14 En el siglo XXI, esto requiere vigilancia y responsabilidad personal por parte de aquellos que trabajarían tanto en tecnologías NBC como GNR para evitar la implementación de armas de destrucción masiva y destrucción masiva habilitada por el conocimiento.

Thoreau también dijo que seremos "ricos en proporción a la cantidad de cosas que podamos permitirnos dejar en paz". Todos buscamos ser felices, pero parecería que valdría la pena cuestionarnos si necesitamos correr un riesgo tan alto de destrucción total para obtener aún más conocimiento y aún más cosas; El sentido común dice que hay un límite para nuestras necesidades materiales, y que cierto conocimiento es demasiado peligroso y es mejor olvidarlo.

Tampoco debemos perseguir la inmortalidad cercana sin considerar los costos, sin considerar el aumento proporcional del riesgo de extinción. La inmortalidad, aunque quizás sea la original, no es ciertamente el único sueño utópico posible.

Recientemente tuve la suerte de conocer al distinguido autor y erudito Jacques Attali, cuyo libro Lignes d'horizons ( Millennium, en la traducción al inglés) ayudó a inspirar el enfoque de Java y Jini para la era venidera de la computación generalizada, como se describió anteriormente en este artículo. revista. En su nuevo libro Fraternités, Attali describe cómo nuestros sueños de utopía han cambiado con el tiempo:

"En los albores de las sociedades, los hombres veían su paso por la Tierra como nada más que un laberinto de dolor, al final del cual había una puerta que conducía, a través de su muerte, a la compañía de los dioses y a la Eternidad. Con los hebreos y luego Los griegos, algunos hombres se atrevieron a liberarse de las exigencias teológicas y soñar con una Ciudad ideal donde florecería la Libertad , otros, notando la evolución de la sociedad de mercado, entendieron que la libertad de unos implicaría la alienación de otros, y buscaron la Igualdad . "

Jacques me ayudó a comprender cómo estos tres objetivos utópicos diferentes existen en tensión en nuestra sociedad actual. Continúa describiendo una cuarta utopía, la Fraternidad, cuyo fundamento es el altruismo. La fraternidad sola asocia la felicidad individual con la felicidad de los demás, ofreciendo la promesa de la autosuficiencia.

Esto cristalizó para mí mi problema con el sueño de Kurzweil. Un enfoque tecnológico de la eternidad, casi la inmortalidad a través de la robótica, puede no ser la utopía más deseable, y su búsqueda conlleva claros peligros. Quizás deberíamos repensar nuestras elecciones utópicas.

¿Dónde podemos buscar una nueva base ética para marcar nuestro rumbo? Las ideas del libro Ética para el nuevo milenio, del Dalai Lama, me han resultado muy útiles. Como es quizás bien sabido pero poco escuchado, el Dalai Lama sostiene que lo más importante es que conduzcamos nuestras vidas con amor y compasión por los demás, y que nuestras sociedades necesitan desarrollar una noción más sólida de responsabilidad universal y de nuestra interdependencia; propone un estándar de conducta ética positiva para los individuos y las sociedades que parece estar en consonancia con la utopía de la Fraternidad de Attali.

El Dalai Lama sostiene además que debemos comprender qué es lo que hace feliz a la gente y reconocer la fuerte evidencia de que ni el progreso material ni la búsqueda del poder del conocimiento son la clave, que existen límites para lo que la ciencia y la búsqueda científica por sí sola. puede hacer.

Nuestra noción occidental de felicidad parece provenir de los griegos, quienes la definieron como "el ejercicio de poderes vitales a lo largo de líneas de excelencia en una vida que les da alcance". 15

Claramente, necesitamos encontrar desafíos significativos y un alcance suficiente en nuestras vidas si queremos ser felices en lo que está por venir. Pero creo que debemos encontrar salidas alternativas para nuestras fuerzas creativas, más allá de la cultura del crecimiento económico perpetuo; este crecimiento ha sido en gran parte una bendición durante varios cientos de años, pero no nos ha traído una felicidad absoluta, y ahora debemos elegir entre la búsqueda de un crecimiento sin restricciones y sin dirección a través de la ciencia y la tecnología y los claros peligros que lo acompañan.

Ha pasado más de un año desde mi primer encuentro con Ray Kurzweil y John Searle. Veo a mi alrededor motivos de esperanza en las voces de cautela y renuncia y en aquellas personas que he descubierto que están tan preocupadas como yo por nuestra situación actual. También siento un sentido más profundo de responsabilidad personal, no por el trabajo que ya he hecho, sino por el trabajo que aún podría hacer, en la confluencia de las ciencias.

Pero muchas otras personas que conocen los peligros todavía parecen extrañamente silenciosas. Cuando se les presiona, lanzan la respuesta de "esto no es nada nuevo", como si la conciencia de lo que podría suceder fuera una respuesta suficiente. Me dicen, hay universidades llenas de bioeticistas que estudian estas cosas todo el día. Dicen: Todo esto se ha escrito antes y por expertos. Se quejan, tus preocupaciones y tus argumentos ya son viejos.

No sé dónde esconden sus miedos estas personas. Como arquitecto de sistemas complejos, entro en este campo como generalista. Pero, ¿debería esto disminuir mis preocupaciones? Soy consciente de lo mucho que se ha escrito, hablado y dado conferencias con tanta autoridad. Pero, ¿significa esto que ha llegado a la gente? ¿Significa esto que podemos descartar los peligros que tenemos ante nosotros?

Saber no es una razón fundamental para no actuar. ¿Podemos dudar de que el conocimiento se ha convertido en un arma que manejamos contra nosotros mismos?

Las experiencias de los científicos atómicos muestran claramente la necesidad de asumir la responsabilidad personal, el peligro de que las cosas se muevan demasiado rápido y la forma en que un proceso puede cobrar vida propia. Podemos, como lo hicieron ellos, crear problemas insuperables en casi nada de tiempo. Debemos pensar más desde el principio si no queremos sorprendernos y escandalizarnos de manera similar por las consecuencias de nuestros inventos.

Mi trabajo profesional continuo consiste en mejorar la confiabilidad del software. El software es una herramienta y, como constructor de herramientas, debo luchar con los usos que se dan a las herramientas que hago. Siempre he creído que hacer que el software sea más confiable, dados sus múltiples usos, hará del mundo un lugar mejor y más seguro; si llegara a creer lo contrario, estaría moralmente obligado a detener este trabajo. Ahora puedo imaginar que llegará un día así.

Todo esto no me deja enojado, pero al menos un poco melancólico. De ahora en adelante, para mí, el progreso será algo agridulce.

¿Recuerdas la hermosa penúltima escena en Manhattan en la que Woody Allen está acostado en su sofá hablando por una grabadora? Está escribiendo una historia corta sobre personas que se están creando problemas neuróticos innecesarios, porque les impide lidiar con problemas más terribles e irresolubles del universo.

Se lleva a sí mismo a la pregunta: "¿Por qué vale la pena vivir la vida?" y considerar qué hace que valga la pena para él: Groucho Marx, Willie Mays, el segundo movimiento de la Sinfonía de Júpiter, la grabación de Louis Armstrong de "Potato Head Blues", películas suecas, La educación sentimental de Flaubert, Marlon Brando, Frank Sinatra, las manzanas y peras de Cézanne, los cangrejos en Sam Wo's y, finalmente, lo más espectacular: la cara de su amada Tracy.

Cada uno de nosotros tiene nuestras cosas preciosas y, al cuidarlas, localizamos la esencia de nuestra humanidad. Al final, es debido a nuestra gran capacidad para cuidar que sigo siendo optimista de que enfrentaremos los peligrosos problemas que tenemos ante nosotros.

Mi esperanza inmediata es participar en una discusión mucho más amplia de los problemas que se plantean aquí, con personas de diferentes orígenes, en entornos que no estén predispuestos a temer o favorecer la tecnología por sí misma.

Para empezar, he planteado dos veces muchos de estos problemas en eventos patrocinados por el Instituto Aspen y he propuesto por separado que la Academia Estadounidense de Artes y Ciencias los adopte como una extensión de su trabajo con las Conferencias de Pugwash. (Estos se han realizado desde 1957 para discutir el control de armas, especialmente de armas nucleares, y para formular políticas viables).

Es lamentable que las reuniones de Pugwash comenzaran mucho después de que el genio nuclear salió de la botella, aproximadamente 15 años demasiado tarde. También estamos comenzando tardíamente a abordar seriamente los problemas relacionados con las tecnologías del siglo XXI (la prevención de la destrucción masiva habilitada por el conocimiento) y parece inaceptable una mayor demora.

Así que sigo buscando; hay muchas más cosas que aprender. Aún no se ha decidido si vamos a tener éxito o fracasar, sobrevivir o ser víctimas de estas tecnologías. Me levanto hasta tarde de nuevo, son casi las 6 de la mañana. Estoy tratando de imaginar mejores respuestas para romper el hechizo y liberarlos de la piedra.

1 El pasaje que cita Kurzweil es del Manifiesto Unabomber de Kaczynski, que fue publicado conjuntamente, bajo coacción, por The New York Times y The Washington Post para intentar poner fin a su campaña de terror. Estoy de acuerdo con David Gelernter, quien dijo sobre su decisión:

"Fue una decisión difícil para los periódicos. Decir que sí sería ceder ante el terrorismo y, por lo que sabían, de todos modos estaba mintiendo. Por otro lado, decir que sí podría detener el asesinato. También existía la posibilidad de que alguien leería el tratado y tendría una corazonada sobre el autor, y eso es exactamente lo que sucedió. El hermano del sospechoso lo leyó y sonó una campana.

"Les habría dicho que no publicaran. Me alegro de que no me lo hayan preguntado. Supongo".

( Drawing Life: Surviving the Unabomber. Free Press, 1997: 120.)

2 Garrett, Laurie. La plaga venidera: enfermedades emergentes en un mundo desequilibrado. Penguin, 1994: 47-52, 414, 419, 452.

3 Isaac Asimov describió lo que se convirtió en la visión más famosa de las reglas éticas para el comportamiento de los robots en su libro I, Robot in 1950, en su Three Laws of Robotics: 1. Un robot no puede dañar a un ser humano, o, por inacción, permitir un ser humano a sufrir. 2. Un robot debe obedecer las órdenes que le den los seres humanos, excepto cuando tales órdenes entren en conflicto con la Primera Ley. 3. Un robot debe proteger su propia existencia, siempre que dicha protección no entre en conflicto con la Primera o Segunda Ley.

4 Miguel Ángel escribió un soneto que comienza:

Non ha l 'ottimo artista alcun concetto *

Ch 'un marmo solo in sè non circonscriva

Col suo soverchio; e solo a quello arriva

La man che ubbidisce all 'intelleto.

Stone traduce esto como:

El mejor de los artistas no ha pensado en mostrar *

que la piedra tosca en su cáscara superflua

no incluye; para romper el hechizo de mármol

es todo lo que puede hacer la mano que sirve al cerebro.

Stone describe el proceso: "No estaba trabajando a partir de sus dibujos o modelos de arcilla; todos habían sido guardados. Estaba esculpiendo a partir de las imágenes en su mente. Sus ojos y manos sabían dónde debía emerger cada línea, curva, masa, y a qué profundidad en el corazón de la piedra para crear el bajo relieve ".

( La agonía y el éxtasis. Doubleday, 1961: 6, 144.)

5 Primera Conferencia de Prospectiva sobre Nanotecnología en octubre de 1989, una charla titulada "El futuro de la computación". Publicado en Crandall, BC y James Lewis, editores. Nanotecnología: investigación y perspectivas. MIT Press, 1992: 269. Véase también www.foresight.org/Conferences/MNT01/Nano1.html .

6 En su novela Cat's Cradle de 1963 , Kurt Vonnegut imaginó un accidente parecido a una sustancia gris en el que una forma de hielo llamada hielo nueve, que se solidifica a una temperatura mucho más alta, congela los océanos.

7 Kauffman, Stuart. "Autorreplicación: incluso los péptidos lo hacen". Nature, 382, ​​8 de agosto de 1996: 496. Véase www.santafe.edu/sfi/People/kauffman/sak-peptides.html .

8 De lo contrario, Jon. El día después de la Trinidad: J. Robert Oppenheimer y la bomba atómica (disponible en www.pyramiddirect.com ).

9 Esta estimación se encuentra en el libro de Leslie The End of the World: The Science and Ethics of Human Extinction, donde señala que la probabilidad de extinción es sustancialmente mayor si aceptamos el argumento del día del juicio final de Brandon Carter, que es, brevemente, que "deberíamos tenemos cierta renuencia a creer que somos excepcionalmente tempranos, por ejemplo en el 0.001 por ciento más temprano, entre todos los humanos que alguna vez hayan vivido. Esta sería una razón para pensar que la humanidad no sobrevivirá durante muchos siglos más, y mucho menos colonizará el galaxia. El argumento del fin del mundo de Carter no genera ninguna estimación de riesgo por sí solo. Es un argumento para revisar las estimaciones que generamos cuando consideramos varios peligros posibles ". (Routledge, 1996: 1, 3, 145.)

10 Clarke, Arthur C. "Presidentes, expertos y asteroides". Science, 5 de junio de 1998. Reimpreso como "Science and Society" en Greetings, Carbon-Based Bipeds! Ensayos recopilados, 1934-1998. St. Martin's Press, 1999: 526.

11 Y, como sugiere David Forrest en su artículo "RegulandoDesarrollo de nanotecnología ", disponible en www.foresight.org/NanoRev/Forrest1989.html ," Si utilizáramos la responsabilidad estricta como alternativa a la regulación, sería imposible para cualquier desarrollador internalizar el costo del riesgo (destrucción de la biosfera), así que, en teoría, la actividad de desarrollar nanotecnología nunca debería emprenderse ”. El análisis de Forrest nos deja solo con la regulación gubernamental para protegernos, no un pensamiento reconfortante.

12 Meselson, Mateo. "El problema de las armas biológicas". Presentación ante la 1.818a reunión declarada de la Academia Estadounidense de Artes y Ciencias, 13 de enero de 1999 ( minerva.amacad.org/archive/bulletin4.htm )

13 Doty, Paul. "La amenaza olvidada: las reservas de armas nucleares siguen representando la mayor amenaza para la civilización". Nature, 402, 9 de diciembre de 1999: 583.

14 Véase también la carta de 1997 de Hans Bethe al presidente Clinton, en www.fas.org/bethecr.htm .

15 Hamilton, Edith. El Camino Griego. WW Norton & Co., 1942: 35.