Singularidade: Uma abordagem super simplificada?

Esta é uma tradução livre do estudo de  Joi Ito, diretor do MIT Media Lab, em uma profunda reflexão sobre como promover as mudanças que precisamos, visando uma melhor qualidade de vida para o ser humano em harmonia com a natureza. O texto é bastante crítico quanto à singularidade e nos estimula uma profunda reflexão sobre o assunto. O trabalho faz parte de um estudo colaborativo, publicado na plataforma pub pub, no qual todos nós podemos contribuir.

---

Texto traduzido de Resisting Reduction, de Joi Ito.

Apresentação do estudo

Resistindo à Redução

Projetando nosso futuro complexo com máquinas

Equipe de revisão, pesquisa e edição: Catherine Ahearn, Chia Evers, Natalie Saltiel, Andre Uhl

Enquanto eu estava planejando escrever um manifesto contra a singularidade tecnológica e lançá-lo na esfera conversacional para a reação e os comentários do público, um convite de John Brockman, no início deste ano, para ler e discutir com ele e seu ilustre grupo de pensadores “O Uso Humano dos Seres Humanos”, de Norbert Wiener, como parte do projeto de um livro colaborativo, contribuiu para os pensamentos aqui contidos.

O ensaio abaixo é a fase 1 de um projeto de publicação experimental e aberto em parceria com o MIT Press. Na fase 2, uma nova versão do ensaio, enriquecida e informada por meio de comentários abertos será publicada on-line, juntamente com as contribuições de outros inspiradas no ensaio preliminar, como uma nova edição do Journal of Design and Science. Na fase 3, uma seleção revisada e editada dessas contribuições será publicada como um livro impresso pela MIT Press.

---

Versão 1.0

O ecossistema da natureza nos fornece um elegante exemplo de um sistema adaptativo complexo, onde uma infinidade de “moedas” interagem e respondem aos sistemas de feedback, que permitem tanto o florescimento quanto a regulação. Este modelo colaborativo deve fornecer o paradigma da nossa abordagem à inteligência artificial, ao invés de um modelo de crescimento financeiro exponencial ou da Singularidade, que promete a transcendência de nossa condição humana atual através de avanços na tecnologia. Há mais de 60 anos, o matemático e filósofo do MIT, Norbert Wiener, nos advertiu que “quando os átomos humanos estão unidos em uma organização em que são usados, não em seu pleno direito como seres humanos responsáveis, mas como engrenagens, alavancas e hastes, importa pouco que sua matéria-prima seja carne e sangue.” Devemos prestar atenção ao aviso de Wiener.

INTRODUÇÃO: O CÂNCER DA MOEDA

Na medida em que o sol bate na Terra, a fotossíntese converte água, dióxido de carbono e a energia do sol em oxigênio e glicose. A fotossíntese é um dos muitos processos químicos e biológicos que transformam uma forma de matéria e energia em outra. Essas moléculas então são metabolizadas por outros processos biológicos e químicos em outras moléculas. Os cientistas muitas vezes chamam essas moléculas de “moedas”, porque representam uma forma de poder que é transferida entre células ou processos para benefício mútuo – “negociadas”, efetivamente. A maior diferença entre estas e as moedas financeiras é que não há “moeda principal” ou “câmbio”. Em vez disso, cada moeda só pode ser usada por certos processos e o “mercado” dessas moedas impulsiona a dinâmica que é “a vida”.

À medida que certas moedas se tornaram abundantes como resultado de um processo ou organismo bem sucedido, outros organismos evoluíram para pegar essa saída e convertê-la em outra coisa. Ao longo de bilhões de anos, é assim que o ecossistema da Terra evoluiu, criando vastos sistemas de caminhos metabólicos e formando sistemas auto-reguladores altamente complexos que, por exemplo, estabilizam nossas temperaturas corporais ou a temperatura da Terra, apesar de flutuações e mudanças contínuas entre os elementos individualmente, em todas as  escalas – do micro ao macro. A saída de um processo torna-se a entrada de outro. Em última análise, tudo se interconecta.

Vivemos em uma civilização em que as moedas primárias são dinheiro e poder – onde frequentemente o objetivo é acumular ambos em detrimento da sociedade em geral. Este é um sistema muito simples e frágil em comparação com os ecossistemas da Terra, onde milhares de “moedas” são trocadas entre processos para criar sistemas de insumos e saídas enormemente complexos, com sistemas de feedback que adaptam e regulam os estoques, fluxos e conexões.

Infelizmente, nossa atual civilização humana não carrega em si a resiliência do nosso ambiente, e os paradigmas que definem nossos objetivos e impulsionam a evolução da sociedade hoje nos colocaram em um percurso perigoso, sobre o qual o matemático Norbert Wiener nos alertou há décadas. O paradigma de uma única moeda principal levou muitas corporações e instituições a perder de vista suas missões originais. Os valores e a complexidade são cada vez mais focados na priorização do crescimento financeiro exponencial, liderado por entidades corporativas com fins lucrativos que ganharam autonomia, direitos, poder e influência social quase não regulamentada. O comportamento dessas entidades é semelhante aos cânceres. As células saudáveis ​​regulam seu crescimento e respondem ao meio ambiente, até mesmo se eliminando se eles forem parar em um órgão onde não pertencem. As células cancerosas, por outro lado, otimizam o crescimento sem restrições e se espalham com desrespeito à sua função ou contexto.

O CHICOTE QUE NOS AÇOITA

A ideia de que existimos por causa do progresso, e que o progresso requer crescimento sem restrições e exponencial, é o chicote que nos açoita. As empresas modernas são o produto natural desse paradigma em um sistema capitalista de livre mercado. Norbert Wiener chamou as corporações de “máquinas de carne e sangue” e a automação de “máquinas de metal”. As novas espécies de mega empresas do Vale do Silício – as máquinas de bits – são desenvolvidas e operadas em grande parte por pessoas que acreditam em uma nova religião, a Singularidade. Esta nova religião não é uma mudança fundamental no paradigma, mas sim a evolução natural do culto do crescimento exponencial aplicado à computação moderna e à ciência. A assíntota*  do crescimento exponencial do poder computacional é a inteligência artificial.

* Uma assíntota é uma linha que se aproxima continuamente de uma determinada curva, mas não acha-se a qualquer distância finita. Na singularidade, esta é a linha vertical que ocorre quando a curva de crescimento exponencial se torna uma linha vertical. Entre os que acreditam na Singularidade, há mais argumentos sobre o lugar onde essa assíntota está do que sobre se ela realmente acontecerá.

A noção de Singularidade – que a Inteligência Artificial superará os seres humanos com seu crescimento exponencial e que tudo o que fizemos até agora e atualmente é insignificante – é uma religião criada por pessoas que têm a experiência de usar computação para resolver problemas até agora considerados impossivelmente complexos para máquinas. Eles encontraram um parceiro perfeito na computação digital – um sistema de pensamento e criação reconhecível, controlável, que está rapidamente aumentando em sua capacidade de aproveitar e processar a complexidade, conferindo riqueza e poder aos que o dominaram. No Vale do Silício, a combinação do pensamento coletivo e do sucesso financeiro desse culto da tecnologia criou um sistema de feedback positivo que tem pouca capacidade para se regular através de feedback negativo. Enquanto eles resistiriam ter suas crenças comparadas com uma religião e argumentariam que suas ideias são científicas e baseadas em evidências, aqueles que abraçam a Singularidade algumas vezes usam argumentos não suportados ou sensacionalistas, e praticam atos de fé baseados mais em trajetórias do que verdades consolidadas para alcançar sua visão final.

Singularistas acreditam que o mundo é “conhecível” e computacionalmente simulável, e que os computadores serão capazes de processar a confusão do mundo real, assim como fizeram com todos os outros problemas que um dia acreditou-se que não poderiam ser resolvidos por computadores. Para eles, essa maravilhosa ferramenta, o computador, funcionou tão bem até aqui que ela tem que continuar trabalhando para cada desafio que lançamos, até que transcendamos as limitações conhecidas e, em última análise, possamos alcançar algum tipo de velocidade de escape da realidade. A inteligência artificial já está deslocando os humanos na condução de carros, no diagnóstico de câncer e na pesquisa de documentos judiciais. A ideia é que a Inteligência Artificial continuará esse progresso e, eventualmente, se fundirá com os cérebros humanos e se tornará uma super inteligência que tudo vê, todo-poderosa. Para os verdadeiros crentes, os computadores aumentarão e estenderão nossos pensamentos a uma espécie de “amortalidade”. (Parte da Singularidade é uma luta pela “amortalidade”, a ideia de que, mesmo que ainda se possa morrer e não ser imortal, a morte não é o resultado do envelhecimento).

Mas, se as corporações são precursoras da nossa transcendência, parece irremediavelmente ingênua a visão dos singularistas que com mais computação e bio-hacking resolveremos de alguma forma todos os problemas do mundo, ou que a Singularidade solucionará os problemas humanos. Enquanto sonhamos com o dia em que aumentaremos nossa capacidade cerebral e atingiremos a amortalidade, e que poderemos pensar grande, as corporações já têm uma espécie de “amortalidade”. Eles persistem enquanto forem solventes e são mais do que uma soma de suas partes – indiscutivelmente, uma super inteligência amortal.

Mais computação não nos torna mais “inteligentes”, apenas mais computacionalmente poderosos.

Para que a Singularidade obtenha um resultado positivo, requer-se uma crença que, com poder suficiente, o sistema descobrirá de alguma forma como se regular. O resultado final seria tão complexo que, enquanto nós humanos não conseguiríamos sequer entendê-lo, este sistema entenderia e “resolveria” por si mesmo. Alguns acreditam em algo que parece um pouco com o plano principal da antiga União Soviética, mas com informações completas e poder ilimitado. Outros têm uma visão mais sofisticada de um sistema distribuído, mas em algum nível, todos os Singularistas acreditam que, com poder e controle suficientes, o mundo é “domesticável”. Nem todos os que acreditam na Singularidade a adoram como uma transcendência positiva trazendo imortalidade e abundância: alguns acreditam que o dia do juízo final chegará quando todas as curvas se tornam verticais.

Se você está em uma curva S ou uma curva normal, o início da inclinação parece muito com uma curva exponencial. Uma curva exponencial para os profissionais de dinâmica de sistemas mostram auto-reforço, ou seja, uma curva com feedback positivo sem limites. Talvez isso seja o que excita os Singularistas e assusta profissionais de sistemas. A maioria das pessoas fora da bolha da singularidade acredita nas curvas em S, isto é: que a natureza se adapta e se auto-regula, e que mesmo as pandemias vão seguir seu curso. As pandemias podem causar um evento de extinção, mas o crescimento vai diminuir e as coisas se adaptarão. Estas pessoas podem não estar do mesmo lado, e as coisas podem mudar, mas a noção de Singularidade – especialmente como algum tipo de salvador ou do dia do juízo final, que nos permita transcender a confusão e o sofrimento mortal de nossa existência humana – é fundamentalmente uma noção equivocada.

Esse tipo de pensamento reducionista não é novo. Quando BF Skinner descobriu o princípio do reforço e conseguiu descrevê-lo, criamos educação em torno de suas teorias. Os cientistas de aprendizagem sabem que as abordagens comportamentais só funcionam para um restrito leque de aprendizagem, mas muitas escolas continuam a se basear em exercício e prática. Tomemos, como outro exemplo, o movimento da eugenia, que de forma ampla e incorreta super-simplificou o papel da genética na sociedade. Este movimento ajudou a alimentar o genocídio nazista, fornecendo uma visão científica reducionista de que poderíamos “consertar a humanidade”, manipulando a seleção natural. Os ecos dos horrores da eugenia ainda existem hoje, transformando em tabu quase qualquer pesquisa que tente ligar a genética com coisas como a inteligência.

Devemos aprender com nosso histórico de aplicar ciência excessivamente reducionista à sociedade e tentar, como diz Wiener, “deixar de beijar o chicote que nos açoita”. Embora seja um dos principais impulsionadores da ciência – para explicar de forma elegante a complexidade e reduzir a confusão ao entendimento – devemos também lembrar o que Albert Einstein disse: “Tudo deve ser feito tão simples quanto o possível, mas não mais simples.” Precisamos abraçar a incompreensibilidade – a irredutibilidade – do mundo real, à qual artistas, biólogos e aqueles que trabalham no mundo desordenado de artes liberais e humanas estão familiarizados.

NÓS SOMOS TODOS PARTICIPANTES

A era da Guerra Fria, quando Wiener estava escrevendo o “Uso Humano dos Seres Humanos”, foi um tempo definido pela rápida expansão do capitalismo e do consumismo, o início da corrida espacial e da era da computação. Era um momento em que era mais fácil acreditar que os sistemas poderiam ser controlados de fora e que muitos dos problemas do mundo seriam resolvidos através da ciência e engenharia.

A cibernética que Wiener descreveu principalmente durante esse período estava preocupada com sistemas de feedback que poderiam ser controlados ou regulados a partir de uma perspectiva objetiva. Essa chamada cibernética de primeira ordem assumiu que o cientista, como observador, pode entender o que está acontecendo, permitindo que o engenheiro possa conceber sistemas baseados na observação ou nos insights do cientista.

Hoje, é muito mais óbvio que a maioria de nossos problemas – mudança climática, pobreza, obesidade e doenças crônicas, ou o terrorismo moderno – não podem ser resolvidos simplesmente com mais recursos e maior controle. Isso porque eles são o resultado de sistemas adaptativos complexos que são muitas vezes o resultado das ferramentas usadas para resolver problemas no passado, como aumentar a produtividade infinitamente e tentar controlar as coisas. É aqui que a cibernética de segunda ordem entra em jogo – a cibernética dos sistemas complexos auto-adaptativos, onde o observador também faz parte do próprio sistema. Como Kevin Slavin diz em Design as Participation, “Você não está preso no tráfego – você é tráfego”.

Para responder efetivamente aos importantes desafios científicos de nossos tempos, acredito que devemos ver o mundo como muitos sistemas interconectados, complexos e auto-adaptativos em escalas e dimensões que são irreconhecíveis e em grande parte inseparáveis ​​do observador e do designer. Em outras palavras, somos participantes de múltiplos sistemas evolutivos com diferentes paisagens, em diferentes escalas, de nossos micróbios a nossas identidades individuais para a sociedade e nossas espécies. Os próprios indivíduos são sistemas compostos de sistemas de sistemas, como as células em nossos corpos que se comportam mais como designers de nível de sistema do que nós.

Embora Wiener discuta a evolução biológica e a evolução da linguagem, ele não estuda a ideia de aproveitar a dinâmica evolutiva para a ciência. A evolução biológica das espécies individuais (evolução genética) tem sido impulsionada pela reprodução e sobrevivência, incutindo em nós metas e anseios por procriar e crescer. Esse sistema evolui continuamente para regular o crescimento, aumentar a diversidade e a complexidade e melhorar a sua própria capacidade de resistência, adaptabilidade e sustentabilidade. Como designers com uma crescente conscientização sobre esses sistemas mais amplos, temos metas e metodologias definidas pelos insumos evolutivos e ambientais, nos nossos contextos sociais e biológicos. Mas as máquinas com inteligência emergente têm objetivos e metodologias discernivelmente diferentes. À medida que introduzimos máquinas no sistema, elas não só melhorarão os seres humanos individuais, mas também, e mais importante, melhorarão os sistemas complexos como um todo.

Aqui é onde a formulação problemática da “inteligência artificial” torna-se evidente, pois sugere formas, metas e métodos que ficam fora da interação com outros sistemas adaptativos complexos. Em vez de pensar na inteligência da máquina em termos de seres humanos versus máquinas, devemos considerar o sistema que integra seres humanos e máquinas – não inteligência artificial, mas inteligência estendida. Em vez de tentar controlar ou projetar, ou mesmo entender sistemas, é mais importante projetar sistemas que participem como elementos responsáveis, conscientes e robustos de sistemas ainda mais complexos. E devemos questionar e adaptar nosso próprio propósito e sensibilidades como designers e como componentes deste sistema para uma abordagem muito mais humilde: Humildade sob controle.

Poderíamos chamá-lo de “design participante” – design de sistemas como e por participantes – que mais é semelhante ao aumento de uma função de florescimento, onde florescer é uma medida de vigor e saúde, ao invés de escala ou poder. Podemos medir a capacidade de os sistemas adaptarem-se de forma criativa, bem como a sua resiliência e a sua capacidade de utilizar recursos de forma interessante.

As melhores intervenções são menos sobre solucionar ou otimizar, e mais sobre desenvolver uma sensibilidade adequada ao meio ambiente e ao tempo. Desta forma, elas são mais como música do que como um algoritmo. A música é sobre uma sensibilidade ou “gosto” com muitos elementos se juntando em uma espécie de ordem emergente. A instrumentação pode empurrar, ou fazer com que o sistema se adapte, ou se mova de forma imprevisível e não programada, enquanto ainda faz sentido e mantém as partes juntas. Usar a própria música como uma intervenção não é uma ideia nova; em 1707, Andrew Fletcher, escritor e político escocês, disse: “Deixe-me fazer as canções de uma nação, não me importo com quem faz suas leis”.

Se a escrita de músicas em vez de leis lhe parece frívola, lembre-se de que as músicas normalmente duram mais do que as leis, que as músicas desempenharam papéis fundamentais em várias revoluções difíceis ou suaves, e acabam sendo transmitidas de pessoa para pessoa, juntamente com os valores que elas carregam. Mas não se trata de música ou código. Trata-se de tentar afetar a mudança operando no mesmo nível que as canções operam. Isto é articulado por Donella Meadows, entre outros, em seu livro “Thinking in Systems”.

Meadows, em seu ensaio Leverage Points: Places to Intervene in a System, , descreve como podemos intervir em um sistema complexo e auto-adaptativo. Para ela, as intervenções que envolvem a mudança de parâmetros ou mesmo a alteração das regras não são tão poderosas ou tão fundamentais quanto as mudanças nos objetivos e paradigmas de um sistema.

Quando Wiener discutiu nossa adoração ao progresso, ele disse:

Aqueles que defendem a ideia do progresso como um princípio ético, consideram este processo de mudança ilimitado e quase-espontâneo como uma coisa boa e como base para garantir às gerações futuras um céu na Terra. É possível acreditar no progresso como um fato, sem acreditar em progresso como um princípio ético; mas no catecismo de muitos americanos, os dois andam de mãos dadas.

Em vez de discutir a “sustentabilidade” como algo a ser “resolvido” no contexto de um mundo onde “maior” ainda é melhor, e mais do que suficiente não é muito, talvez devamos examinar os valores e as moedas e considerar se eles são adequados e apropriados para os sistemas em que participamos.

CONCLUSÃO: CULTURA DE FLORESCIMENTO

Desenvolver uma sensibilidade e uma cultura de florescimento, e abraçar uma série diversificada de medidas de “sucesso” depende menos da acumulação de poder e recursos e mais da diversidade e da riqueza da experiência. Esta é a mudança de paradigma que precisamos. Isso nos proporcionará uma riqueza de padrões tecnológicos e culturais sobre os quais poderemos desenhar uma sociedade altamente adaptável. Essa diversidade também permite que os elementos do sistema se alimentem uns aos outros sem o caráter exploratório e extrativo criado por uma monocultura de moeda única. É provável que esta nova cultura se espalhe como música, moda, espiritualidade ou outras formas de arte.
Como um japonês nativo, estou encorajado por um grupo de estudantes do ensino médio ao qual falei recentemente, quando os desafiei sobre o que eles pensavam que deveríamos fazer sobre o meio ambiente, e fazia perguntas sobre o significado da felicidade e o papel dos humanos na natureza. Também estou animado ao ver muitos dos meus alunos no MIT Media Lab e na disciplina Princípios de Consciência que eu divido com o Venerável Tenzin Priyadarshi, usando uma variedade de métricas (moedas) para medir o sucesso e o sentido dos alunos, lidando diretamente com a complexidade de encontrar um lugar em nosso mundo complexo.

 

Eu também estou animado por organizações como o IEEE, que está elaborando diretrizes de design para o desenvolvimento de inteligência artificial em torno do bem-estar humano em vez de em torno do impacto econômico. O trabalho de Peter Seligman, Christopher Filardi e Margarita Mora, da Conservation International, é criativo e emocionante, porque aborda a conservação, apoiando o florescimento dos povos indígenas – não o prejudicando. Outro exemplo encorajador é o dos sacerdotes xintoístas no Ise Shrine, que plantaram e reconstruíram o santuário a cada vinte anos nos últimos 1300 anos, celebrando a renovação e a qualidade cíclica da natureza.

Nos anos 60 e 70, o movimento hippie tentou reunir um movimento da “terra inteira”, mas o mundo voltou à cultura de consumidor e de consumo de hoje. Espero e acredito que um novo despertar acontecerá e que uma nova sensibilidade causará uma mudança não linear em nosso comportamento, através de uma transformação cultural. Embora possamos e devamos continuar trabalhando em todas as camadas do sistema para criar um mundo mais resiliente, acredito que a camada cultural é a camada com maior potencial para uma correção fundamental longe do caminho autodestrutivo em que estamos atualmente. Penso que será mais uma vez sobre a música e as artes dos jovens, refletindo e ampliando uma nova sensibilidade: um afastamento da ganância para um mundo onde “mais do que suficiente é demais”, e onde podemos florescer em harmonia com a natureza em vez de pelo controle dela.

Joichi Ito