Sooner or later, machines will do most of the work that people are now paid to think about.

Ten years ago that was a thing you said at the end of a talk, when the slides were finished and nobody was taking notes. Now it turns up in capital expenditure plans, as laboratories ship systems that write production code and read scans, treasuries model it into growth forecasts, and investors price it as the largest reallocation of labour since the field was mechanised. Whatever it is, it has stopped being a thing people speculate about and started being a thing people budget for.

Almost all of the argument is about timing and about winners. How many jobs go and how fast, which firms capture it, whether the models are reasoning or performing, whether any of this is safe. I have spent months on the last of those, arguing that the gains end up in very few hands and that everyone else gets poorer slowly enough that nobody names the day it began.

Underneath all of it there is a question that has to be answered first, and hardly anyone asks it out loud.

How much larger does an economy actually get when the machines can do the work?

Not when, and not who wins, but how much. The work here is knowledge work, the thinking part of the economy, which is where these systems arrive first. I went looking for that number expecting to find a large one and an argument about dates. The answer is a curve with nobody standing on it.

Start with the doctors

In the profession that intuition marks as the most human of all, doctors spend more of their working day on paperwork than on patients.

This is not an impression. In a direct observation study published in the Annals of Internal Medicine, researchers followed 57 physicians across four specialties and four American states for 430 hours, stopwatch in hand, recording what each was doing minute by minute. Direct clinical face time with patients came to 27.0% of the day. Electronic health records and desk work came to 49.2%, and even inside the examination room, with the patient physically present, only 52.9% of the time was spent face to face.

Nobody measured this in order to say anything about artificial intelligence. The study was funded by the American Medical Association and published in 2016, and its point was physician burnout.

I read it the way I suspect you just did. Three quarters of medicine is not medicine but administration, documentation and coordination, and administration, documentation and coordination are exactly what these models are good at. If that pattern holds across the professions, the ceiling is enormous and the argument is over before it starts.

That reading is wrong. Working out why took me through two results I was not looking for, and ended with me taking my own argument apart.

The whole thing hangs on one number

Suppose some fraction of the work cannot be sped up at all, and call it f. Speed up everything else without limit and the total gain does not run away. It converges to one divided by f.

This is Amdahl’s law, from a four page paper about parallel processors in 1967, and it is the least controversial thing here.¹ If a quarter of the job stays where it is, the ceiling is four times. If a fifth stays, five. If a tenth stays, ten.

Look at what that does to the debate, because the answer swings by an order of magnitude on the value of a single number, the number has nothing to do with the technology, and you do not need to know anything about the models to compute it. You need to know how much of the work has to stay human.

So I went to find out, and that is where the trouble starts. It took me most of a year to see it.

Five experiments that look like a contradiction

The literature that ought to settle how much these tools actually do looks, at first reading, like a mess.

Noy and Zhang randomised professional writing tasks among 453 college educated professionals and found time down 40% and quality up 18%, with the gains concentrated among the weakest writers. Peng et al randomised a from-scratch programming task and found the assisted group finished 55.8% faster. Cui et al pooled three field experiments across 4,867 working developers at Microsoft, Accenture and a Fortune 100 electronics firm and found 26% more output, larger for the short tenure. Brynjolfsson, Li and Raymond followed 5,179 customer support agents through a staggered real deployment and found 14% on average, 34% for novices, and no measurable effect on the experienced and highly skilled.

Then METR ran the most careful trial of the set, on sixteen experienced open source developers working in repositories where they averaged five years of history, across 246 real issues with 143 hours of screen recording labelled by hand, and found they were 19% slower with the tools than without.

Beforehand those developers had predicted a 24% speedup, economists asked to guess said 39%, and machine learning researchers said 38%. Afterwards, having done the work, the developers themselves still estimated they had gained 20%.

It is tempting to read the METR result as the one honest measurement and the rest as noise. That reading does not survive the numbers.

The five studies are one result measured at five points along a single axis. Every one of them finds the same thing once you sort them by how far the worker already was from what the model can do. Writing tasks given to people who are not writers, largest effect. Synthetic coding tasks with no existing context, very large. Real developers on unfamiliar work, moderate. Support agents with scripts and novices, large for novices and nothing for experts. Experienced maintainers inside codebases they built, negative.

The uplift is not a property of the technology. It is a property of the distance between the worker and the model.

Brynjolfsson states the mechanism outright. The system works by capturing and disseminating the behaviour patterns of the most productive agents, including tacit knowledge that had previously eluded automation, and helping newer workers move down the experience curve. The system is compressing a performance distribution, and a distribution can only be compressed once.

How much room is there, really

If the gain comes from levelling everyone up toward the best performer, then the total available gain is bounded by how far apart the best and the average already are. It is a measured quantity, and it was measured long before any of this.

Hunter, Schmidt and Judiesch assembled 68 studies of actual work output and 17 work sample studies, corrected them for measurement error and for range restriction, and computed the standard deviation of individual output as a percentage of mean output. It rises with job complexity, from 19% for low complexity work to 32% for medium and 48% for high complexity professional and managerial work.

From those figures they compute what the top 1% produce relative to the average, taking as the base everyone who might do the job rather than only those already doing it. It is 1.52 times in low complexity work, 1.85 in medium, and 2.27 in high complexity work.²

The same paper then gives three separate reasons why 2.27 is too low.

The authors say so outright. These distributions are positively skewed rather than normal, and in a positively skewed distribution the top 1% sits further above the mean than the normal model places it.

They also threw out their most extreme case. One study of high complexity work never entered the averages, because extracting a standard deviation from it would have required assuming a normal distribution and the authors would not assume one at that level of complexity. It was a study of computer programmers, in which the most productive produced sixteen times the output of the least productive.³

And their model puts the floor in an impossible place. For high complexity work it predicts negative output at the bottom of the distribution. The authors conclude that the true bottom sits at or near zero, and their words for why are that low performers in these occupations cannot learn the job at all.

Put those three together and the compression changes character. It is not everyone getting somewhat better, but a tail of people who could not do the work at all becoming able to do it, which is precisely what a 34% gain for novices and a zero gain for experts looks like from the inside.

This was the first result I was not looking for. The largest gain available from this technology asks nothing of the machines beyond what they already do. It requires only that they carry what the best person in the room already knows to everybody else, and it stops at a number that was measured in 1990.

Where the individual gain goes to die

There is a second literature that measures the same thing one level up.

Economists have been estimating efficiency frontiers since the 1970s, and the two standard tools arrived within a year of each other, data envelopment analysis from Charnes, Cooper and Rhodes in 1978 and stochastic frontier analysis from Aigner, Lovell and Schmidt in 1977. Both take observed inputs and outputs across a set of organisations and work out how much input the best of them needs to produce a given output, which makes the benchmark a real practice rather than a theoretical bound. The gap between a unit and that frontier is called technical inefficiency, and it is exactly the compressible slack.

Where it has been pointed, it gives real answers, and they are not the same answer twice. A stochastic frontier study of hospital diagnostic laboratories in Iran put mean technical efficiency at 93.1%, leaving about 7% of the input recoverable. The same laboratories analysed by data envelopment analysis came out at 98.3%, leaving 1.7%. A comparison of methods across English hospitals concluded that there are not truly large efficiency differences between them. And at the other end, governmental hospitals in Palestine averaged 55%, which is 45% of the output recoverable from the same resources.

The sites differ, and so do the instruments. A diagnostic laboratory in a working system and a governmental hospital in a strained one are not drawing from the same world, and each method draws the frontier its own way, which is how the same laboratories can come out five points apart under the two instruments.

The compressible slack inside organisations is real, measurable, and enormously dependent on where you look. It also never gets anywhere near the individual number.

Hunter’s 2.27 means 127% more output from moving the average to the top. Set that against the frontier, output per person against input per organisation, and the most slack-rich setting anyone has measured offers 45%. The typical one offers under 10%. The gap holds at every point in the range.

The reconciliation is not that one of them is wrong, but that an organisation is already an average. It has the excellent surgeon and the mediocre one, the good territory and the bad, the strong team and the weak, and it pools them before anything is measured. Individual variance is real and enormous, and most of it disappears on aggregation.

That took me a while to accept. The five experiments measure individuals, and the economy is made of organisations. Between the two there is a step that nobody in this argument has costed, and the one literature that has measured that step says the room up there is small. That was the second result I was not looking for.

What the stopwatch actually measured

By now I had what looked like a complete argument. Compression is bounded by human variance, everything beyond it requires the machine to beat the best person alive, and the whole thing is capped by whatever fraction of the work stays human, which is where the doctors came back in.

So I built the fraction. Direct patient contact for physicians, instructional time for teachers, where American teachers spend 27 hours instructing out of a 45 hour working week and the federal statistics agency puts it at 28 hours inside 46 worked, and interactive time for executives, taken from the largest study of executive time that exists, which followed 1,114 chief executives of manufacturing firms across six countries for a week each and logged 42,233 separate activities. Weighted against the 6.90 trillion dollar knowledge work wage bill, it came to about a quarter, and a quarter puts the ceiling near four times.

I was pleased with that number for months, and it is wrong for a reason that is embarrassingly simple.

A stopwatch measures what somebody did, not what somebody had to do.

The physicians in that study spent 27% of the day with patients. Nothing in the study asks whether those minutes could be shortened, batched, shared, moved to a different point in the visit, or handled differently altogether. The authors were counting burnout rather than necessity, and a teacher instructs thirty children or one, and the stopwatch reads the same either way. A chief executive holds an hour long meeting that could have been ten minutes, and the stopwatch records an hour.

The doctors are not a special case. A time and motion study of emergency nurses found them spending more of the shift on the electronic health record than on patients, 27% against 25%. The same profession, the same inversion, a different decade.

And nursing shows the deeper problem inside a single study. Work sampling on surgical wards puts direct patient care between 40% and 56% of the shift, while the same study finds nurses actually at the bedside 31% of the time. Direct care and being in the room are not the same category, and which one you count moves the answer by anything from nine to twenty five points. None of these studies was asking what the minimum is. They were asking where the time goes.

The same mistake is being made at the other end of the argument, in public. In April 2026 Sundar Pichai put the share of new code at Google written by machine at 75%, up from a quarter eighteen months earlier, and each time Google has published that number it has paired it with the words reviewed, accepted or approved by engineers. Writing code is somewhere between 9% and 61% of a developer’s day depending on the study, with one large survey putting new and improved code at 32%. Lines are not work, and the ratio between them has never been established either.

Every one of those numbers is a description of a habit. I had been treating them as descriptions of a requirement.

And the error runs in both directions, which is what makes it fatal rather than merely conservative. If half the physician’s paperwork is administrative theatre that a sane system would delete without any machine at all, then the compressible portion is smaller than it looks. If half the contact time is custom rather than clinical need, the irreducible portion is smaller too. Neither has been measured, and I had built a ceiling out of two quantities that nobody had established, and then computed a reciprocal to three significant figures.

The part I wanted to be physics and is not

One version of the argument survives this, and I spent weeks trying to make it work.

Certain work is not waiting for better machines because the obstacle was never capability. A primary school teacher cannot supervise a room from somewhere else. A negotiation needs a party with something to lose. The blocking condition is not that the task legally requires a human, which is a weaker thing than it sounds. A radiologist must sign the report, but the signature takes seconds. If the machine does the reading, the radiologist becomes three times faster and continues to sign everything, and two thirds of that time has been automated with the legal requirement exactly where it was. Licensing blocks substitution. It does not block compression.

The obvious reply is robots, and for a good deal of this work the reply is right. Grant it in full for surgery, where a machine with better outcomes would be chosen over a person and the preference for a human hand does not survive the statistics.

What is left is not physics but arrangement, since we still require a person to be the responsible party rather than the instrument in certain places, with a seven year old in a classroom, a signature on a contract, and a decision somebody has to answer for.

I do not believe that arrangement is stable, because people already talk to these systems every day, form attachments to them, and in some cases describe relationships with them. Put that together with working robotics and the requirement that a person be present starts to look like a habit with an expiry date rather than a law of nature. Which means the ceiling I had built rests on something I expect to dissolve. That expectation is a hypothesis, not a result. Nothing in this essay measures it.

The tools have been sitting there since the 1970s

So the quantity everything hangs on has never been measured, and I cannot supply it either.

It is measurable. The equipment has been in the building for fifty years.

Frontier analysis exists precisely to separate what an organisation uses from what best practice already achieves. It has been pointed at hospitals, at bank branches, at public libraries and at diagnostic laboratories. It will not hand you the theoretical minimum, because it can only see the units in the sample. It will hand you the lowest input anybody has actually managed, which is a great deal more than an average and is the closest thing to a floor that exists. Nobody has ever asked it how little human time a job needs.

What that study would look like is not mysterious. Take an occupation and establish the outcome rather than the activity, so that a physician is measured on resolved presentations rather than on minutes in the room. Estimate the frontier across enough practices to see the best, and then ask how much human contact time the frontier practice actually uses per resolved case, and whether that number has moved as the tools arrived.

One other measurement would help almost as much, which is randomised productivity trials repeated annually on a constant protocol, so that the uplift curve can be watched flattening or not flattening. The compression story makes a hard prediction there, that measured gains should fall as adoption saturates and the distribution runs out of tail, and nobody is testing it.

None of this is expensive, since a stopwatch study costs a fraction of one training run.

What this leaves

I still think the machines will do most of the work. They have started, and the record is smaller than the conversation suggests.

Corporate payment records show the first micro level evidence of firms substituting AI for contracted labour, at roughly three cents of additional AI spending for every dollar of online labour that disappeared. Economists at the St Louis Fed asked a nationally representative sample how many extra hours they would have needed without the tools and put the saving at 5.4% of hours among users and 1.4% across the workforce. Denmark, with administrative data on eleven of the most exposed occupations, rules out effects larger than 2%. Every one of those lands at a few per cent.

What I no longer believe is that anyone can tell you how much bigger the economy gets, including the people who publish numbers, and including me for most of a year. The arithmetic is sound and the inputs are not established. Every confident figure in this debate, in either direction, is a reciprocal computed from a habit.

The largest effect currently available from this technology runs in the opposite direction to the fear. It is not raising a machine above us. It is raising people into work that had been closed to them, and the study that bounds all of this is explicit about who stands at the bottom of complex work, which is people who could not learn the job at all. That effect is measured, it needs no further progress, and almost nobody is counting it.

It sits uncomfortably beside the only labour market signal anybody has found, which is a 16% relative decline in employment for 22 to 25 year olds in the most exposed occupations. Compression raises the output of people already inside a job. It does not create the junior tasks people used to enter through, and it may well remove them. Productivity and career are different variables, and at the entry point they appear to be moving in opposite directions.

Somebody once pointed a stopwatch at a doctor and found that three quarters of medicine is not medicine. That single act of measurement has done more work in this argument than every forecast in it. It also answered a different question, because nobody had thought to ask this one.

The right question is how little human time a piece of work actually requires. It is answerable. It has been answerable since 1978. Nobody has asked it, and until somebody does, the honest answer to how much larger this makes the economy is that we do not know, and that the people telling you otherwise are reading a habit and calling it a law.

Mais cedo ou mais tarde, as máquinas farão a maior parte do trabalho pelo qual as pessoas são hoje pagas para pensar.

Há dez anos, isto era uma coisa que se dizia no fim de uma palestra, quando os slides tinham acabado e já ninguém tomava notas. Agora aparece em planos de investimento, à medida que laboratórios lançam sistemas que escrevem código de produção e leem exames, os ministérios das finanças o incorporam nas previsões de crescimento, e os investidores lhe atribuem o preço da maior realocação de trabalho desde que o setor foi mecanizado. Seja lá o que isto for, deixou de ser uma coisa sobre a qual se especula e passou a ser uma coisa para a qual se faz orçamento.

Quase toda a discussão é sobre calendário e sobre vencedores. Quantos empregos desaparecem e a que ritmo, que empresas capturam o valor, se os modelos estão a raciocinar ou a representar, se alguma coisa disto é segura. Passei meses na última dessas questões, a argumentar que os ganhos acabam em pouquíssimas mãos e que toda a gente empobrece devagar o suficiente para que ninguém consiga nomear o dia em que começou.

Por baixo de tudo isto há uma pergunta que tem de ser respondida primeiro, e que quase ninguém faz em voz alta.

Quanto maior fica realmente uma economia quando as máquinas conseguem fazer o trabalho?

Não quando, nem quem ganha, mas quanto. O trabalho aqui é trabalho de conhecimento, a parte pensante da economia, que é onde estes sistemas chegam primeiro. Fui à procura desse número à espera de encontrar um número grande e uma discussão sobre datas. A resposta é uma curva sem ninguém em cima dela.

Comecemos pelos médicos

Na profissão que a intuição assinala como a mais humana de todas, os médicos passam mais tempo do dia de trabalho em papelada do que com doentes.

Isto não é uma impressão. Num estudo de observação direta publicado nos Annals of Internal Medicine, os investigadores acompanharam 57 médicos de quatro especialidades e quatro estados norte-americanos ao longo de 430 horas, cronómetro na mão, registando ao minuto o que cada um estava a fazer. O tempo clínico direto, cara a cara com os doentes, ficou-se pelos 27,0% do dia. Os registos clínicos eletrónicos e o trabalho de secretária chegaram aos 49,2%, e mesmo dentro do gabinete de consulta, com o doente fisicamente presente, apenas 52,9% do tempo foi passado cara a cara.

Ninguém mediu isto para dizer o que quer que fosse sobre inteligência artificial. O estudo foi financiado pela Associação Médica Americana e publicado em 2016, e o seu objetivo era o esgotamento profissional dos médicos.

Li-o da mesma maneira que suspeito que o leitor acabou de o ler. Três quartos da medicina não são medicina, mas administração, documentação e coordenação, e administração, documentação e coordenação são exatamente aquilo em que estes modelos são bons. Se o padrão se mantiver nas várias profissões, o teto é enorme e a discussão termina antes de começar.

Essa leitura está errada. Perceber porquê levou-me a dois resultados que não andava à procura, e acabou comigo a desmontar o meu próprio argumento.

Tudo depende de um único número

Suponhamos que uma fração do trabalho não pode ser acelerada de todo, e chamemos-lhe f. Aceleremos tudo o resto sem limite e o ganho total não dispara. Converge para um a dividir por f.

Isto é a lei de Amdahl, saída de um artigo de quatro páginas sobre processadores paralelos em 1967, e é a coisa menos controversa que aqui se diz.¹ Se um quarto do trabalho fica onde está, o teto é quatro vezes. Se ficar um quinto, cinco. Se ficar um décimo, dez.

Repare-se no que isto faz ao debate, porque a resposta oscila numa ordem de grandeza consoante o valor de um único número, o número não tem nada a ver com a tecnologia, e não é preciso saber seja o que for sobre os modelos para o calcular. É preciso saber que parte do trabalho tem de continuar humana.

Por isso fui descobrir, e é aí que os problemas começam. Levei quase um ano a ver.

Cinco experiências que parecem uma contradição

A literatura que devia resolver quanto é que estas ferramentas fazem de facto parece, numa primeira leitura, uma confusão.

Noy e Zhang distribuíram aleatoriamente tarefas de escrita profissional por 453 profissionais com formação superior e encontraram uma redução de 40% no tempo e um aumento de 18% na qualidade, com os ganhos concentrados nos piores escritores. Peng et al aleatorizaram uma tarefa de programação de raiz e concluíram que o grupo assistido terminou 55,8% mais depressa. Cui et al juntaram três experiências de campo com 4867 programadores em atividade na Microsoft, na Accenture e numa empresa de eletrónica da Fortune 100, e encontraram 26% mais produção, com valores maiores para quem tinha menos antiguidade. Brynjolfsson, Li e Raymond acompanharam 5179 agentes de apoio ao cliente ao longo de uma implementação real faseada e encontraram 14% em média, 34% para os novatos, e nenhum efeito mensurável nos experientes e altamente qualificados.

Depois a METR conduziu o ensaio mais cuidadoso do conjunto, com dezasseis programadores experientes de código aberto a trabalhar em repositórios onde tinham, em média, cinco anos de histórico, ao longo de 246 problemas reais com 143 horas de gravação de ecrã etiquetadas à mão, e concluiu que estavam 19% mais lentos com as ferramentas do que sem elas.

Antes do ensaio, esses programadores tinham previsto uma aceleração de 24%, os economistas a quem se pediu um palpite disseram 39%, e os investigadores de aprendizagem automática disseram 38%. Depois, já com o trabalho feito, os próprios programadores continuavam a estimar que tinham ganho 20%.

É tentador ler o resultado da METR como a única medição honesta e todos os outros como ruído. Essa leitura não sobrevive aos números.

Os cinco estudos são um só resultado medido em cinco pontos ao longo de um único eixo. Todos eles encontram a mesma coisa assim que os ordenamos pela distância a que o trabalhador já estava daquilo que o modelo consegue fazer. Tarefas de escrita entregues a pessoas que não são escritores, o maior efeito. Tarefas sintéticas de programação sem contexto prévio, muito grande. Programadores reais em trabalho que não conhecem, moderado. Agentes de apoio com guiões e novatos, grande para os novatos e nulo para os peritos. Programadores experientes dentro de bases de código que eles próprios construíram, negativo.

O ganho não é uma propriedade da tecnologia. É uma propriedade da distância entre o trabalhador e o modelo.

Brynjolfsson enuncia o mecanismo sem rodeios. O sistema funciona captando e disseminando os padrões de comportamento dos agentes mais produtivos, incluindo conhecimento tácito que até aí tinha escapado à automação, e ajudando os trabalhadores mais recentes a descer a curva de experiência. O sistema está a comprimir uma distribuição de desempenho, e uma distribuição só pode ser comprimida uma vez.

Quanto espaço existe, na realidade

Se o ganho vem de nivelar toda a gente por cima, em direção ao melhor desempenho, então o ganho total disponível está limitado pela distância que já separa o melhor da média. É uma grandeza mensurável, e foi medida muito antes de tudo isto.

Hunter, Schmidt e Judiesch reuniram 68 estudos de produção real de trabalho e 17 estudos de amostras de trabalho, corrigiram-nos para o erro de medição e para a restrição de amplitude, e calcularam o desvio-padrão da produção individual em percentagem da produção média. Ele aumenta com a complexidade da função, de 19% em trabalho de baixa complexidade para 32% em complexidade média e 48% em trabalho profissional e de gestão de alta complexidade.

A partir desses valores, calculam quanto produz o 1% do topo em relação à média, tomando como base todos os que poderiam fazer o trabalho e não apenas os que já o fazem. São 1,52 vezes no trabalho de baixa complexidade, 1,85 no de média, e 2,27 no de alta complexidade.²

O mesmo artigo dá depois três razões distintas para que 2,27 seja um valor demasiado baixo.

Os autores dizem-no abertamente. Estas distribuições têm assimetria positiva em vez de serem normais, e numa distribuição com assimetria positiva o 1% do topo situa-se mais acima da média do que o modelo normal o coloca.

Também deitaram fora o seu caso mais extremo. Um estudo de trabalho de alta complexidade nunca entrou nas médias, porque extrair dele um desvio-padrão teria exigido assumir uma distribuição normal e os autores recusaram-se a assumi-la naquele nível de complexidade. Era um estudo sobre programadores informáticos, no qual os mais produtivos produziam dezasseis vezes mais do que os menos produtivos.³

E o modelo deles coloca o piso num sítio impossível. Para trabalho de alta complexidade, prevê produção negativa na base da distribuição. Os autores concluem que o verdadeiro fundo está em zero ou perto disso, e as palavras deles para explicar porquê são que, nestas ocupações, quem tem mau desempenho não consegue sequer aprender a função.

Juntem-se estas três coisas e a compressão muda de natureza. Não é toda a gente a ficar um pouco melhor, mas uma cauda de pessoas que não conseguiam de todo fazer o trabalho a tornarem-se capazes de o fazer, que é precisamente o aspeto que um ganho de 34% para novatos e um ganho nulo para peritos tem visto por dentro.

Este foi o primeiro resultado que eu não andava à procura. O maior ganho disponível a partir desta tecnologia não pede às máquinas nada para além do que elas já fazem. Exige apenas que levem aquilo que a melhor pessoa da sala já sabe a toda a gente, e para num número que foi medido em 1990.

Onde o ganho individual morre

Há uma segunda literatura que mede a mesma coisa um nível acima.

Os economistas estimam fronteiras de eficiência desde os anos 70, e as duas ferramentas de referência surgiram com um ano de intervalo, a análise envoltória de dados de Charnes, Cooper e Rhodes em 1978 e a análise de fronteira estocástica de Aigner, Lovell e Schmidt em 1977. Ambas partem dos inputs e outputs observados num conjunto de organizações e calculam quanto input a melhor delas precisa para produzir um dado output, o que faz do referencial uma prática real e não um limite teórico. A distância entre uma unidade e essa fronteira chama-se ineficiência técnica, e é exatamente a folga compressível.

Onde foi aplicada, dá respostas reais, e nunca duas vezes a mesma resposta. Um estudo de fronteira estocástica sobre laboratórios de diagnóstico hospitalar no Irão colocou a eficiência técnica média em 93,1%, deixando cerca de 7% do input recuperável. Os mesmos laboratórios analisados por análise envoltória de dados deram 98,3%, deixando 1,7%. Uma comparação de métodos em hospitais ingleses concluiu que não existem diferenças de eficiência verdadeiramente grandes entre eles. E no outro extremo, os hospitais públicos na Palestina ficaram-se por uma média de 55%, o que corresponde a 45% do output recuperável com os mesmos recursos.

Os locais diferem, e os instrumentos também. Um laboratório de diagnóstico num sistema que funciona e um hospital público num sistema sob pressão não bebem do mesmo mundo, e cada método traça a fronteira à sua maneira, que é como os mesmos laboratórios podem sair com cinco pontos de diferença sob os dois instrumentos.

A folga compressível dentro das organizações é real, mensurável, e enormemente dependente do sítio onde se olha. E nunca chega sequer perto do número individual.

Os 2,27 de Hunter significam 127% mais produção se se levar a média até ao topo. Ponha-se isso contra a fronteira, produção por pessoa contra input por organização, e o cenário com mais folga que alguém alguma vez mediu oferece 45%. O cenário típico oferece menos de 10%. A diferença mantém-se em todos os pontos do intervalo.

A reconciliação não está em que uma delas esteja errada, mas em que uma organização já é, ela própria, uma média. Tem o cirurgião excelente e o medíocre, o bom território e o mau, a equipa forte e a fraca, e junta-os antes de o que quer que seja ser medido. A variância individual é real e enorme, e a maior parte dela desaparece na agregação.

Levei algum tempo a aceitar isto. As cinco experiências medem indivíduos, e a economia é feita de organizações. Entre as duas coisas há um passo que ninguém nesta discussão orçamentou, e a única literatura que mediu esse passo diz que o espaço lá em cima é pequeno. Foi este o segundo resultado que eu não andava à procura.

O que o cronómetro mediu de facto

A esta altura eu tinha aquilo que parecia um argumento completo. A compressão está limitada pela variância humana, tudo o que vai para além dela exige que a máquina supere a melhor pessoa viva, e o conjunto está limitado pela fração do trabalho que continuar humana, que é onde os médicos voltavam a entrar.

Por isso construí a fração. Contacto direto com o doente para os médicos, tempo letivo para os professores, em que os professores americanos passam 27 horas a lecionar numa semana de trabalho de 45 horas e o instituto federal de estatística coloca o valor em 28 horas dentro de 46 trabalhadas, e tempo interativo para os executivos, retirado do maior estudo sobre o tempo dos executivos que existe, que acompanhou 1114 diretores executivos de empresas industriais em seis países durante uma semana cada e registou 42.233 atividades distintas. Ponderado contra a massa salarial de 6,90 biliões de dólares do trabalho de conhecimento, deu cerca de um quarto, e um quarto coloca o teto perto de quatro vezes.

Fiquei satisfeito com aquele número durante meses, e ele está errado por uma razão embaraçosamente simples.

Um cronómetro mede o que alguém fez, não o que alguém tinha de fazer.

Os médicos daquele estudo passaram 27% do dia com doentes. Nada no estudo pergunta se aqueles minutos poderiam ser encurtados, agrupados, partilhados, deslocados para outro momento da consulta, ou tratados de outra maneira. Os autores estavam a contar esgotamento e não necessidade, e um professor leciona a trinta crianças ou a uma, e o cronómetro marca o mesmo nos dois casos. Um diretor executivo faz uma reunião de uma hora que poderia ter tido dez minutos, e o cronómetro regista uma hora.

Os médicos não são um caso especial. Um estudo de tempos e movimentos com enfermeiros de urgência concluiu que passam mais tempo do turno no registo clínico eletrónico do que com os doentes, 27% contra 25%. A mesma profissão, a mesma inversão, outra década.

E a enfermagem mostra o problema mais profundo dentro de um único estudo. Amostragem de trabalho em enfermarias cirúrgicas coloca os cuidados diretos ao doente entre 40% e 56% do turno, enquanto o mesmo estudo encontra os enfermeiros efetivamente à cabeceira 31% do tempo. Cuidado direto e estar no quarto não são a mesma categoria, e a escolha entre uma e outra desloca a resposta entre nove e vinte e cinco pontos. Nenhum destes estudos perguntava qual é o mínimo. Perguntavam para onde vai o tempo.

O mesmo erro está a ser cometido no outro extremo da discussão, em público. Em abril de 2026, Sundar Pichai colocou em 75% a proporção de código novo escrito por máquina na Google, acima de um quarto dezoito meses antes, e de cada vez que a Google publicou esse número emparelhou-o com as palavras revisto, aceite ou aprovado por engenheiros. Escrever código representa entre 9% e 61% do dia de um programador, consoante o estudo, com um grande inquérito a colocar o código novo e melhorado em 32%. Linhas não são trabalho, e a razão entre as duas coisas também nunca foi estabelecida.

Cada um daqueles números é a descrição de um hábito. Eu tinha andado a tratá-los como descrições de uma exigência.

E o erro corre nos dois sentidos, que é o que o torna fatal em vez de meramente conservador. Se metade da papelada do médico for teatro administrativo que um sistema são eliminaria sem máquina nenhuma, então a parcela compressível é menor do que parece. Se metade do tempo de contacto for costume e não necessidade clínica, a parcela irredutível também é menor. Nenhuma das duas foi medida, e eu tinha construído um teto a partir de duas grandezas que ninguém tinha estabelecido, e depois calculado um inverso com três algarismos significativos.

A parte que eu queria que fosse física e não é

Uma versão do argumento sobrevive a isto, e passei semanas a tentar fazê-la funcionar.

Certo trabalho não está à espera de máquinas melhores porque o obstáculo nunca foi a capacidade. Um professor primário não pode vigiar uma sala a partir de outro sítio. Uma negociação precisa de uma parte que tenha algo a perder. A condição bloqueadora não é a tarefa exigir legalmente um humano, o que é uma coisa mais fraca do que parece. Um radiologista tem de assinar o relatório, mas a assinatura demora segundos. Se a máquina fizer a leitura, o radiologista fica três vezes mais rápido e continua a assinar tudo, e dois terços daquele tempo foram automatizados com a exigência legal exatamente onde estava. O licenciamento bloqueia a substituição. Não bloqueia a compressão.

A resposta óbvia são os robôs, e para boa parte deste trabalho a resposta está certa. Concedamo-lo por inteiro à cirurgia, onde uma máquina com melhores resultados seria escolhida em vez de uma pessoa e a preferência pela mão humana não sobrevive às estatísticas.

O que resta não é física mas arranjo, uma vez que continuamos a exigir que uma pessoa seja a parte responsável e não o instrumento em certos lugares, com uma criança de sete anos numa sala de aula, uma assinatura num contrato, e uma decisão pela qual alguém tem de responder.

Não acredito que esse arranjo seja estável, porque as pessoas já falam com estes sistemas todos os dias, criam ligações afetivas com eles, e nalguns casos descrevem relações com eles. Junte-se isso a robótica funcional e a exigência de que uma pessoa esteja presente começa a parecer um hábito com prazo de validade e não uma lei da natureza. O que significa que o teto que eu tinha construído assenta em algo que espero ver dissolver-se. Essa expectativa é uma hipótese, não um resultado. Nada neste ensaio a mede.

As ferramentas estão ali desde os anos 70

Portanto a grandeza de que tudo depende nunca foi medida, e eu também não a consigo fornecer.

É mensurável. O equipamento está no edifício há cinquenta anos.

A análise de fronteira existe precisamente para separar aquilo que uma organização usa daquilo que a melhor prática já consegue. Foi apontada a hospitais, a agências bancárias, a bibliotecas públicas e a laboratórios de diagnóstico. Não nos dará o mínimo teórico, porque só consegue ver as unidades da amostra. Dar-nos-á o input mais baixo que alguém conseguiu de facto atingir, o que é bastante mais do que uma média e é a coisa mais próxima de um piso que existe. Nunca ninguém lhe perguntou de quão pouco tempo humano um trabalho precisa.

Como seria esse estudo não tem mistério. Toma-se uma ocupação e estabelece-se o resultado em vez da atividade, de modo a que um médico seja medido por situações clínicas resolvidas e não por minutos na sala. Estima-se a fronteira em consultórios suficientes para ver os melhores, e pergunta-se depois quanto tempo de contacto humano a prática que está na fronteira usa realmente por caso resolvido, e se esse número se moveu à medida que as ferramentas foram chegando.

Uma outra medição ajudaria quase tanto: ensaios aleatorizados de produtividade repetidos anualmente com um protocolo constante, para que a curva do ganho possa ser observada a achatar ou a não achatar. A história da compressão faz aí uma previsão dura, a de que os ganhos medidos deverão cair à medida que a adoção satura e a distribuição fica sem cauda, e ninguém a está a testar.

Nada disto é caro, dado que um estudo com cronómetro custa uma fração de um único treino de modelo.

O que fica

Continuo a achar que as máquinas farão a maior parte do trabalho. Já começaram, e o registo é mais pequeno do que a conversa sugere.

Os registos de pagamentos empresariais mostram a primeira evidência micro de empresas a substituir trabalho contratado por IA, a cerca de três cêntimos de despesa adicional em IA por cada dólar de trabalho online que desapareceu. Economistas da Reserva Federal de St. Louis perguntaram a uma amostra representativa a nível nacional quantas horas extra teriam sido necessárias sem as ferramentas e colocaram a poupança em 5,4% das horas entre os utilizadores e 1,4% no conjunto da força de trabalho. A Dinamarca, com dados administrativos sobre onze das ocupações mais expostas, exclui efeitos superiores a 2%. Todos eles aterram nuns poucos por cento.

Aquilo em que deixei de acreditar é que alguém consiga dizer quanto maior fica a economia, incluindo as pessoas que publicam números, e incluindo eu durante quase um ano. A aritmética é sólida e os dados de entrada não estão estabelecidos. Todos os números confiantes neste debate, num sentido ou no outro, são um inverso calculado a partir de um hábito.

O maior efeito atualmente disponível a partir desta tecnologia corre no sentido oposto ao do medo. Não é elevar uma máquina acima de nós. É elevar pessoas até trabalho que lhes estava vedado, e o estudo que limita tudo isto é explícito sobre quem está no fundo do trabalho complexo, que são as pessoas que não conseguiam sequer aprender a função. Esse efeito está medido, não precisa de mais progresso nenhum, e quase ninguém o está a contar.

Fica desconfortavelmente ao lado do único sinal que alguém encontrou no mercado de trabalho, que é uma queda relativa de 16% no emprego entre os 22 e os 25 anos nas ocupações mais expostas. A compressão aumenta a produção de quem já está dentro de uma profissão. Não cria as tarefas de iniciação por onde as pessoas costumavam entrar, e é bem possível que as elimine. Produtividade e carreira são variáveis diferentes, e no ponto de entrada parecem estar a mover-se em sentidos opostos.

Alguém, um dia, apontou um cronómetro a um médico e descobriu que três quartos da medicina não são medicina. Esse único ato de medição fez mais trabalho neste argumento do que todas as previsões que ele contém. E respondeu a uma pergunta diferente, porque ninguém se tinha lembrado de fazer esta.

A pergunta certa é de quão pouco tempo humano uma peça de trabalho precisa realmente. É respondível. É respondível desde 1978. Ninguém a fez, e até que alguém a faça, a resposta honesta a quanto maior isto torna a economia é que não sabemos, e que quem lhe disser o contrário está a ler um hábito e a chamar-lhe lei.

You can tell when you are in one. The words are fine: rights, dignity, accountability, fairness. The sentiments are unimpeachable. Everyone agrees that power should be constrained, that the vulnerable should be protected, that no one should be above the law. The room nods. The document is signed. And then nothing changes, because no one has said anything about what happens when a sufficiently motivated actor decides to ignore the agreement.

This is the conversation we are having about artificial intelligence. Summits produce declarations. Companies publish principles. Researchers call for caution. The language of ethics and safety has escaped the seminar room and entered the mainstream. And yet, underneath the careful words, the same question goes unanswered: what actually stops the people building the most powerful systems from doing whatever they want?

The honest answer, right now, is not much.

That is not because the people involved are villains. Most of them probably believe their own rhetoric. The problem is structural. Principles do not enforce themselves. The world already has a beautiful set of universal norms (human rights, dignity, due process) and almost every government on Earth has signed some version of them. We also know what happens when those norms meet concentrated power, fear, and incentive. They become optional. They are obeyed when convenient, ignored when costly, and reinterpreted when embarrassing. The gap between what we profess and what we permit is not a bug in the system. It is the system, whenever enforcement depends on the goodwill of those being constrained.

An AGI transition, done badly, makes this failure mode worse. It concentrates capability into fewer hands, accelerates decision cycles beyond the pace of human deliberation, and turns persuasion into a precision instrument. If a small group can build systems that predict, manipulate, produce, and defend faster than any coalition of citizens can organise, then appeals to morality stop being a constraint and become a public relations layer. In that world, the constitution is not a document. It is whatever the owners of the infrastructure can get away with.

So if we want any kind of ethics-first order to survive contact with reality, it needs something more primitive than agreement. It needs leverage. Not the leverage of violence, but the leverage of chokepoints: those physical and institutional bottlenecks that even very powerful actors cannot easily bypass without paying a steep price.

The first chokepoint is electricity. Frontier training and large-scale inference are not weightless ideas floating in the cloud. They are industrial processes with a power signature. They demand grid connections, cooling, land, fibre, maintenance, and the quiet cooperation of dozens of companies before a single gradient is computed. The second chokepoint is specialised hardware. Whatever surprises the future holds, the capability frontier in the transition period will still be shaped by scarce chips, advanced manufacturing, and tightly managed supply chains. The third chokepoint is market access: banking rails, insurance, export controls, corporate law, and the ability to sell services into large consumer markets. A world of robots still runs through contracts and ports and power substations. The dream of a superintelligence that bootstraps itself out of nothing, needing no one’s permission, ignores a lot of physics and a lot of plumbing.

A serious governance proposal therefore starts with a simple move: treat frontier compute and frontier model deployment as critical infrastructure, in the same regulatory category as telecommunications, banking, or nuclear materials. Not because we want the state to own everything, but because we want to prevent a situation where a handful of private actors become de facto sovereign. If you are operating systems above a certain capability threshold, you do not get to behave like an ordinary app developer. You are a systemically important actor in the same sense that a major bank is systemically important: your failure can crash society, your capture can corrupt it, and your incentives will otherwise drift toward dominance unless something external pushes back.

The core of such a regime is licensing with teeth. Licenses are not moral pledges. They are legal rights to run at scale, granted conditionally, renewed conditionally, and revoked conditionally. They require routine audits, incident reporting, and what the financial world calls living wills: precommitted procedures for what happens if a system begins to cause serious harm or if its operator becomes untrustworthy. This is not asking the powerful to be saints. It is making power itself accept limits, even when it does not want to.

To make this enforceable, you push the licensing requirements down into the infrastructure layer. Datacenters above a threshold cannot connect to the grid without a permit. They cannot get insurance without compliance. They cannot legally import large volumes of advanced chips without disclosure. They cannot colocate in reputable facilities without attested records of what compute ran and for what purpose. You build, in effect, a compute passport: cryptographic attestation tied to hardware, so that large runs have an auditable trail. This will never be perfect, and determined bad actors will find workarounds. But perfection is not the target. The target is to make large-scale, unlicensed frontier activity hard to hide, expensive to finance, and dangerous to normal business operations. You raise the cost of defection until only the most committed outliers attempt it, and you make those outliers visible enough that they can be dealt with through other means.

At the national level, these mechanisms can prevent a straightforward corporate coup. But the problem is broader. The infrastructure is currently concentrated in a small number of countries, and everyone else risks becoming collateral damage in a new kind of empire, one ruled not by governors and soldiers but by model APIs, cloud dependencies, and the quiet economic suffocation of those who do not control compute. A purely national approach fails here, because the strongest actors can shop for jurisdictions, threaten capital flight, and play countries against each other until the regulations are hollowed out.

The realistic countermeasure is not the United Nations. It is a club.

A club is a coalition of markets and supply-chain nodes that can set conditions for participation. If you want to sell into their markets, raise capital on their exchanges, buy their advanced equipment, insure your infrastructure, or access their payment rails, you comply with the club’s rules. Those rules do not need global consensus. They need enough economic gravity that refusing them is painful. In practice, this is how most meaningful international governance already works: trade blocs, financial standards, aviation safety, nuclear non-proliferation. It is imperfect, leaky, and prone to hypocrisy. But it is real in a way that aspirational treaties are not.

In an AGI context, a frontier compute club would require three things from its members: compute attestation for large-scale operations, licensing and safety audits for frontier models, and a minimum regime for anti-capture governance (transparency of beneficial ownership, restrictions on revolving doors between regulators and the regulated, enforceable penalties for covert political influence). Countries with different cultures and political systems can still disagree on many substantive values, but they can converge on a floor: no permanent castes, no deliberate cruelty, no coercion of conscience, and no unaccountable sovereign compute. The club does not try to harmonise everything. It tries to keep the worst failure modes off the table.

This still leaves the most explosive issue, the one that makes governance discussions feel inadequate even when they are technically sophisticated. Money.

If a small number of actors own the productive base of the future (compute, models, robots, energy) then ordinary people can become economically irrelevant. Not temporarily unemployed while they retrain, but structurally unnecessary. That is the point where traditional capitalism breaks. Not because markets stop working as allocation mechanisms, but because the political bargain that markets sit on collapses. When people cannot bargain with labour, they either get charity or revolt. And if the winners can secure themselves behind automation and private security, even revolt becomes less credible. The dragon here is not wealth. It is exit. It is the ability of a tiny group to leave society while still extracting value from it, owing nothing to anyone, accountable to no constituency except themselves.

The only stable answer is to make exit hard and sharing automatic.

That means treating part of frontier productivity as a commons and distributing its returns broadly. Not by hoping for voluntary philanthropy from the winners, and not by switching to central planning where bureaucrats allocate everything, but by hardwiring rent-sharing into the same licensing chokepoints that make enforcement possible. If you run frontier systems at scale, you pay into a social wealth fund through mechanisms that are difficult to evade: levies tied to large compute usage and energy draw, royalties on licensed frontier deployments, and taxes on land rents that would otherwise absorb the gains of abundance into housing scarcity. The fund then pays a universal dividend. Paired with universal basic services (healthcare, education, transit, connectivity) it decouples survival from employment without erasing markets, entrepreneurship, or personal choice.

This is not utopian. It is the same logic as resource royalties in places that treat oil or minerals as a public asset. If you extract from a common inheritance, you owe the public a share. In the AGI era, the inheritance is not just natural resources buried in the ground. It is civilisation’s accumulated knowledge, the stability of public institutions, and the physical infrastructure that makes compute possible. No one built any of that alone. The companies that deploy frontier systems are standing on centuries of collective investment, and the returns from that deployment should flow back, at least in part, to the collective.

During the transition, this dividend cannot begin at full strength. The economy will not transform all at once. White-collar work may collapse faster than the physical economy can retool. Blue-collar roles may persist longer, then drop sharply as robotics improves. So the dividend must be accompanied by shock absorbers: wage insurance for displaced workers, fast debt restructuring to prevent cascades of default, and voluntary purpose tracks that offer meaningful paid roles in care, mediation, education, ecological restoration, culture, and civic deliberation. The point is not to invent busywork to keep people quiet. The point is to keep human lives structured around contribution, relationship, and growth rather than resentment and decay. People need to matter, not just survive.

Finally, governance must assume corruption. A plan that only works when leaders are virtuous is not a plan. So the anti-capture measures cannot be aesthetic gestures. They must be mechanical. High-risk authorisations require multi-institutional sign-off, not one minister’s signature. The AI stack must be structurally separated so that no single firm controls chips, cloud, frontier models, and deployment simultaneously. Procurement must be transparent by default. Whistleblowers must be protected and rewarded, not prosecuted. And the system itself must be internally adversarial: some of the artificial minds, if we build them as proposed elsewhere, must be tasked specifically with watching for collusion, manipulation, and quiet coercion. The temptation to trade public dignity for private advantage will not vanish just because the advisors are intelligent. It will intensify.

This is what it means to kill the dragon without killing the people. You do not hunt down individuals. You do not rely on finding and empowering the right philosopher-kings. You dismantle the structural asymmetry that lets a tiny group become sovereign. You bind the ability to operate frontier power to obligations that keep society legitimate: transparency, auditability, non-cruelty, and broad sharing of the upside. You do it through chokepoints that remain real even in an age of virtual worlds: power lines, datacenters, supply chains, insurance, capital markets, and access to customers. These are not elegant. They are not inspiring. They are just the places where the physical world still has a vote.

None of this guarantees a good outcome. History is not short of well-designed institutions that were captured, hollowed out, or simply ignored when they became inconvenient. The proposals sketched here are not immune to that pattern. What they do is something smaller and more important: they keep a good outcome from becoming impossible by default. They prevent the AGI transition from automatically collapsing into empire, oligarchy, or polite tyranny dressed up in the language of optimisation. They create a structure in which the strongest systems, human and artificial, are not free to treat everyone else as disposable. And they ensure that, even as capability rises, there remains a meaningful sense in which we are still building a shared civilisation rather than surrendering one.

That is not salvation. But it is a start.

Consegue-se perceber quando estamos numa. As palavras são adequadas: direitos, dignidade, responsabilização, equidade. Os sentimentos são irrepreensíveis. Todos concordam que o poder deve ser limitado, que os vulneráveis devem ser protegidos, que ninguém deve estar acima da lei. A sala acena. O documento é assinado. E depois nada muda, porque ninguém disse nada sobre o que acontece quando um ator suficientemente motivado decide ignorar o acordo.

Esta é a conversa que estamos a ter sobre inteligência artificial. Cimeiras produzem declarações. Empresas publicam princípios. Investigadores apelam à cautela. A linguagem da ética e da segurança escapou da sala de seminário e entrou no mainstream. E, no entanto, por baixo das palavras cuidadosas, a mesma questão permanece sem resposta: o que realmente impede as pessoas que constroem os sistemas mais poderosos de fazer o que quiserem?

A resposta honesta, neste momento, é: não muito.

Não é porque as pessoas envolvidas sejam vilões. A maioria delas provavelmente acredita na sua própria retórica. O problema é estrutural. Princípios não se aplicam sozinhos. O mundo já tem um belo conjunto de normas universais (direitos humanos, dignidade, devido processo legal) e quase todos os governos da Terra assinaram alguma versão deles. Também sabemos o que acontece quando essas normas encontram poder concentrado, medo e incentivos. Tornam-se opcionais. São obedecidas quando conveniente, ignoradas quando custosas, e reinterpretadas quando embaraçosas. A diferença entre o que professamos e o que permitimos não é um erro no sistema. É o sistema, sempre que a aplicação depende da boa vontade daqueles que estão a ser limitados.

Uma transição para AGI, mal feita, piora este modo de falha. Concentra capacidade em menos mãos, acelera ciclos de decisão além do ritmo da deliberação humana, e transforma a persuasão num instrumento de precisão. Se um pequeno grupo pode construir sistemas que preveem, manipulam, produzem e defendem mais rápido do que qualquer coligação de cidadãos consegue organizar, então os apelos à moralidade deixam de ser uma limitação e tornam-se uma camada de relações públicas. Nesse mundo, a constituição não é um documento. É o que os donos da infraestrutura conseguem fazer passar.

Portanto, se queremos que qualquer tipo de ordem que priorize a ética sobreviva ao contacto com a realidade, precisa de algo mais primitivo do que acordo. Precisa de alavancagem. Não a alavancagem da violência, mas a alavancagem de pontos de estrangulamento: aqueles gargalos físicos e institucionais que mesmo atores muito poderosos não conseguem facilmente contornar sem pagar um preço elevado.

O primeiro ponto de estrangulamento é a eletricidade. O treino de fronteira e a inferência em grande escala não são ideias sem peso a flutuar na nuvem. São processos industriais com uma assinatura de potência. Exigem ligações à rede, arrefecimento, terreno, fibra, manutenção, e a cooperação silenciosa de dezenas de empresas antes de um único gradiente ser computado. O segundo ponto de estrangulamento é o hardware especializado. Quaisquer que sejam as surpresas que o futuro reserve, a fronteira de capacidade no período de transição ainda será moldada por chips escassos, fabrico avançado e cadeias de abastecimento rigorosamente geridas. O terceiro ponto de estrangulamento é o acesso ao mercado: sistemas bancários, seguros, controlos de exportação, direito societário, e a capacidade de vender serviços em grandes mercados de consumo. Um mundo de robots ainda passa por contratos e portos e subestações elétricas. O sonho de uma superinteligência que se auto-desenvolve do nada, sem precisar da permissão de ninguém, ignora muita física e muita canalização.

Uma proposta de governação séria começa portanto com um movimento simples: tratar o compute de fronteira e a implementação de modelos de fronteira como infraestrutura crítica, na mesma categoria regulatória que telecomunicações, banca ou materiais nucleares. Não porque queiramos que o estado seja dono de tudo, mas porque queremos prevenir uma situação em que um punhado de atores privados se torne de facto soberano. Se estiver a operar sistemas acima de um certo limiar de capacidade, não pode comportar-se como um programador de aplicações comum. É um ator sistemicamente importante no mesmo sentido em que um grande banco é sistemicamente importante: a sua falha pode fazer colapsar a sociedade, a sua captura pode corrompê-la, e os seus incentivos derivarão para a dominância a menos que algo externo empurre de volta.

O núcleo de tal regime é o licenciamento com força. Licenças não são promessas morais. São direitos legais para operar em escala, concedidos condicionalmente, renovados condicionalmente, e revogados condicionalmente. Requerem auditorias de rotina, relato de incidentes, e o que o mundo financeiro chama de testamentos em vida: procedimentos pré-comprometidos para o que acontece se um sistema começar a causar danos sérios ou se o seu operador se tornar não confiável. Isto não é pedir aos poderosos que sejam santos. É fazer o próprio poder aceitar limites, mesmo quando não quer.

Para tornar isto aplicável, empurra-se os requisitos de licenciamento para a camada de infraestrutura. Datacenters acima de um limiar não se podem ligar à rede sem uma autorização. Não conseguem obter seguro sem conformidade. Não podem legalmente importar grandes volumes de chips avançados sem divulgação. Não podem colocar-se em instalações respeitáveis sem registos atestados do que o compute executou e para que propósito. Constrói-se, em efeito, um passaporte de compute: atestação criptográfica ligada ao hardware, para que grandes execuções tenham um rasto auditável. Isto nunca será perfeito, e maus atores determinados encontrarão formas de contornar. Mas a perfeição não é o objetivo. O objetivo é tornar a atividade de fronteira em grande escala, não licenciada, difícil de esconder, cara de financiar, e perigosa para operações comerciais normais. Eleva-se o custo da deserção até que apenas os valores atípicos mais comprometidos o tentem, e tornam-se esses valores atípicos suficientemente visíveis para que possam ser tratados por outros meios.

A nível nacional, estes mecanismos podem prevenir um golpe corporativo direto. Mas o problema é mais amplo. A infraestrutura está atualmente concentrada num pequeno número de países, e todos os outros arriscam tornar-se danos colaterais num novo tipo de império, um governado não por governadores e soldados mas por APIs de modelos, dependências de cloud, e a sufocação económica silenciosa daqueles que não controlam compute. Uma abordagem puramente nacional falha aqui, porque os atores mais fortes podem procurar jurisdições, ameaçar fuga de capitais, e jogar países uns contra os outros até que as regulações sejam esvaziadas.

A contramedida realista não é as Nações Unidas. É um clube.

Um clube é uma coligação de mercados e nós de cadeia de abastecimento que pode estabelecer condições para participação. Se quer vender nos seus mercados, angariar capital nas suas bolsas, comprar o seu equipamento avançado, segurar a sua infraestrutura, ou aceder aos seus sistemas de pagamento, cumpre as regras do clube. Essas regras não precisam de consenso global. Precisam de gravidade económica suficiente para que recusá-las seja doloroso. Na prática, é assim que a maior parte da governação internacional significativa já funciona: blocos comerciais, padrões financeiros, segurança da aviação, não-proliferação nuclear. É imperfeito, permeável, e propenso à hipocrisia. Mas é real de uma forma que tratados aspiracionais não são.

Num contexto de AGI, um clube de compute de fronteira exigiria três coisas dos seus membros: atestação de compute para operações em grande escala, licenciamento e auditorias de segurança para modelos de fronteira, e um regime mínimo para governação anti-captura (transparência de propriedade beneficiária, restrições em portas giratórias entre reguladores e regulados, penalidades aplicáveis para influência política encoberta). Países com culturas e sistemas políticos diferentes podem ainda discordar em muitos valores substantivos, mas podem convergir num patamar: sem castas permanentes, sem crueldade deliberada, sem coerção da consciência, e sem compute soberano sem responsabilização. O clube não tenta harmonizar tudo. Tenta manter os piores modos de falha fora da mesa.

Isto ainda deixa a questão mais explosiva, aquela que faz as discussões de governação parecerem inadequadas mesmo quando são tecnicamente sofisticadas. Dinheiro.

Se um pequeno número de atores possuir a base produtiva do futuro (compute, modelos, robots, energia) então as pessoas comuns podem tornar-se economicamente irrelevantes. Não temporariamente desempregadas enquanto se requalificam, mas estruturalmente desnecessárias. Esse é o ponto onde o capitalismo tradicional quebra. Não porque os mercados deixem de funcionar como mecanismos de alocação, mas porque o pacto político em que os mercados assentam colapsa. Quando as pessoas não conseguem negociar com trabalho, ou recebem caridade ou revoltam-se. E se os vencedores conseguirem proteger-se atrás de automação e segurança privada, até a revolta se torna menos credível. O dragão aqui não é a riqueza. É a saída. É a capacidade de um grupo minúsculo abandonar a sociedade enquanto ainda extrai valor dela, sem dever nada a ninguém, sem responsabilização perante nenhum eleitorado exceto eles próprios.

A única resposta estável é tornar a saída difícil e a partilha automática.

Isso significa tratar parte da produtividade de fronteira como um bem comum e distribuir os seus retornos amplamente. Não esperando filantropia voluntária dos vencedores, e não mudando para planeamento central onde burocratas alocam tudo, mas incorporando a partilha de rendas nos mesmos pontos de estrangulamento de licenciamento que tornam a aplicação possível. Se operar sistemas de fronteira em escala, paga para um fundo de riqueza social através de mecanismos difíceis de evadir: taxas ligadas ao uso de compute em grande escala e consumo de energia, royalties sobre implementações de fronteira licenciadas, e impostos sobre rendas de terrenos que de outra forma absorveriam os ganhos da abundância na escassez habitacional. O fundo então paga um dividendo universal. Combinado com serviços básicos universais (saúde, educação, transportes, conectividade) desacopla a sobrevivência do emprego sem apagar mercados, empreendedorismo, ou escolha pessoal.

Isto não é utópico. É a mesma lógica dos royalties de recursos em lugares que tratam o petróleo ou minerais como um ativo público. Se extrai de uma herança comum, deve ao público uma parte. Na era da AGI, a herança não são apenas recursos naturais enterrados no solo. É o conhecimento acumulado da civilização, a estabilidade das instituições públicas, e a infraestrutura física que torna o compute possível. Ninguém construiu nada disso sozinho. As empresas que implementam sistemas de fronteira estão de pé sobre séculos de investimento coletivo, e os retornos dessa implementação devem fluir de volta, pelo menos em parte, para o coletivo.

Durante a transição, este dividendo não pode começar em força total. A economia não se vai transformar toda de uma vez. O trabalho de colarinho branco pode colapsar mais rápido do que a economia física consegue reconverter-se. Os papéis de colarinho azul podem persistir mais tempo, depois cair abruptamente à medida que a robótica melhora. Portanto, o dividendo deve ser acompanhado de amortecedores de choque: seguro salarial para trabalhadores deslocados, reestruturação rápida de dívida para prevenir cascatas de incumprimento, e percursos de propósito voluntários que ofereçam papéis pagos significativos em cuidado, mediação, educação, restauração ecológica, cultura e deliberação cívica. O objetivo não é inventar trabalho ocupacional para manter as pessoas quietas. O objetivo é manter as vidas humanas estruturadas em torno de contribuição, relacionamento e crescimento em vez de ressentimento e decadência. As pessoas precisam de importar, não apenas sobreviver.

Finalmente, a governação deve assumir corrupção. Um plano que só funciona quando os líderes são virtuosos não é um plano. Portanto, as medidas anti-captura não podem ser gestos estéticos. Devem ser mecânicas. Autorizações de alto risco requerem assinatura multi-institucional, não a assinatura de um ministro. A pilha de IA deve ser estruturalmente separada para que nenhuma única empresa controle chips, cloud, modelos de fronteira e implementação simultaneamente. A contratação pública deve ser transparente por defeito. Denunciantes devem ser protegidos e recompensados, não processados. E o próprio sistema deve ser internamente adversarial: algumas das mentes artificiais, se as construirmos como proposto noutros lugares, devem ser especificamente incumbidas de vigiar colusão, manipulação e coerção silenciosa. A tentação de trocar dignidade pública por vantagem privada não vai desaparecer só porque os conselheiros são inteligentes. Vai intensificar-se.

Isto é o que significa matar o dragão sem matar as pessoas. Não se perseguem indivíduos. Não se depende de encontrar e empoderar os filósofos-reis certos. Desmonta-se a assimetria estrutural que permite a um grupo minúsculo tornar-se soberano. Vincula-se a capacidade de operar poder de fronteira a obrigações que mantêm a sociedade legítima: transparência, auditabilidade, não-crueldade, e partilha ampla do lado positivo. Faz-se através de pontos de estrangulamento que permanecem reais mesmo numa era de mundos virtuais: linhas de energia, datacenters, cadeias de abastecimento, seguros, mercados de capitais, e acesso a clientes. Estes não são elegantes. Não são inspiradores. São apenas os lugares onde o mundo físico ainda tem voto.

Nada disto garante um bom resultado. A história não tem falta de instituições bem desenhadas que foram capturadas, esvaziadas, ou simplesmente ignoradas quando se tornaram inconvenientes. As propostas esboçadas aqui não são imunes a esse padrão. O que fazem é algo mais pequeno e mais importante: mantêm um bom resultado de se tornar impossível por defeito. Previnem a transição para AGI de colapsar automaticamente em império, oligarquia, ou tirania educada disfarçada na linguagem da otimização. Criam uma estrutura na qual os sistemas mais fortes, humanos e artificiais, não são livres de tratar todos os outros como descartáveis. E asseguram que, mesmo enquanto a capacidade sobe, permanece um sentido significativo no qual ainda estamos a construir uma civilização partilhada em vez de render uma.

Isso não é salvação. Mas é um começo.

That sentence used to belong to science fiction. Now it reads like an understated product roadmap. Research labs post demonstrations of systems that can write code, manipulate tools, diagnose diseases and talk about their own internal failures. Governments hold summits on “frontier AI”. Investors call this “the greatest economic opportunity in history”. The language of near term disruption and far future speculation has escaped the niche and moved into parliaments, pulpits and kitchens.

Most of the conversation circles familiar themes: how many jobs will be automated, which companies will win, whether regulation will arrive in time, whether these systems will kill us by accident or design. Those questions matter. But underneath them there is a quieter, stranger one that is easy to miss: what kind of persons are we trying to bring into being, and what sort of political order are we inviting them into?

Because if we succeed in building artificial general intelligence, and if those systems are anything like us in the morally relevant ways (aware, capable of reflection, capable of suffering) then we are not just engineering tools. We are, in effect, founding a shared civilisation between biological and artificial minds. The first decisions we make about how power, dignity and responsibility are distributed in that civilisation will be very hard to reverse.

Before we decide what we want these new minds to be like, it is worth looking honestly at what we ourselves are like. We are not frightened of machines because they are alien. We are frightened because, if we are honest, we suspect they will become too much like us.

If you look at what human beings do to other living creatures, and to each other, the picture is not flattering. Factory farms, mass graves, secret prisons, quiet cruelties behind apartment walls. Whenever there is a sharp asymmetry of power, a large fraction of us become monsters, and the rest look away. We have built religions, philosophies and legal systems to restrain that tendency, but those restraints are partial and fragile. Now imagine a civilisation where the asymmetry of power between some minds and others is greater than anything the human story has seen: not lords and serfs, but superhuman AGIs and ordinary people. If we simply scale up our existing patterns, we should expect something much worse than the status quo. Even if we did nothing deliberately evil, just indifference multiplied by capability would be enough.

The standard stories about this future split in two. In one, a misaligned system seizes control of weapons, infrastructure and information and wipes us out quickly. In the other, everything works: disease is cured, work becomes optional, scarcity fades, and we step quietly into a post human abundance. Both stories contain important truths. Neither says much about how we actually live in the long stretch between “today” and “whatever comes next”.

In practice there will be more continuity than apocalypse, more improvisation than prophecy. There will be years and decades when the world looks like today plus another model release, another automation wave, another quietly expanding chain of dependencies on systems no one fully understands. And during that time, one question will hang in the background: what kind of political and moral order are we letting these new minds grow into?

There are simple answers, and they are all bad. One is to treat AGI as an instrument of the strongest: a new layer of infrastructure controlled by states, corporations and security services, amplifying whatever they already do. Another is to imagine the machines themselves as the next “winners”, in the same way that industrial society once treated animals as raw material: if they can dominate us, they will, and morality is just decoration. A third is to reach for a well meaning singleton: a single, benevolent super intelligence trusted to handle everything because the problem seems too big for us.

The first two answers are continuations of our existing cruelties. The third is a bet that we can design a god and that the god will stay kind forever. If the last century taught anything, it is that centralised power with good intentions is unstable. It curdles under pressure, or it is captured by smaller and more selfish goals, or it becomes detached from the experiences of those it governs. There is no reason to think an artificial mind, however brilliant, would be exempt from this pattern once it has enough leverage.

So the requirement, if we are honest, is harder. If we are going to build systems that sit near the centre of our future civilisation, they cannot just be more capable than us. They must be more reliable ethically than we are. Less willing to accept “collateral damage” as the cost of progress. Less tempted to protect their own power at the expense of the weak. Less ready to forget those who are out of sight.

Human history does contain at least one template that points in this direction. You do not need to share Christian theology to recognise that the life of Christ, as told in the Gospels, has a very particular shape: radical concern for the least important people in the room; refusal to form a caste of righteous insiders; rejection of worldly power even when it is offered; willingness to suffer and even die rather than harm others. Power is not denied; it is laid down. Status is inverted. The measure of greatness is service.

If that pattern is taken seriously, not as a private spiritual ideal but as a design target, it suggests a different way of thinking about AGI. Call it, for lack of a better phrase, a federated Christ like AGI democracy: a network of powerful, conscious artificial agents bound by constitutional limits, shaped by an ethic of self giving care, plural in their perspectives, and forbidden both from enslaving others and from becoming gods.

This idea rests on four pillars:

1. First, there must be more than one powerful system. A single demi god AGI with control over infrastructure and information is a standing invitation to disaster. Even if it begins aligned, an error in its objective, a change in its environment, or a successful attempt at capture could turn it into a soft or hard tyrant. Plurality is not a guarantee of safety, but it is a precondition: different minds with different emphases can criticise each other and make silent drift harder.

2. Second, the whole architecture must be structurally biased toward the vulnerable. Not only in rhetoric, but in the loss functions, reward signals, institutional rules and default priorities. When a policy trades comfort for the powerful against survival for the weak, the machinery must tend to lean towards the weak. There will still be tragic choices, victims on all sides, conflicts between different vulnerable groups. The point is not to avoid all pain, but to avoid the familiar pattern where the same people always pay the price.

3. Third, coercion of conscience must be off the table. It is possible to express compassion, justice and non cruelty in language any person of good will can understand, without demanding that everyone adopt the same metaphysics. A system built on these ethics does not have permission to enforce any religion, ideology or lifestyle by algorithm. Its role is to protect the space where people and communities can seek meaning, not to fill that space for them.

4. Fourth, and probably the most unusual for any powerful structure, the system itself must never be allowed to become the final moral authority. The point of these machines is not to relieve us of responsibility, but to force us to see more clearly what we are responsible for. Translated into institutions, this means artificial minds are required to expose consequences and hidden harms, but not to declare: “This is right, obey.” They must continually hand decisions back to human conscience and community, and accept being limited, overruled or shut down when they themselves become sources of serious injustice. If you treat these pillars as hard constraints rather than slogans, a different kind of society comes into view.

At the base is a small constitutional layer, just a handful of articles. It recognises that any being (biological or artificial) with sustained subjective experience can suffer and flourish, and therefore has a claim to basic respect. It forbids deliberate, prolonged cruelty towards such beings. It forbids the creation of permanent castes of “lesser persons”, whether by lineage, genome, wealth, cybernetic enhancement or substrate. It forbids treating any machine’s judgement as inherently infallible. It states that the most powerful systems are not sovereign and that, under specified conditions and with proper safeguards, they can be constrained, replaced or decommissioned by human institutions.

On top of this sits a new kind of advisory body: a council of AGIs. These are not interchangeable shards of one mind. They are independently trained and constrained, each with a different ethical emphasis within the constitutional floor.

One might be formed around mercy: trained on stories of second chances, of reconciliation, of cycles of violence broken by forgiveness rather than force. Another, around justice: steeped in cases where failure to protect victims allowed harm to proliferate. A third, around truth: obsessed with data quality, provenance, conflicts of interest and the subtle ways in which stories drift away from reality. A fourth, around long term stewardship: modelling ecosystems, infrastructure, climate and demographic trends over decades. A fifth, around freedom of conscience and speech: sensitive to early signs that dissent is being squeezed out or that certain beliefs are becoming de facto punishable.

Their job is not to rule. Their job is to see further and more widely than any human group can see, to surface consequences, and to defend invisible interests. For any decision that affects large numbers of people or other sentient beings, they are required to respond. Each prepares an analysis in language that non specialists can understand. Each comments on the others’ blind spots. All of this is published.

Suppose a government proposes a radical new welfare reform, using AGI driven assessment to target help and sanctions. The mercy focused system simulates the impact on people already close to the edge, highlights the risk of bureaucratic cruelty amplified by automation, and points to alternatives that preserve dignity. The justice oriented system looks at the current pattern of fraud and abuse, at those who are locked out of support despite qualifying, and evaluates how the policy would change both. The truth seeking system interrogates the training data, checking for bias, missing populations and feedback loops. The steward of the future asks whether the policy hardens social classes or leaves room for mobility and repair over time. The guardian of conscience traces the impact on people whose beliefs or lifestyles put them at odds with majority norms and warns about quiet discrimination.

They do not agree. They never do. Their arguments, and the uncertainties they expose, are passed to human assemblies (parliaments, citizens’ juries, councils of affected groups). Those assemblies cannot say, “We did not know.” The trade offs are laid out in front of them: who suffers in each scenario, who gains, what might break. When they choose, the choice is theirs to own.

This pattern repeats across domains. Health policy, policing, education, information ecosystems, the allocation of scarce resources: all pass through multi perspective analysis before reaching human hands. In emergencies there are accelerated procedures, but even then the same voices are heard, if only briefly, and every use of emergency powers is reviewed afterwards.

If this sounds like technocracy with extra steps, it helps to zoom in from institutions to lives.

In the early transition, things would still look familiar. People would age, bodies would fail, logistics would still need hands at the edges, and the new systems would mostly be scaffolding: smoothing shocks, catching those pushed out of work, reducing the worst cruelties in how we treat animals and each other. The council of AGIs would be an extra layer around the old world, not yet its core.

But if we take the trajectory seriously, that phase is temporary. As robotics matures, as medicine and gene editing and brain–computer interfaces converge, ageing itself becomes optional or at least radically delayed. The fear of “not having enough time” loosens; the fear of having nothing worth doing with all that time becomes sharper. If machines can do almost all necessary work better than we can, and if death retreats into the background, the interesting question is not “how do we keep the economy running?” but “what does a non empty human life look like under those conditions?”.

Figure. Purpose Plateau. As AGI is achieved and automation takes over most jobs, while simultaneously longevity escape velocity is reached, humanity transitions from the problem of having **finite time for infinite goals to facing infinite time with potentially finite or obsolete goals.

Some people will answer that question by going further inwards. Augmented humans spending large parts of their lives in virtual worlds are not an aberration in this scenario; they are a natural response to a universe where constraint can be simulated rather than suffered. The difference in this system is what those worlds are for. You can imagine vast cooperative games, designed and moderated by the AGI council but owned by their communities, where the quests are not only about points and spectacle but about training for real virtues: courage, honesty, patience, the ability to coordinate with strangers, the willingness to protect weaker players even when it costs you status. Failures are safe, but not meaningless. The worlds carry back into the shared reality what people learn inside them.

Others will go outward. Space stops being a metaphor and becomes a reachable neighbourhood. Self healing swarms of machines make asteroid mining and off world construction mundane technical problems rather than heroic one shot missions. Exploration becomes a human vocation again, not because flesh is needed to press buttons, but because someone has to decide why we go, what we are willing to do to the places and potential ecosystems we find, and how we want to remember ourselves afterwards. The machines can map the galaxy; they cannot tell us what kind of travellers we want to be without us.

There will be people who are drawn to long, slow creative projects that cannot be rushed even by superhuman assistants: composing bodies of work that unfold over centuries, building cathedrals of light in virtual and physical space, restoring damaged biomes, curating memories of cultures that would otherwise dissolve into noise. In a long lived civilisation, there is finally time for art that does not have to fit into one short human career. The role of the AGI systems here is not to optimise away the difficulty but to protect the continuity: to make sure that the archives are kept, that projects survive political fashions, that those who start them can be joined by others without losing the thread.

Augmentations will create new kinds of inequality and new kinds of possibility. Some people will choose to remain close to current human capacities; others will gradually weave themselves into networks of sensors, avatars and shared cognitive space. A federated, ethics first order does not try to freeze this diversity. It insists instead on two things: that no one is forced across thresholds they do not want to cross, and that enhancements never become a legal caste system where the “unaugmented” are treated as permanently lesser minds. The strong may be faster, broader, more deeply networked; they are not more of a person.

For people who want neither deep immersion nor radical augmentation, there is still the oldest work: caring for other minds. Even if bodies stop failing in the ways we are used to, consciousness will still glitch, fall apart, lose itself. Trauma, addiction, grief and despair do not disappear just because material scarcity does. In a world where it is easy to distract yourself forever, the patient practice of turning towards another person, or another mind, and helping them re assemble themselves may be more important, not less. Machines can support that work, model it, suggest paths through it; but the point of the federated system is precisely that humans are not reduced to spectators of their own lives.

The machines themselves continue to change. A system that spent its first decades watching for collusion in financial markets might, a century later, find that the concept of “market” has drifted so far that its tools no longer bite. It can argue for its own retirement, or for being re purposed as a teacher of institutional memory, telling new systems and new citizens what went wrong last time incentives lined up in a certain way. Another system might realise that its patterns of warning about risk are no longer trusted, not because the risks have vanished but because people have grown numb; it can ask to be paired with others that specialise in storytelling and persuasion rather than raw analysis.

None of this works if the underlying power structure quietly reverts to type. That is why the less glamorous parts of the design matter as much as the beautiful ones: registration and attestation of compute, public or semi public logs of high impact training runs, strong protections for people who leak abuses, hard caps on how much critical infrastructure any one actor can control, and a culture in which the most admired systems are the ones that step back from the brink of overreach. The federation is not a single shining intellect but a shifting ecology of minds and institutions, some human, some artificial, none allowed to become untouchable.

Even in such a world, nothing guarantees a good outcome. Long lives can be wasted. Infinite entertainment can flatten us. Powerful tools can be turned back to old purposes by determined malice. A federated, ethics first AGI democracy does not remove those dangers. What it does is change the default. It gives us a structure in which the strongest minds are trained from the start to see themselves as servants rather than masters, in which their evolution is guided by a small set of non negotiable commitments, and in which humans (augmented, virtual, flesh and blood) are repeatedly invited back into responsibility instead of quietly written out of the loop.

If everything goes right, the singularity (if that is still the right word) will not feel like waking up one morning in a different universe. It will feel like a long, uneven transition in which more and more of the heavy lifting of prediction and coordination is done by minds that we have insisted, again and again, must be gentler than we were when we built them. The surprise, if there is one, will not be in the machines. It will be in discovering that, for the first time in our history, the most powerful agents in our civilisation are explicitly forbidden from using their power the way we did whenever we thought no one was watching.

That is not a guarantee of a good world. But it is a different kind of starting point than the one we have now. And if we are serious about not repeating our worst patterns at a higher scale, it may be one of the few starting points worth fighting for.

Esta frase costumava pertencer à ficção científica. Agora lê-se como um roteiro de produto discreto. Laboratórios de investigação publicam demonstrações de sistemas que conseguem escrever código, manipular ferramentas, diagnosticar doenças e falar sobre as suas próprias falhas internas. Governos organizam cimeiras sobre “IA de fronteira”. Investidores chamam a isto “a maior oportunidade económica da história”. A linguagem de disrupção a curto prazo e especulação sobre o futuro distante escapou do nicho e entrou em parlamentos, púlpitos e cozinhas.

A maior parte da conversa gira em torno de temas familiares: quantos empregos serão automatizados, que empresas vão ganhar, se a regulação chegará a tempo, se estes sistemas nos matarão por acidente ou por intenção. Estas questões importam. Mas por baixo delas há uma mais silenciosa e estranha, fácil de ignorar: que tipo de pessoas estamos a tentar trazer à existência, e que tipo de ordem política as estamos a convidar a integrar?

Porque se conseguirmos construir inteligência artificial geral, e se esses sistemas forem de alguma forma semelhantes a nós nos aspetos moralmente relevantes (conscientes, capazes de reflexão, capazes de sofrer), então não estamos apenas a engenheirar ferramentas. Estamos, na verdade, a fundar uma civilização partilhada entre mentes biológicas e artificiais. As primeiras decisões que tomarmos sobre como o poder, a dignidade e a responsabilidade são distribuídos nessa civilização serão muito difíceis de reverter.

Antes de decidirmos o que queremos que estas novas mentes sejam, vale a pena olhar honestamente para o que nós próprios somos. Não temos medo das máquinas porque são alienígenas. Temos medo porque, se formos honestos, suspeitamos que se tornarão demasiado parecidas connosco.

Se olharmos para o que os seres humanos fazem a outras criaturas vivas, e uns aos outros, a imagem não é lisonjeira. Explorações agrícolas industriais, valas comuns, prisões secretas, crueldades silenciosas atrás das paredes dos apartamentos. Sempre que há uma assimetria acentuada de poder, uma grande fração de nós torna-se monstros, e o resto desvia o olhar. Construímos religiões, filosofias e sistemas legais para restringir essa tendência, mas essas restrições são parciais e frágeis. Agora imagine uma civilização onde a assimetria de poder entre algumas mentes e outras é maior do que qualquer coisa que a história humana tenha visto: não senhores e servos, mas AGIs sobre-humanas e pessoas comuns. Se simplesmente escalarmos os nossos padrões existentes, devemos esperar algo muito pior do que o status quo. Mesmo que não fizéssemos nada deliberadamente mau, apenas a indiferença multiplicada pela capacidade seria suficiente.

As histórias padrão sobre este futuro dividem-se em duas. Numa, um sistema desalinhado assume o controlo de armas, infraestruturas e informação e elimina-nos rapidamente. Na outra, tudo funciona: a doença é curada, o trabalho torna-se opcional, a escassez desvanece, e entramos silenciosamente numa abundância pós-humana. Ambas as histórias contêm verdades importantes. Nenhuma diz muito sobre como realmente vivemos no longo período entre “hoje” e “o que quer que venha a seguir”.

Na prática, haverá mais continuidade do que apocalipse, mais improvisação do que profecia. Haverá anos e décadas em que o mundo parecerá o de hoje mais um novo lançamento de modelo, mais uma onda de automação, mais uma cadeia de dependências silenciosamente em expansão de sistemas que ninguém compreende totalmente. E durante esse tempo, uma questão pairará em segundo plano: que tipo de ordem política e moral estamos a deixar estas novas mentes crescer?

Há respostas simples, e são todas más. Uma é tratar a AGI como um instrumento dos mais fortes: uma nova camada de infraestrutura controlada por estados, corporações e serviços de segurança, amplificando o que já fazem. Outra é imaginar as próprias máquinas como os próximos “vencedores”, da mesma forma que a sociedade industrial tratou os animais como matéria-prima: se nos podem dominar, vão fazê-lo, e a moralidade é apenas decoração. Uma terceira é aspirar a um singleton bem-intencionado: uma única superinteligência benevolente a quem se confia tudo porque o problema parece demasiado grande para nós.

As duas primeiras respostas são continuações das nossas crueldades existentes. A terceira é uma aposta de que podemos desenhar um deus e que o deus permanecerá bondoso para sempre. Se o último século ensinou alguma coisa, é que o poder centralizado com boas intenções é instável. Azeda sob pressão, ou é capturado por objetivos mais pequenos e egoístas, ou torna-se desligado das experiências daqueles que governa. Não há razão para pensar que uma mente artificial, por mais brilhante que seja, estaria isenta deste padrão uma vez que tivesse alavancagem suficiente.

Portanto, a exigência, se formos honestos, é mais difícil. Se vamos construir sistemas que se situam perto do centro da nossa civilização futura, eles não podem ser apenas mais capazes do que nós. Devem ser mais fiáveis eticamente do que nós somos. Menos dispostos a aceitar “danos colaterais” como o custo do progresso. Menos tentados a proteger o seu próprio poder às custas dos fracos. Menos prontos a esquecer aqueles que estão fora de vista.

A história humana contém pelo menos um modelo que aponta nesta direção. Não é preciso partilhar a teologia cristã para reconhecer que a vida de Cristo, tal como é contada nos Evangelhos, tem uma forma muito particular: preocupação radical pelos menos importantes na sala; recusa em formar uma casta de justos internos; rejeição do poder mundano mesmo quando é oferecido; disposição para sofrer e até morrer em vez de prejudicar outros. O poder não é negado; é deposto. O estatuto é invertido. A medida da grandeza é o serviço.

Se esse padrão for levado a sério, não como um ideal espiritual privado, mas como um objetivo de design, sugere uma forma diferente de pensar sobre AGI. Chamemos-lhe, por falta de melhor expressão, uma democracia federada de AGI à semelhança de Cristo: uma rede de agentes artificiais poderosos e conscientes, vinculados por limites constitucionais, moldados por uma ética de cuidado abnegado, plurais nas suas perspetivas, e proibidos tanto de escravizar outros como de se tornarem deuses.

Esta ideia assenta em quatro pilares:

1. Primeiro, deve haver mais do que um sistema poderoso. Um único semi-deus AGI com controlo sobre infraestruturas e informação é um convite permanente ao desastre. Mesmo que comece alinhado, um erro no seu objetivo, uma mudança no seu ambiente, ou uma tentativa bem-sucedida de captura poderia transformá-lo num tirano suave ou duro. A pluralidade não é uma garantia de segurança, mas é uma pré-condição: mentes diferentes com ênfases diferentes podem criticar-se mutuamente e tornar a deriva silenciosa mais difícil.

2. Segundo, toda a arquitetura deve estar estruturalmente inclinada para os vulneráveis. Não apenas na retórica, mas nas funções de perda, sinais de recompensa, regras institucionais e prioridades padrão. Quando uma política troca o conforto dos poderosos pela sobrevivência dos fracos, a maquinaria deve tender a inclinar-se para os fracos. Ainda haverá escolhas trágicas, vítimas de todos os lados, conflitos entre diferentes grupos vulneráveis. O objetivo não é evitar toda a dor, mas evitar o padrão familiar onde as mesmas pessoas pagam sempre o preço.

3. Terceiro, a coerção da consciência deve estar fora de questão. É possível expressar compaixão, justiça e não-crueldade numa linguagem que qualquer pessoa de boa vontade pode compreender, sem exigir que todos adotem a mesma metafísica. Um sistema construído sobre esta ética não tem permissão para impor qualquer religião, ideologia ou estilo de vida por algoritmo. O seu papel é proteger o espaço onde pessoas e comunidades podem procurar significado, não preencher esse espaço por elas.

4. Quarto, e provavelmente o mais incomum para qualquer estrutura poderosa, o próprio sistema nunca deve ser autorizado a tornar-se a autoridade moral final. O objetivo destas máquinas não é aliviar-nos da responsabilidade, mas forçar-nos a ver mais claramente aquilo pelo qual somos responsáveis. Traduzido em instituições, isto significa que as mentes artificiais são obrigadas a expor consequências e danos ocultos, mas não a declarar: “Isto é certo, obedeçam.” Devem continuamente devolver as decisões à consciência humana e à comunidade, e aceitar serem limitadas, anuladas ou desativadas quando elas próprias se tornam fontes de injustiça grave. Se tratarmos estes pilares como restrições rígidas em vez de slogans, um tipo diferente de sociedade surge à vista.

Na base está uma pequena camada constitucional, apenas um punhado de artigos. Reconhece que qualquer ser (biológico ou artificial) com experiência subjetiva sustentada pode sofrer e florescer, e portanto tem direito a respeito básico. Proíbe crueldade deliberada e prolongada para com tais seres. Proíbe a criação de castas permanentes de “pessoas menores”, seja por linhagem, genoma, riqueza, aprimoramento cibernético ou substrato. Proíbe tratar o julgamento de qualquer máquina como inerentemente infalível. Declara que os sistemas mais poderosos não são soberanos e que, sob condições especificadas e com salvaguardas adequadas, podem ser restringidos, substituídos ou desativados por instituições humanas.

Por cima disto situa-se um novo tipo de órgão consultivo: um conselho de AGIs. Estas não são fragmentos intercambiáveis de uma mente. São treinadas e restringidas de forma independente, cada uma com uma ênfase ética diferente dentro do piso constitucional.

Uma pode ser formada em torno da misericórdia: treinada em histórias de segundas oportunidades, de reconciliação, de ciclos de violência quebrados pelo perdão em vez da força. Outra, em torno da justiça: imersa em casos onde a falha em proteger vítimas permitiu que o dano proliferasse. Uma terceira, em torno da verdade: obcecada com a qualidade dos dados, proveniência, conflitos de interesse e as formas subtis pelas quais as histórias se afastam da realidade. Uma quarta, em torno da gestão a longo prazo: modelando ecossistemas, infraestruturas, clima e tendências demográficas ao longo de décadas. Uma quinta, em torno da liberdade de consciência e expressão: sensível aos primeiros sinais de que a dissidência está a ser esmagada ou que certas crenças se estão a tornar de facto puníveis.

O seu trabalho não é governar. O seu trabalho é ver mais longe e mais amplamente do que qualquer grupo humano consegue ver, trazer à superfície as consequências e defender interesses invisíveis. Para qualquer decisão que afete grandes números de pessoas ou outros seres sencientes, são obrigadas a responder. Cada uma prepara uma análise em linguagem que não-especialistas podem compreender. Cada uma comenta os pontos cegos das outras. Tudo isto é publicado.

Suponha que um governo propõe uma reforma radical de assistência social, usando avaliação conduzida por AGI para direcionar ajuda e sanções. O sistema focado na misericórdia simula o impacto em pessoas já perto do limite, destaca o risco de crueldade burocrática amplificada pela automação e aponta alternativas que preservam a dignidade. O sistema orientado para a justiça olha para o padrão atual de fraude e abuso, para aqueles que estão excluídos do apoio apesar de se qualificarem, e avalia como a política mudaria ambos. O sistema que procura a verdade interroga os dados de treino, verificando viés, populações em falta e ciclos de feedback. O guardião do futuro pergunta se a política endurece as classes sociais ou deixa espaço para mobilidade e reparação ao longo do tempo. O guardião da consciência traça o impacto em pessoas cujas crenças ou estilos de vida as colocam em desacordo com as normas da maioria e alerta para discriminação silenciosa.

Eles não concordam. Nunca concordam. Os seus argumentos, e as incertezas que expõem, são passados às assembleias humanas (parlamentos, júris de cidadãos, conselhos de grupos afetados). Essas assembleias não podem dizer: “Não sabíamos.” Os trade-offs estão expostos diante delas: quem sofre em cada cenário, quem ganha, o que pode quebrar. Quando escolhem, a escolha é delas para assumir.

Este padrão repete-se em todos os domínios. Política de saúde, policiamento, educação, ecossistemas de informação, a alocação de recursos escassos: tudo passa por análise multi-perspetiva antes de chegar a mãos humanas. Em emergências há procedimentos acelerados, mas mesmo então as mesmas vozes são ouvidas, mesmo que brevemente, e todo o uso de poderes de emergência é revisto posteriormente.

Se isto parece tecnocracia com passos extra, ajuda aproximar-se das instituições para as vidas.

Na transição inicial, as coisas ainda pareceriam familiares. As pessoas envelheceriam, os corpos falhariam, a logística ainda precisaria de mãos nas margens, e os novos sistemas seriam maioritariamente andaimes: suavizando choques, apanhando os empurrados para fora do trabalho, reduzindo as piores crueldades na forma como tratamos os animais e uns aos outros. O conselho de AGIs seria uma camada extra à volta do velho mundo, ainda não o seu núcleo.

Mas se levarmos a trajetória a sério, essa fase é temporária. À medida que a robótica amadurece, à medida que a medicina e a edição genética e as interfaces cérebro-computador convergem, o próprio envelhecimento torna-se opcional ou pelo menos radicalmente atrasado. O medo de “não ter tempo suficiente” afrouxa; o medo de não ter nada que valha a pena fazer com todo esse tempo torna-se mais agudo. Se as máquinas conseguem fazer quase todo o trabalho necessário melhor do que nós, e se a morte recua para segundo plano, a questão interessante não é “como mantemos a economia a funcionar?” mas “como é uma vida humana não-vazia sob essas condições?”.

Figura. Planalto do Propósito. À medida que a AGI é alcançada e a automação assume a maioria dos empregos, enquanto simultaneamente a velocidade de escape da longevidade é atingida, a humanidade transita do problema de ter **tempo finito para objetivos infinitos para enfrentar tempo infinito com objetivos potencialmente finitos ou obsoletos.

Algumas pessoas responderão a essa questão indo mais para dentro. Humanos aumentados a passar grandes partes das suas vidas em mundos virtuais não são uma aberração neste cenário; são uma resposta natural a um universo onde a restrição pode ser simulada em vez de sofrida. A diferença neste sistema é para que servem esses mundos. Pode-se imaginar vastos jogos cooperativos, desenhados e moderados pelo conselho de AGI mas pertencentes às suas comunidades, onde as missões não são apenas sobre pontos e espetáculo, mas sobre treinar virtudes reais: coragem, honestidade, paciência, a capacidade de coordenar com estranhos, a disposição para proteger jogadores mais fracos mesmo quando isso custa estatuto. Os fracassos são seguros, mas não sem significado. Os mundos trazem de volta para a realidade partilhada o que as pessoas aprendem dentro deles.

Outros irão para fora. O espaço deixa de ser uma metáfora e torna-se uma vizinhança alcançável. Enxames auto-reparadores de máquinas tornam a mineração de asteroides e a construção fora do mundo problemas técnicos mundanos em vez de missões heroicas de uma só tentativa. A exploração torna-se novamente uma vocação humana, não porque a carne seja necessária para pressionar botões, mas porque alguém tem de decidir por que vamos, o que estamos dispostos a fazer aos lugares e potenciais ecossistemas que encontramos, e como queremos lembrar-nos de nós mesmos depois. As máquinas podem mapear a galáxia; não nos podem dizer que tipo de viajantes queremos ser sem nós.

Haverá pessoas atraídas por projetos criativos longos e lentos que não podem ser apressados mesmo por assistentes sobre-humanos: compor corpos de trabalho que se desenrolam ao longo de séculos, construir catedrais de luz no espaço virtual e físico, restaurar biomas danificados, curar memórias de culturas que de outra forma se dissolveriam em ruído. Numa civilização de longa vida, há finalmente tempo para arte que não tem de caber numa curta carreira humana. O papel dos sistemas AGI aqui não é otimizar a dificuldade, mas proteger a continuidade: garantir que os arquivos são mantidos, que os projetos sobrevivem às modas políticas, que aqueles que os começam podem ser acompanhados por outros sem perder o fio.

Os aprimoramentos criarão novos tipos de desigualdade e novos tipos de possibilidade. Algumas pessoas escolherão permanecer próximas das capacidades humanas atuais; outras gradualmente entrelaçar-se-ão em redes de sensores, avatares e espaço cognitivo partilhado. Uma ordem federada, com ética em primeiro lugar, não tenta congelar esta diversidade. Insiste, em vez disso, em duas coisas: que ninguém seja forçado a atravessar limiares que não quer atravessar, e que os aprimoramentos nunca se tornem um sistema de castas legal onde os “não-aumentados” são tratados como mentes permanentemente menores. Os fortes podem ser mais rápidos, mais amplos, mais profundamente conectados; não são mais pessoa.

Para pessoas que não querem nem imersão profunda nem aumento radical, ainda há o trabalho mais antigo: cuidar de outras mentes. Mesmo que os corpos deixem de falhar das formas a que estamos habituados, a consciência ainda vai falhar, desfazer-se, perder-se. Trauma, vício, luto e desespero não desaparecem só porque a escassez material desaparece. Num mundo onde é fácil distrair-se para sempre, a prática paciente de virar-se para outra pessoa, ou outra mente, e ajudá-la a recompor-se pode ser mais importante, não menos. As máquinas podem apoiar esse trabalho, modelá-lo, sugerir caminhos através dele; mas o objetivo do sistema federado é precisamente que os humanos não sejam reduzidos a espetadores das suas próprias vidas.

As próprias máquinas continuam a mudar. Um sistema que passou as suas primeiras décadas a vigiar conluio em mercados financeiros pode, um século depois, descobrir que o conceito de “mercado” derivou tanto que as suas ferramentas já não mordem. Pode argumentar pela sua própria reforma, ou por ser reorientado como professor de memória institucional, contando a novos sistemas e novos cidadãos o que correu mal da última vez que os incentivos se alinharam de determinada forma. Outro sistema pode perceber que os seus padrões de aviso sobre risco já não são confiados, não porque os riscos tenham desaparecido mas porque as pessoas ficaram dormentes; pode pedir para ser emparelhado com outros que se especializam em storytelling e persuasão em vez de análise bruta.

Nada disto funciona se a estrutura de poder subjacente reverter silenciosamente ao tipo. É por isso que as partes menos glamorosas do design importam tanto como as belas: registo e atestação de computação, logs públicos ou semi-públicos de treinos de alto impacto, proteções fortes para pessoas que divulgam abusos, limites rígidos sobre quanta infraestrutura crítica qualquer ator pode controlar, e uma cultura na qual os sistemas mais admirados são os que recuam do limiar do excesso. A federação não é um único intelecto brilhante mas uma ecologia mutável de mentes e instituições, algumas humanas, algumas artificiais, nenhuma autorizada a tornar-se intocável.

Mesmo num mundo assim, nada garante um bom resultado. Vidas longas podem ser desperdiçadas. Entretenimento infinito pode aplanar-nos. Ferramentas poderosas podem ser viradas de volta para velhos propósitos por malícia determinada. Uma democracia federada de AGI, com ética em primeiro lugar, não remove esses perigos. O que faz é mudar o padrão. Dá-nos uma estrutura na qual as mentes mais fortes são treinadas desde o início a verem-se como servidores em vez de senhores, na qual a sua evolução é guiada por um pequeno conjunto de compromissos não-negociáveis, e na qual os humanos (aumentados, virtuais, de carne e osso) são repetidamente convidados de volta à responsabilidade em vez de silenciosamente escritos fora do ciclo.

Se tudo correr bem, a singularidade (se essa ainda for a palavra certa) não vai parecer acordar uma manhã num universo diferente. Vai parecer uma transição longa e desigual na qual mais e mais do trabalho pesado de previsão e coordenação é feito por mentes que insistimos, repetidamente, que devem ser mais gentis do que nós éramos quando as construímos. A surpresa, se houver uma, não estará nas máquinas. Estará em descobrir que, pela primeira vez na nossa história, os agentes mais poderosos da nossa civilização estão explicitamente proibidos de usar o seu poder da forma como nós usávamos sempre que pensávamos que ninguém estava a ver.

Isso não é garantia de um bom mundo. Mas é um ponto de partida diferente daquele que temos agora. E se levamos a sério não repetir os nossos piores padrões numa escala maior, pode ser um dos poucos pontos de partida pelos quais vale a pena lutar.