Rodar um modelo de IA no seu computador

Uma fisioterapeuta autônoma passa as noites redigindo relatórios a partir de anotações rabiscadas. Ela gostaria que a IA os passasse a limpo, mas não quer enviar informações sobre seus pacientes a um serviço online. Um colega diz: “Instale um modelo na sua máquina, nada sai do seu computador.” É verdade, e é possível. Não é tão simples quanto parece, e o resultado não tem a mesma qualidade dos grandes serviços.

Um modelo local é um modelo de linguagem que você baixa e roda na sua própria máquina, com um programa dedicado. Depois de instalado, ele funciona sem conexão. Veja o que isso traz, quanto custa na prática e como escrever prompts adequados.

O que você ganha

Seus textos ficam com você. O que você digita é processado pelo seu computador e não é enviado a um fornecedor. Para anotações sensíveis, rascunhos confidenciais ou documentos de empresa, é o principal motivo para adotar essa solução. Uma ressalva: “local” não quer dizer “em conformidade”. Para dados de saúde ou de clientes, as obrigações legais não desaparecem só porque o processamento acontece na sua máquina. Se for o seu caso, converse com o responsável pela proteção de dados ou com um profissional do direito e veja antes o que não se deve confiar a um chatbot.

Você pode trabalhar offline. No trem, numa obra, num prédio sem rede, o modelo responde do mesmo jeito.

Você mantém o controle. O modelo não muda de comportamento de um dia para o outro por causa de uma atualização do fornecedor. O seu fica congelado enquanto você não o trocar, o que torna um prompt mais reproduzível.

Você pode experimentar sem contar. Sem limite de mensagens imposto por uma assinatura. O limite é a paciência da sua máquina.

O que você perde

Sejamos claros: um modelo que cabe num computador de mesa é bem menor do que os que rodam nos centros de processamento dos grandes serviços. Em geral, ele raciocina pior, segue pior instruções longas, entende pior as nuances, erra mais sobre fatos e lida pior com textos muito longos. Dependendo da máquina, também pode ser lento.

As tarefas em que ele se sai bem são mais simples e delimitadas: reformular um texto, corrigir, classificar, extrair informações de um texto que você fornece, resumir um documento curto, fazer rascunhos. As tarefas em que ele decepciona: raciocínio em várias etapas, perguntas pontuais de cultura geral, escrita longa e caprichada, e tudo o que exige exatidão factual sem fonte.

Isso não é um detalhe para quem conta com ele sem revisar. Um modelo pequeno inventa com mais facilidade: é preciso conferir cada número e cada referência, como explica o artigo sobre a redução de alucinações.

O hardware necessário

O fator decisivo é a memória. Um modelo é um arquivo grande carregado na memória para responder, e se ele não couber, a máquina fica inutilizável de tão lenta. Três noções para conhecer.

O tamanho, em bilhões de parâmetros. Você verá modelos descritos como “3B”, “7B” ou “70B”. Quanto maior o número, mais capaz o modelo costuma ser, e mais pesado.

A quantização. É uma compressão que reduz a precisão dos números do modelo para que ele caiba em menos memória, ao preço de uma pequena perda de qualidade. A maioria dos modelos disponíveis para download existe em várias versões quantizadas, e a ferramenta informa o tamanho do arquivo.

A memória disponível. Num computador, é a memória RAM, ou a da placa de vídeo, se você tiver uma dedicada. Em alguns Macs recentes, a memória é compartilhada entre o processador e a parte gráfica, o que ajuda. Uma regra prudente: o arquivo do modelo deve caber na sua memória com uma boa margem, porque também é preciso espaço para a conversa em andamento (a janela de contexto) e para o resto do seu sistema.

Com um computador recente e pouca memória, mire em modelos pequenos. Com muita memória ou uma boa placa de vídeo, você pode subir de tamanho. As ferramentas costumam indicar se um modelo tem chance de rodar na sua máquina: confie nesses avisos.

As ferramentas para começar

Dois programas são muito usados para começar, e este guia não pretende dizer qual é o melhor.

• LM Studio tem uma interface gráfica: você procura um modelo numa lista, baixa e abre uma janela de conversa. É o mais simples para uma primeira tentativa.
• Ollama funciona sobretudo pela linha de comando e serve de base para outros aplicativos. Convém mais se você se sente à vontade com um terminal ou quer conectar o modelo a outras ferramentas.

Nos dois casos, o processo é o mesmo: instalar o programa, escolher um modelo pequeno, baixá-lo (o arquivo é medido em gigabytes, reserve espaço e uma boa conexão) e depois conversar.

Algumas precauções. Baixe os modelos dos catálogos integrados às ferramentas ou de fontes reconhecidas, não de um link recebido por mensagem. Veja a licença do modelo se pretende usá-lo no trabalho, porque nem todas permitem uso comercial. E se você ativar funções que consultam a web ou enviam dados a um serviço, o seu processamento deixa de ser totalmente local.

Escrever prompts para um modelo pequeno

Os princípios continuam sendo os da escrita de um prompt, mas um modelo pequeno exige mais disciplina. Um grande serviço compensa suas imprecisões, um pequeno sofre com elas.

Uma tarefa por mensagem. Em vez de “resuma, corrija e traduza”, encadeie as três etapas, como numa cadeia de prompts.

Instruções curtas e positivas. Uma lista de doze regras será esquecida pela metade. Fique com três ou quatro instruções essenciais.

Um exemplo. Os modelos pequenos ganham muito ao ver o que se espera. A técnica está explicada no artigo sobre few-shot.

O texto a tratar, fornecido e delimitado. Cole o material entre marcadores claros e peça para não acrescentar nada.

Um formato simples. Uma lista com marcadores ou algumas linhas. Um formato muito estruturado dá certo com menos frequência do que num modelo grande.

Para a fisioterapeuta, aqui vai um prompt que respeita esses princípios. Ela troca os nomes por iniciais e mantém só o estritamente necessário:

Você passa a limpo anotações de sessões de fisioterapia.

Regras:
- Escreva no máximo três frases, no presente.
- Não acrescente nenhuma informação ausente das anotações.
- Se parecer faltar uma informação (duração, região tratada), escreva [A DEFINIR].

Exemplo.
Anotações: joelho D, dor 6/10 -> 4/10, mobilização, reforço quadríceps, rever quinta
Relatório: Sessão dedicada ao joelho direito. A dor passou de 6 para 4 em 10. Mobilização e fortalecimento do quadríceps; próxima sessão na quinta.

Anotações a passar a limpo:
[SUAS ANOTAÇÕES]

Ela lê cada relatório antes de arquivá-lo: um modelo pequeno pode trocar direita e esquerda ou arredondar um número. Uma ajuda de redação não substitui a revisão do profissional que assina.

Se os resultados decepcionarem, tente nesta ordem: encurtar o prompt, acrescentar um segundo exemplo, passar para um modelo maior se a sua memória permitir. Ajustes como a temperatura estão explicados no artigo sobre parâmetros; eles costumam estar acessíveis na interface local e são úteis para deixar as respostas mais estáveis.

Local ou serviço online: como escolher

Fique num serviço online se você precisa da melhor qualidade de raciocínio, de documentos longos ou de pesquisas na web. Passe para o local se o critério número um é que o texto não saia da sua máquina, se você trabalha sem rede ou se quer aprender como esses modelos funcionam. Muita gente mistura os dois: o local para anotações sensíveis e tarefas simples, o serviço online para o resto, com dados depurados. Se você quiser entender o que acontece por dentro, o artigo sobre o funcionamento de um modelo de linguagem dá as bases. E para um serviço europeu sem instalação, há também o Le Chat da Mistral.

Um teste hoje à noite

Instale o LM Studio ou o Ollama, escolha o menor modelo recomendado para a sua máquina e dê a ele uma tarefa que você conhece de cor: reformular um e-mail de três linhas. Se o resultado estiver correto, tente um texto mais longo. Se a sua máquina sofrer, é sinal de que você precisa de um modelo menor, não de um prompt mais longo.