ToshLLM é uma solução para rodar IAs locais em Macs com chips Intel

A era da inteligência artificial (IA) nasce em um mundo onde os Macs com Apple Silicon já são uma realidade. As máquinas da Apple com processadores Intel, porém, ainda possuem uma base considerável de usuários, mesmo que os apps para rodar IAs locais sejam escassos para esse público — e o ToshLLM surge com a proposta de se somar a elas.

O aplicativo de código aberto foi desenvolvido especialmente para máquinas com processadores da Intel e GPUs ¹Graphics processing units, ou unidades de processamento gráfico. da AMD, rodando localmente com aceleração nativa em Metal para o processamento de prompts, arquivos e conversas, tudo em SwiftUI.

Nos testes de benchmark disponibilizados no site do projeto (realizados em um Mac Pro com uma placa Radeon RX 6700 XT, um processador Core i5-10400 e 32GB de memória), o Llama 3.2 1B (Q4_K_M) alcançou 250 tokens por segundo na geração e 2.994 tokens por segundo no processamento de comandos.

O programa é compatível, além do Llama, com os modelos Gemma, gpt-oss, GLM, Mistral 7B, DeepSeek Coder e outros modelos de formato unificado de geração (GPT Generated Unified Format, ou GGUF). Uma build de desenvolvimento já testa a implementação do Qwen-Image 2.1, que gera imagens com texto legível e permite edições a partir de imagens de referência utilizando hardware AMD.

O ToshLLM requer o macOS Sonoma 14 ou superior e um Mac Intel com GPU da AMD, podendo ser baixado gratuitamente na página oficial do aplicativo no GitHub.

via AppleInsider

Notas de rodapé

• 1
  Graphics processing units, ou unidades de processamento gráfico.