A Meta revelou hoje o Llama 3.3, um LLM multilíngue para redefinir o papel da IA ​​na geração de dados sintéticos. Apresentando 70 bilhões de parâmetros, o Llama 3.3 tem o mesmo desempenho que o modelo 405B anterior, mas otimizado para eficiência e acessibilidade.

Sua produção multilíngue oferece suporte a diversos idiomas, incluindo hindi, português e tailandês, capacitando desenvolvedores em todo o mundo a criar conjuntos de dados personalizados para modelos especializados de IA.

“À medida que continuamos a explorar novas técnicas pós-treinamento, hoje estamos lançando o Llama 3.3 — um novo modelo de código aberto que oferece desempenho e qualidade líderes em casos de uso baseados em texto, como geração de dados sintéticos, por uma fração do custo de inferência, ” compartilhou Meta, no X.

Alimenta a geração de dados sintéticos

Os desenvolvedores agora podem usar seu contexto expandido de 128 mil tokens para produzir conjuntos de dados vastos e de alta qualidade, enfrentando desafios como restrições de privacidade e restrições de recursos.

O chefe de IA da Meta, Yann LeCun, disse anteriormente que esta capacidade permite a inovação em linguagens de poucos recursos, um sentimento ecoado pelo empresário indiano Nandan Nilekani. “A Índia deve se concentrar na construção rápida de modelos pequenos e específicos para casos de uso”, disse Nilekani, destacando o papel fundamental do Llama na geração de dados de treinamento personalizados para modelos de idioma índico.

O sucesso de tais abordagens é evidente em projetos como o Sarvam 2B da Sarvam AI, que supera modelos maiores em tarefas índicas ao utilizar dados sintéticos gerados com Llama.

Hamid Shojanazeri, engenheiro de ML da Meta, disse que a geração de dados sintéticos resolve gargalos críticos em domínios onde a coleta de conjuntos de dados do mundo real é muito cara ou inviável. “Os dados sintéticos são vitais para o avanço da IA ​​em áreas sensíveis à privacidade ou em linguagens com poucos recursos”, acrescentou. Com seu ajuste RLHF e ajuste fino supervisionado, o Llama 3.3 produz conjuntos de dados alinhados a instruções para tarefas que exigem alta precisão.

Startups indianas como Sarvam AI e Ola Krutrim já colheram os benefícios das capacidades do Llama. O modelo 2B da Sarvam AI treinado em 2 trilhões de tokens índicos sintéticos demonstra como esses dados podem treinar com eficiência modelos menores e desenvolvidos especificamente, mantendo o alto desempenho.

“Se você olhar para os 100 bilhões de tokens em idiomas indianos, usamos um método inteligente para criar dados sintéticos para construir esses modelos usando o Llama 3.1 405B. Treinamos o modelo em 1.024 NVIDIA H100s na Índia e levou apenas 15 dias”, disse o chefe da Sarvam AI, Vivek Raghavan, em entrevista ao MIRAR.

Da mesma forma, o suporte multilíngue e a escalabilidade do Llama 3.3 o tornam indispensável para reduzir a divisão de dados em idiomas sub-representados.

A capacidade do Llama 3.3 de suportar a geração de dados sintéticos vai além de casos de uso de nicho, promovendo uma adoção mais ampla entre desenvolvedores, educadores e empresas. “Ao reduzir o custo de produção de dados de treinamento de alta qualidade, o Llama acelera a inovação globalmente”, disse Ahmad Al-Dahle, vice-presidente de IA generativa da Meta.

À medida que as especulações sobre o GPT-4.5 se intensificam, o Llama 3.3 interveio de forma decisiva para atender às necessidades imediatas dos desenvolvedores. Com sua abordagem revolucionária para geração de dados sintéticos e economia, fica claro que o Llama 3.3 não está apenas preenchendo uma lacuna – está estabelecendo um novo padrão.

“Meu custo de dados sintéticos cai 30 vezes”, disse Pratik Desai, cofundador da KissanAI, no X.

Preparando as bases para o Llama 4

O lançamento do Llama 3.3 se encaixa perfeitamente na estratégia de IA de longo prazo da Meta. Como Zuckerberg revelou durante a teleconferência de resultados do terceiro trimestre da Meta, o próximo Llama 4, previsto para o início de 2025, apresentará “novas modalidades, raciocínio mais forte e capacidades muito mais rápidas”. Isto sugere que os recursos de geração de dados sintéticos refinados no Llama 3.3 poderiam se tornar ainda mais robustos em iterações futuras.

O vice-presidente da Meta, Ragavan Srinivasan, recentemente sugeriu avanços em “aplicativos baseados em memória para codificação e suporte de modalidade cruzada” para futuros modelos Llama. A estrutura robusta estabelecida pelas capacidades de dados sintéticos do Llama 3.3 poderia ser parte integrante desses desenvolvimentos. Ao permitir que os desenvolvedores produzam conjuntos de dados de treinamento específicos de domínios, a Meta se posiciona como um facilitador crítico da inovação nos setores público e privado.

As versões futuras do Llama provavelmente suportarão uma gama ainda mais ampla de linguagens e casos de uso especializados. À medida que a geração de dados sintéticos se torna fundamental para o desenvolvimento da IA, ferramentas como o Llama Guard 3 e métodos aprimorados de tokenização garantirão um uso seguro e responsável.

Para países como a Índia, onde a criação de dados em línguas regionais é crítica, oferece um caminho acessível para o desenvolvimento de soluções de IA culturalmente relevantes.

Globalmente, como Mark Zuckerberg mencionou, o data center de próxima geração da Meta em Louisiana promete impulsionar avanços de IA ainda mais ambiciosos: “Estamos nisso a longo prazo, comprometidos em construir a IA mais avançada do mundo”.