Mensagem do Gate News, 27 de abril — Logan Kilpatrick, gestor sénior de produto na Google DeepMind e responsável de produto para o Google AI Studio, declarou no X que todas as empresas que criam produtos baseados em IA devem estabelecer os seus próprios benchmarks personalizados para medir o desempenho dos modelos de IA. Ele descreveu isto como um método para fazer com que as melhorias do modelo “beneficiem desproporcionadamente a sua empresa” e instou os fundadores e líderes empresariais a “começar amanhã.”
A maioria das empresas atualmente depende de quadros de liderança públicos para selecionar modelos de IA, mas estes medem capacidades gerais que muitas vezes não se alinham com cenários empresariais específicos. Kilpatrick citou o exemplo de uma empresa de revisão de contratos cuja principal preocupação é a precisão da extração de cláusulas — uma capacidade que não existe nos benchmarks públicos, tornando impossível avaliar o desempenho do modelo nessa tarefa. Os benchmarks personalizados oferecem duas vantagens principais: primeiro, permitem que as empresas avaliem cada atualização do modelo face às suas próprias tarefas de negócio e selecionem o modelo que melhor funciona no seu caso de uso real, em vez do modelo com melhor classificação no geral; segundo, permitem que as empresas partilhem estes conjuntos de testes com os fornecedores de modelos, impulsionando a otimização contínua nas áreas que importam para o seu negócio.
Kilpatrick referiu que empresas como a Zapier e a Sierra já estão a implementar esta abordagem, afirmando que “há muito alpha que pode ser criado aqui.”
Isenção de responsabilidade: As informações contidas nesta página podem ser provenientes de terceiros e não representam os pontos de vista ou opiniões da Gate. O conteúdo apresentado nesta página é apenas para referência e não constitui qualquer aconselhamento financeiro, de investimento ou jurídico. A Gate não garante a exatidão ou o carácter exaustivo das informações e não poderá ser responsabilizada por quaisquer perdas resultantes da utilização destas informações. Os investimentos em ativos virtuais implicam riscos elevados e estão sujeitos a uma volatilidade de preços significativa. Pode perder todo o seu capital investido. Compreenda plenamente os riscos relevantes e tome decisões prudentes com base na sua própria situação financeira e tolerância ao risco. Para mais informações, consulte a
Isenção de responsabilidade.
Related Articles
Legisladores do Colorado propõem uma substituição da lei de IA para dar resposta às preocupações da indústria
Os legisladores do estado do Colorado estão a avançar no sentido de revogar e substituir a lei de inteligência artificial do estado para 2024, SB24-205, por novas regras que reduzem o âmbito da regulação da IA, ao mesmo tempo que respondem às preocupações da indústria quanto aos encargos de conformidade. A nova proposta, SB26-189, passaria a regulamentar os sistemas de IA utilizados em
CryptoFrontier1h atrás
R0AR Avança para a Ronda Final do Consensus 2026 PitchFest, falhando por pouco o Top 20
De acordo com a MetaversePost, R0AR avançou para a ronda final de seleção do CoinDesk's Consensus 2026 PitchFest a 4 de maio, falhando por pouco a entrada no top 20 das startups escolhidas para apresentações ao vivo. O inovador em Web3 e IA foi avaliado juntamente com startups de elevado potencial em todo o mundo num dos m
GateNews5h atrás
Musk Procura um Acordo de 150 mil milhões de dólares com a OpenAI antes do julgamento, as negociações falham
De acordo com um documento judicial, Elon Musk contactou o presidente da OpenAI, Greg Brockman, a 26 de abril, dois dias antes de o seu julgamento começar no tribunal federal de Oakland, para explorar um acordo de resolução do litígio. Quando Brockman sugeriu que ambas as partes desistissem das suas alegações, Musk respondeu com ameaças, dizendo a Brockman: «Até ao fim»
GateNews5h atrás
O Cursor aceita a proposta de aquisição da SpaceX de 60 mil milhões de dólares, mas não vai fazer parceria com a xAI em modelos de programação
Segundo a The Information, a Cursor aceitou uma oferta de aquisição condicional de 60 mil milhões de dólares da SpaceX, embora o acordo ainda não tenha sido finalizado. A empresa, neste momento, não tem planos para colaborar com a unidade de IA da SpaceX, xAI, no desenvolvimento de modelos de código. Em vez disso, a Cursor está focada em optimizá-lo
GateNews6h atrás
A Haun Ventures encerra um fundo de 1 mil milhões de dólares a 4 de maio, dividindo o capital entre investimentos cripto em fase inicial e em fase tardia
Segundo a Bloomberg, a Haun Ventures concluiu uma ronda de angariação de 1 mil milhões de dólares a 4 de maio, com 500 milhões de dólares destinados a investimentos em fase inicial e 500 milhões de dólares a investimentos em fase tardia. O fundo irá alocar capital nos próximos dois a três anos, com foco em startups de criptomoedas e de blockchain, enquanto expande
GateNews6h atrás
A OpenAI angaria $4 mil milhões para um empreendimento conjunto de implementação, no valor de 10 mil milhões de dólares
De acordo com a BlockBeats, a 4 de maio, a OpenAI levantou mais de $4 mil milhões para estabelecer uma nova joint venture focada em ajudar as empresas a adotar o seu software de inteligência artificial. A venture, chamada The Deployment Company, conta com o apoio de 19 investidores, incluindo TPG Inc., Brookfield Asset Management,
GateNews7h atrás
