A Microsoft disponibiliza em open-source o modelo Phi-Ground 4B, com desempenho superior ao do OpenAI Operator e do Claude na precisão de cliques no ecrã

Segundo a Beating, a Microsoft lançou recentemente de forma open-source a família de modelos Phi-Ground, concebida para resolver o problema de onde a IA deve clicar num ecrã de computador. A versão com 4 mil milhões de parâmetros, emparelhada com modelos de linguagem maiores para planeamento de instruções, superou a precisão de cliques do OpenAI Operator e do Claude Computer Use no benchmark Showdown e ficou em primeiro lugar entre todos os modelos com menos de 100 mil milhões de parâmetros, em cinco avaliações, incluindo ScreenSpot-Pro.

A equipa treinou com mais de 40 milhões de amostras de dados e descobriu que três técnicas de treino comuns utilizadas em artigos académicos deixaram de ser eficazes à escala. A abordagem principal revelou-se simples: gerar coordenadas como números regulares, como “523, 417”. Pesquisas anteriores inventaram vocabulários de posições especializados para coordenadas, mas isso não escalou. A equipa também descobriu que colocar instruções de texto antes das imagens melhorou o desempenho, já que os modelos podiam identificar alvos ao processar os pixéis. Além disso, métodos de aprendizagem por reforço como DPO melhoraram a precisão mesmo após afinação (fine-tuning).