Avaliação Comparativa de LLMs e Profissionais Humanos no Direito Marcário Brasileiro: Um Experimento Controlado com Engenharia de Prompt e Curadoria Especialista Independente
Inteligência Artificial; LLMs; Direito Marcário; INPI; Engenharia de Prompt; Curadoria Especialista; Propriedade Intelectual.
Esta dissertação investiga comparativamente o desempenho de Modelos de Linguagem de Grande Escala (LLMs) e de profissionais humanos especializados na resolução de questões práticas de Direito Marcário brasileiro, com foco na aplicação normativa perante o Instituto Nacional da Propriedade Industrial (INPI). O estudo tem por objetivo avaliar, em ambiente experimental controlado, o grau de acurácia técnico-jurídica, consistência argumentativa e confiabilidade das respostas produzidas por ambos os grupos, a partir do uso de Engenharia de Prompt e de curadoria especialista independente.
A pesquisa adota abordagem aplicada, descritivo-comparativa e quali-quantitativa, estruturada a partir de experimento controlado em que profissionais humanos e diferentes arquiteturas de LLMs foram submetidos ao mesmo conjunto padronizado de questões práticas de Direito Marcário. A análise das respostas foi realizada mediante instrumentos próprios de avaliação, voltados à mensuração da convergência técnico-jurídica, da conformidade normativa e da rastreabilidade metodológica, com validação por especialista independente.
Os resultados demonstram que modelos generalistas de IA apresentaram desempenho superior na aplicação abstrata e sistemática de normas consolidadas, especialmente na identificação de impedimentos legais e inconsistências procedimentais. Por outro lado, foram observadas limitações relevantes, notadamente a ocorrência de alucinação normativa e a incapacidade de reproduzir, com a mesma precisão, a diligência investigativa humana na busca por precedentes administrativos concretos do INPI.
Conclui-se que os achados sustentam um modelo colaborativo entre Inteligência Artificial e expertise humana, no qual os LLMs se mostram eficientes como instrumentos de auditoria normativa e apoio decisório, permanecendo o profissional humano essencial para a validação contextual, a busca de precedentes reais e a definição da estratégia jurídica.