Fiz um app de NPL sozinho!

Há pelo menos um ano e meio venho me aventurando em algo que realmente me empolga. Consegui criar um app funcional em Python para análise de sentimento de marca e processamento de linguagem natural. A ideia inicial era desenvolver um hub completo de mineração e processamento, mas logo percebi que o buraco era bem mais embaixo. Nem toda rede social facilita a vida de quem quer brincar e testar.

Interface do Visal Code com o código

Muitas não oferecem APIs de livre acesso, e foi aí que perdi boas horas encarando avisos de acesso negado 🙄, até finalmente entender, depois de estudar mais a fundo, que aquelas portas estavam bem trancadas pra mim kkk. O tio Mark adora usar os dados que a gente fornece pra treinar suas IAs, mas deixar a gente acessar? Nem pensar, né? Isso já é pedir MUITO.

Com milhares de soluções caríssimas, todas em dólar, o brasileiro aqui precisava correr atrás do próprio caminho e descobrir como fazer, do seu jeito, aquilo que a gringa vende por valores astronômicos. Tudo na base da experimentação. No primeiro momento, lá pelo começo de 2025, eu simplesmente jogava alguns textos de comentários direto no ChatGPT pra analisar sentimento.

Script de inicialização do app em Python

Era algo bem simplista, quase rudimentar. Eu não entendia por que o Chat não conseguia identificar tão bem os textos e as interações, sendo que ele compreendia perfeitamente minhas solicitações do dia a dia. Até cair a ficha. O algoritmo era fraco pra isso, não avaliava tudo, pulava linhas e, no fim, fazia como bem queria. Zero confiança. À medida que fui aprendendo, e aqui faço questão de destacar, SOZINHO, esse processo foi ficando cada vez mais divertido.

Comecei a mergulhar nos scripts, entender os diferentes métodos de PLN, como VADER, BERTimbau e IBM Watson. Tudo isso pode ser grego pra muita gente, assim como foi pra mim no começo hahaha. Foi aí que entendi que eu mesmo poderia criar a solução que precisava para a minha demanda do dia a dia. Então fui aprender a usar o VS Code, Python, scripts, bibliotecas prontas e voilá. No início dessa evolução, todo o código ficava num único arquivo.

Resolvia uma coisa e quebrava outra, aí você já imagina o caos. Com o tempo, fui criando noção de organização, aprendendo a dividir melhor o projeto, fragmentar motores de processamento, interface e persistência de configuração. O negócio ficou tão evoluído que cheguei até a implementar aceleração de hardware. Não é por nada não, mas fiquei orgulhoso viu 😅.

Interface atual do app de NPL

Nem toda rede social é amigável pra mineração de dados, mas o YouTube é um ótimo parceiro nesse assunto. A API é bem tranquila de usar e permite extrair uma quantidade enorme de comentários. Às vezes faço a análise localmente, mas minha maior dificuldade ainda é o algoritmo entender emojis e contar com um modelo realmente bem treinado para o português do Brasil.

De vez em quando testo o IBM Watson, e até que eles liberam um volume bem razoável de processamento. Enfim, a grande lição desse texto é simples. Bora fazer o que empolga, o que dá brilho no olho, sempre.