Neste projeto, compartilharei o passo a passo de um projeto de processamento de dados em lote que utilizei em meu portfolio. O objetivo era transformar um arquivo JSON em um banco SQLite, utilizando PySpark e Docker. 1. Configurando o ambiente…
O Aprendizado de Máquina (Machine Learning, em inglês) representa um subcampo da Inteligência Artificial que capacita máquinas a aprenderem com dados, substituindo a programação explícita. Em síntese, os algoritmos de aprendizado de máquina permitem que sistemas realizem previsões ou tomem…
Realidade virtual e realidade aumentada não são nenhuma novidade em 2024, mas a apple parece ter acertado a mão no lançamento de seu novo produto, o Apple Vision Pro. Para traçar um breve panorama desse cenário, um dos primeiros desenvolvimentos…
MinIO é um armazenamento de objetos de alto desempenho compatível com S3. Ele é projetado para cargas de trabalho de inteligência artificial/aprendizado de máquina em grande escala, data lakes e bancos de dados. É definido por software e pode ser…
Este artigo explora a implementação prática da integração entre DevOps e Infraestrutura como Código (IaC), com foco na automação da infraestrutura AWS EC2 utilizando a ferramenta Terraform. Destaco aqui a importância da IaC, tratando a infraestrutura como código de software…
Este artigo extenso tem o objetivo de cobrir especificamente a parte da teoria e práticas das etapas de construção de hipóteses e validação estatística de testes A A implementação dos testes e ferramentas necessárias para realização dos testes não serão…
Clustering, também conhecido como agrupamento, refere-se à aplicação de técnicas de machine learning destinadas a dividir um conjunto de dados em diversos clusters ou grupos distintos, tendo como critério principal a semelhança entre os dados. Em contraste com algoritmos de…
Essa pirâmide ilustrada originalmente por Monica Rogati representa a estrutura hierárquica das necessidades fundamentais em Data Science. Embora tenha sido desenhada em 2017, seu significado permanece cada vez mais relevante nos dias atuais. Esta visão contempla 6 camadas de aplicações…
Atualmente a maior parte dos processos seletivos das empresas (principalmente no setor de tecnologia) utiliza algum software para conduzir os processos e coletar feedbacks dos candidatos com a finalidade de entender quais foram as possíveis falhas e a partir disso…
A atividade em torno da construção de aplicativos sofisticados em cima de LLMs (Large Language Models) comoChatGPT está crescendo mais a cada dia… Muitos desses aplicativos são potencialmente vulneráveis à Prompt Injection (Injeção de prompts). Prompt injection, refere-se a uma…