\n
\n<\/div>\n
\n Ao longo do texto eu vou te explicar mais sobre a \n diferen\u00e7a entre o engenheiro de dados, analista de dados e cientista de dados, mostrar os motivos pelos quais, toda empresa, vai precisar de um setor de Data Science no futuro <\/strong>\n
\n
\n<\/div>\n
\n
\n<\/div>\n
\n Al\u00e9m disso, voc\u00ea vai aprender as melhores maneiras de como aprender Data Science e outras sub-\u00e1reas importantes desse amplo campo do conhecimento, como Decision Science, Machine Learning e mais!\n
\n
\n<\/div>\n
\n
\n<\/div>\n
\n B\u00f3ra juntos nessa aventura? Ent\u00e3o vem comigo!\n<\/div>\nAfinal, o que \u00e9 um Data Scientist? <\/h2>\n
Afinal, o que \u00e9 um Data Scientist? <\/h2>\n\n Existem diferentes cargos na \u00e1rea de an\u00e1lise de dados, os principais s\u00e3o engenheiro de dados, analista de dados e cientista de dados. \n
\n
\n<\/div>\n\n Ainda n\u00e3o t\u00e1 clara a diferen\u00e7as entre eles na pr\u00e1tica? Saca s\u00f3:\n<\/div>\n\n
\n<\/div>\nEngenheiro de Dados \u2699 \u200d\u2640\ufe0f <\/h3>\n\n Entre as principais atividades que esse profissional executa, est\u00e1 \n a coleta de dados e o tratamento das informa\u00e7\u00f5es e limpeza de dados.
<\/strong>\n
\n<\/div>\n\n Cada intera\u00e7\u00e3o de um usu\u00e1rio gera um novo pixel de informa\u00e7\u00e3o e as empresas entenderam a import\u00e2ncia de analisar o m\u00e1ximo de dados poss\u00edveis, para obter vantagem competitiva, afinal de contas, conhecimento \u00e9 poder. Hoje vivemos na Era da Informa\u00e7\u00e3o e gerados enormes volumes de dados diariamente, e assim, foi cunhado o conceito de Big Data.\n<\/div>\n\n
\n<\/div>\nBig Data <\/h3>\n\n Big Data nada mais \u00e9 que o processamento, limpeza, tratamento, e an\u00e1lise de grandes quantidades de dados e grandes variedades de dados, com a utiliza\u00e7\u00e3o de poder computacional.\n
\n
\u00c9 dito que o Big Data tem 5 V's:\n
\n
\n<\/div>\n\n - Volume<\/li>\n
- Variedade<\/li>\n
- Velocidade<\/li>\n
- Veracidade<\/li>\n
- Valor<\/li>\n<\/ol>\n\n O ponto ao redor do Big Data \u00e9 ter mais informa\u00e7\u00f5es e ter informa\u00e7\u00f5es mais rapidamente, como uma vantagem competitiva de neg\u00f3cio.\n
\n
\n<\/div>\n\n Essa \u00e9 a responsabilidade do engenheiro de dados, garimpar as informa\u00e7\u00f5es necess\u00e1rias para que elas sejam tratadas e permitir que as an\u00e1lises de dados sejam mais claras.\n
\n
\n<\/div>\n\n Ele faz isso por meio do ETL <\/strong>(Extract , Transform and Load), tamb\u00e9m conhecido como ETC (Extrair, Transformar, Carregar) em portugu\u00eas. \n
\n
Imagine que um cliente passe um banco de dados com as informa\u00e7\u00f5es de um grupo de clientes espec\u00edficos de seu e-commerce. \n
\n
\n<\/div>\n\n Neste banco de dados podem existir informa\u00e7\u00f5es faltantes, podem haver valores de dados armazenados que n\u00e3o fazem sentido, como por exemplo: \"-99, -999, ?, #$%@\" .\n
\n
O papel do engenheiro de dados, vai variar de acordo com a empresa e seu n\u00edvel de maturidade em Ci\u00eancia de Dados, mas normalmente o engenheiro de dados, fica respons\u00e1vel pelos processos de ETL.\n<\/div>\n\n
\n<\/div>\nExtract <\/h3>\n\n O Engenheiro de Dados pode extrair seus dados de diversas fontes diferentes, algumas das principais delas s\u00e3o:\n
\n
\n<\/div>\n\n - Bancos de Dados (SQL ou NoSQL)<\/li>\n
- Web Scraping<\/li>\n
- APIs<\/li>\n<\/ul>\n
Transform <\/h3>\n\n Aqui o engenheiro de dados deve limpar o dataset atrav\u00e9s de pr\u00e1ticas como \n enconding<\/strong>, adicionando valores faltantes atrav\u00e9s de m\u00e9todos de input ou tamb\u00e9m retirando dados em branco, dados n\u00e3o-relevantes para as an\u00e1lises e substituindo valores que foram armazenados de forma incorreta para deixar o banco otimizado para a an\u00e1lise poder ser bem feita, e serem carregados em ferramentas de visualiza\u00e7\u00e3o. \n
\n
\n<\/div>\n\n Ou seja, no banco de dados recebidos a primeira etapa ser\u00e1 de extra\u00e7\u00e3o das informa\u00e7\u00f5es onde o engenheiro de dados far\u00e1 a comunica\u00e7\u00e3o daqueles informa\u00e7\u00f5es com outros sistemas a fim de capturar os dados que devem ser inseridos. Muitas vezes seu papel pode ser automatizar a comunica\u00e7\u00e3o de dados entre dois sistemas diferentes.\n<\/div>\n\n
\n<\/div>\nLoad \u23e9<\/h3>\n\n Por fim, uma vez com os dados limpos e tratados, ele deve prepar\u00e1-los para a etapa de carregamento, onde profissional deve ajustar as ferramentas de visualiza\u00e7\u00e3o para que o analista ou outros profissionais de Data Science possam cruzar os dados e realizar suas respectivas an\u00e1lises\n
\n
\n<\/div>\n\n O engenheiro de dados \n deixa tudo automatizado para que haja o m\u00ednimo de interfer\u00eancia humana<\/strong> e o pr\u00f3prio sistema tenha a capacidade de entregar a informa\u00e7\u00e3o certa. Uma boa pr\u00e1tica de carregamento de dados automatizados \u00e9 o Data Streaming, onde a visualiza\u00e7\u00e3o de dados, j\u00e1 pr\u00e9-configurada para determinadas an\u00e1lises, \u00e9 carregada em tempo-real e atualizada a todo momento, no per\u00edodo de tempo escolhido.\n<\/div>\n\n
\n<\/div>\nAnalista de Dados <\/h3>\n\n Depois que o engenheiro cuida dos dados por meio do ETL, o analista j\u00e1 receber\u00e1 essas informa\u00e7\u00f5es tratadas e deve se preocupar em \n cruzar os dados<\/strong>, \n analis\u00e1-los<\/strong>, construir gr\u00e1ficos e pranchetas de visualiza\u00e7\u00e3o das informa\u00e7\u00f5es como foco no aux\u00edlio da tomada de decis\u00e3o tendo uma vis\u00e3o de neg\u00f3cio. \n
\n
\n<\/div>\n\n Ou seja, ele precisa entender o que os dados querem dizer no contexto pr\u00e1tico da coisa. Ele recebe o conjunto de dados prontinho para ser analisado, e \u00e9 importante o Analista ter o conhecimento de neg\u00f3cio e de mercado, para se fazer as perguntas certas, do que deve ser descoberto. Aqui \u00e9 importante usar a metodologia cient\u00edfica e realizar a formula\u00e7\u00e3o de hip\u00f3teses do que se deseja desvendar. \n
\n
\n<\/div>\n\n Este profissional deve construir uma interface onde essas informa\u00e7\u00f5es possam ser vistas e acessadas facilmente. O Analista de Dados ou Analista de Neg\u00f3cio tem a fun\u00e7\u00e3o de dar contexto aos dados e entender o que eles significam na realidade da empresa, para otimizar seus processos, produtos, melhorando efici\u00eancia, e eventualmente com objetivos tamb\u00e9m de neg\u00f3cio, como aumento de receita ou de lucro.\n<\/div>\n\n
\n<\/div>\nCientista de Dados \u200d \u200d <\/h3>\n\n J\u00e1 o Data Scientist deve ter a capacidade de entender isso tudo e um pouco mais. Por mais que o Cientista de Dados, n\u00e3o precisa saber executar todas essas etapas pr\u00e9vias, \u00e9 importante que ele entenda o contexto geral do fluxo de dados dentro da empresa e ter a vis\u00e3o do \"macro\", ou do todo. \n
\n
\n<\/div>\n\n Se o analista de dados est\u00e1 para o passado, o Cientista de Dados est\u00e1 para o futuro. Seu foco \u00e9 \n fazer previs\u00f5es baseado em modelos matem\u00e1ticos robustos e estat\u00edstica, encontrando padr\u00f5es entre os dados e utilizando de tecnologias como aprendizagem de m\u00e1quina.
<\/strong>\n
\n<\/div>\n\n Uma das possibilidades aqui, e dada como uma das mais glamurosas dentro de ci\u00eancia de dados \u00e9 a cria\u00e7\u00e3o e aperfei\u00e7oamento de algoritmos que automatizam tomadas de decis\u00f5es do neg\u00f3cio. \n
\n
Um grande exemplo \u00e9 o algoritmo de recomenda\u00e7\u00e3o de filmes na Netflix, que utiliza de tecnologias de agrupamento ou \n data clustering<\/em> mas compreender como um conjunto de dados se divide em sub-grupos de comportamento ou prefer\u00eancias por gostos cinematogr\u00e1ficos e encontra usu\u00e1rios com gostos e comportamentos semelhantes dentro da plataforma, cruzando os dados, de filmes que voc\u00ea e um usu\u00e1rio em comum com voc\u00ea assistiram, e te recomenda algum filme que voc\u00ea n\u00e3o viu e que seu \"clone\" n\u00e3o assistiu ainda e vice-versa.\n
\n
O mesmo funciona para Spotify, Tinder e praticamente todas as grandes plataformas de tecnologia utilizam dessas tecnologias, mas de diferentes formas e com diferentes objetivos.\n
\n
\n<\/div>\n\n Um Cientista de Dados precisa lidar com gigantescos volumes de dados em tempo real, com isso vem a necessidade de criar mecanismos que suportem essa concentra\u00e7\u00e3o de informa\u00e7\u00f5es e ao mesmo tempo fa\u00e7a o tratamento e apresenta\u00e7\u00e3o dos mesmos. \n
\n
\n<\/div>\nPor que empresas precisam de Data Scientists? Data is the new Oil \ufe0f <\/h2>\n\n As empresas modernas s\u00e3o cada vez mais digitais. Como j\u00e1 disse, no mundo virtual, cada a\u00e7\u00e3o que fazemos \n gera uma nova informa\u00e7\u00e3o<\/strong>. \n
\n
\n<\/div>\n\n Agora imagine uma loja virtual no porte do Magazine Luiza que deve receber milhares de visitas e compras mensais. Imagine que cada clique, cada rolagem de p\u00e1gina e at\u00e9 o tempo que voc\u00ea permanece em cada se\u00e7\u00e3o \u00e9 um dado diferente. \n
\n
\n<\/div>\n\n Todos n\u00f3s geramos um volume de dados muito grande. Esses dados podem ser divididos entre dados estruturados e n\u00e3o-estruturados:\n<\/div>\n\n
\n<\/div>\nDados estruturados <\/h3>\n\n S\u00e3o aqueles que possuem um padr\u00e3o pr\u00e9 definido. Utilizam uma estrutura bem r\u00edgida e geralmente s\u00e3o criados antes do surgimento das informa\u00e7\u00f5es.\n
\n
\n<\/div>\n\n Eles geralmente s\u00e3o criados em ferramentas de tecnologia anal\u00edticas como o excel, por exemplo. \n
\n
\n<\/div>\n\n Essa estrutura \u00e9 bem definida pois, se voc\u00ea cria a regra de que um campo deve aceitar apenas n\u00fameros, n\u00e3o ser\u00e1 poss\u00edvel adicionar uma v\u00edrgula ou uma letra.\n
\n
\n<\/div>\n\n Um exemplo de dados estruturados s\u00e3o dados armazenados em SQL, ou Structured Query Language, que nada mais s\u00e3o que tabelas de chave-valor, como as planilhas de excel, mas dessa vez, em um banco de dados din\u00e2mico, como o MySQL ou Postgres. Para cada chave existe um valor. Assim como um jogo de Batalha Naval!\n
\n
\n<\/div>\nDados n\u00e3o-estruturados <\/h3>\n\n Diferente dos dados estruturados, os n\u00e3o estruturados n\u00e3o seguem padr\u00f5es r\u00edgidos, sendo bem flex\u00edveis e din\u00e2micos.\n
\n
\n<\/div>\n\n Esse tipo de informa\u00e7\u00e3o \u00e9 uma das mais produzidas no mundo virtual justamente por sua facilidade de mudan\u00e7a e aceite de diferentes caracteres. \n
\n
\n<\/div>\n\n Um exemplo disso s\u00e3o os dados gerados nas redes sociais. Diante de tanta informa\u00e7\u00e3o que \u00e9 produzida a cada segundo por meio da publica\u00e7\u00e3o de fotos, v\u00eddeos e textos, limita-las numa estrutura fixa n\u00e3o seria eficaz. \n<\/div>\n\n
\n<\/div>\n\n Um exemplo de dados n\u00e3o-estruturados s\u00e3o todos os tweets gerados diariamente, que s\u00e3o informa\u00e7\u00f5es n\u00e3o organizadas, mas que podem conter um valor importante para compreender cen\u00e1rios. Neste caso, por exemplo uma pr\u00e1tica realizada por empresas, como o monitoramento de redes sociais, servem para fazer an\u00e1lise de sentimentos dos usu\u00e1rios com base no que \u00e9 dito por cada um.\n
\n
\n<\/div>\n\n Assim o papel de um Data Scientist se faz cada vez mais importante e n\u00e3o \u00e9 atoa que a demanda por esse profissional cresceu tanto nos \u00faltimos anos. \n
\n
\n<\/div>\n\n As empresas perceberam que dados podem ser convertidos em informa\u00e7\u00e3o,\n quem tem informa\u00e7\u00e3o, tem poder e quem tem poder tem vantagem competitiva no mercado<\/strong>. \n
\n
\n<\/div>\n\n Por isso, uma pessoa que deseja aprender Data Science tem uma grande oportunidade de carreira. Entre as principais formas de como os profissionais contribuem para o crescimento das institui\u00e7\u00f5es \u00e9 poss\u00edvel citar:\n<\/div>\n\n
\n<\/div>\nOtimiza\u00e7\u00e3o para Tomada de Decis\u00f5es <\/h3>\n\n Os dados n\u00e3o mentem. As empresas est\u00e3o construindo cada vez mais uma cultura orientada por dados, ou \n data-driven, <\/em>e junto com isso, vemos cada vez mais a utiliza\u00e7\u00e3o de estat\u00edstica, matem\u00e1tica e metodologia ci\u00eant\u00edfica na an\u00e1lise de dados para tomar decis\u00f5es, principalmente em empresas de tecnologia, que t\u00eam mais dados dispon\u00edveis para serem analisados, infra-estrutura e tecnologia para viabilizar essas an\u00e1lises e a capacidade de tranquear estes dados, devido aos seus produtos e modelo de neg\u00f3cio.\n
\n
\n<\/div>\n\n Observando essas a\u00e7\u00f5es os Cientistas de Dados s\u00e3o capazes de construir hip\u00f3teses e valida\u00e7\u00f5es \n bem embasados que influenciam o caminho no qual o neg\u00f3cio ir\u00e1 seguir, tanto num n\u00edvel t\u00e1tico quanto estrat\u00e9gico.<\/strong> \u00c9 por isso que Data Science \u00e9 um setor estrat\u00e9gico, pr\u00f3ximo de um n\u00edvel alto de hierarquia na companhia, e sempre bem acompanhado de demandas de Diretores e os C-levels da empresa.\n<\/div>\n\n
\n<\/div>\nOtimiza\u00e7\u00e3o de Processos<\/h3>\n\n Imagine que uma empresa de log\u00edstica, que possui uma frota de caminh\u00f5es gigante e tamb\u00e9m centenas de pedidos para serem entregues todos os dias. Tra\u00e7ar as rotas manualmente e estimar o tempo gasto nas entregas seria algo impens\u00e1vel de se fazer.\n
\n
\n<\/div>\n\n Data Science pode otimizar os processos de log\u00edstica, tornando-os mais eficientes, o que pode significar economia de tempo e dinheiro. Nesse exemplo, um Cientista de Dados pode construir um algoritmo capaz de coletar dados fornecidos por um GPS (como informa\u00e7\u00f5es meteorol\u00f3gicas, situa\u00e7\u00e3o do tr\u00e2nsito em tempo real e at\u00e9 mesmo tipos de estrada se \u00e9 asfaltada ou n\u00e3o) para prever as melhores rotas e estimar o tempo de entrega de cada produto. Al\u00e9m disso, pode tamb\u00e9m, realizar an\u00e1lises de demanda, entrada e sa\u00edda de estoque para prever em quanto tempo ir\u00e1 falta determinado produto, e quando e em qual quantidade deve compr\u00e1-lo.\n
\n
\n<\/div>\n\n Assim, por meio dessas informa\u00e7\u00f5es, \n as empresas podem maximizar as opera\u00e7\u00f5es no setor<\/strong>, passar uma previs\u00e3o de entrega mais assertiva para o comprador, diminuir os desgastes na frota de caminh\u00f5es e com isso, reduzir os gastos com imprevistos que possam ocorrer. \n
\n
Indo al\u00e9m, um Cientista de Dados pode aplicar os conceitos de Machine Learning (aprendizado de m\u00e1quina) para que o algoritmo aprenda os melhores caminhos a se fazer, trabalhando de forma autom\u00e1tica. \n<\/div>\n\n
\n<\/div>\nOtimiza\u00e7\u00e3o de Produtos: Usando feedback de comportamento dos usu\u00e1rios<\/h3>\n\n Voc\u00ea j\u00e1 deve saber que, ao construir uma empresa, voc\u00ea n\u00e3o pode criar uma solu\u00e7\u00e3o para voc\u00ea e sim para o seu p\u00fablico, resolvendo alguma dor de mercado, comprovada pela reafirma\u00e7\u00e3o de demanda pelo seu produto ou servi\u00e7o.\n
\n
\n<\/div>\n\n \u00c9 dito que produtos digitais, nunca est\u00e3o prontos, ou terminados. Isso \u00e9 dito, por que os produtos precisam ser atualizados, e essa atualiza\u00e7\u00e3o, \u00e9 feita com base na an\u00e1lise de comportamentos dos usu\u00e1rios, para gradativamente, adaptarmos o produto digital, otimizando a experi\u00eancia do usu\u00e1rio e compreender o que \u00e9 de maior valor para os cleintes. \n Atrav\u00e9s das a\u00e7\u00f5es individuais de cada um \u00e9 poss\u00edvel identificar padr\u00f5es de comportamento e com isso melhorar o produto. <\/strong>Um bom exemplo, \u00e9 s\u00f3 voc\u00ea pensar em quantas vezes o Facebook, Instagram, Netflix, ou qualquer outro software que voc\u00ea usa no dia-a-dia foi atualizado ou mudou de interface nos \u00faltimos tempos.\n
\n
\n<\/div>\n\n O feedback dos usu\u00e1rios precisa ser coletado de diferentes maneiras e um bom cientista de dados, consegue sumarizar esses dados e rastros de pixels deixados por eles para melhorar seu produto, e consequentemente seu neg\u00f3cio.\n
\n
\n<\/div>\n\n Esse \u00e9 um dos motivos pelos quais a demanda por Cientistas de Dados tem crescido cada vez mais, n\u00e3o s\u00f3 em grandes empresas de tecnologia, mas tamb\u00e9m small business e mid market tamb\u00e9m. A Era \u00e9 da informa\u00e7\u00e3o, e com muita informa\u00e7\u00e3o e muitos dados, todo mundo vai precisar de um cientista de dados, para tomar decis\u00f5es de neg\u00f3cio, cada vez mais orientada por dados. \u00c9 por essas e outras que o cargo de Cientista de Dados \u00e9 o com maior crescente em todo mundo de acordo com \n este report sobre o Futuro do Trabalho<\/a> do World Economic Forum. \n
\n
\n<\/div>\n\n A demanda por esses profissionais n\u00e3o acompanha com aumento de oferta, e o ticket desse profissional est\u00e1 se tornando um dos mais caros do mercado, justamente pela falta de especialistas e forma\u00e7\u00e3o na \u00e1rea.\n
\n
\n<\/div>\nAprenda a programar \u200d \u200d <\/h2>\n\n Quem deseja aprender Data Science deve saber que para se tornar um profissional cobi\u00e7ado no mercado \u00e9 necess\u00e1rio ter uma base s\u00f3lida em:\n
\n
\n<\/div>\n\n - Matem\u00e1tica<\/strong>: \u00e1lgebra linear, fun\u00e7\u00e3o polinomial do 1\u00ba e 2\u00b0 grau, trigonometria, fun\u00e7\u00e3o logar\u00edtmica, etc.<\/li>\n
- Estat\u00edstica<\/strong>: probabilidade, infer\u00eancia estat\u00edstica, regress\u00e3o linear, tipos de vari\u00e1veis, amostra, tipos de gr\u00e1ficos, etc.<\/li>\n
- Programa\u00e7\u00e3o e Desenvolvimento: Aqui as linguagens mais famosas s\u00e3o R e Python<\/a>.<\/li>\n<\/ul>\n\n Um Cientista de Dados precisa ter uma base s\u00f3lida em programa\u00e7\u00e3o e em matem\u00e1tica\/estat\u00edstica, para ser capaz de compreender o que acontece \"por detr\u00e1s do cap\u00f4\" dos algoritmos e bibliotecas utilizadas e populares entre esses profissionais. Sem isso \u00e9 como um mec\u00e2nico que pode at\u00e9 mesmo saber como consertar o carro e resolver o problema do \"sintoma\" mas nunca saberia o por qu\u00ea do carro ter estragado em primeiro lugar, ou seja, n\u00e3o saber\u00e1 o diagn\u00f3stico completo.\n
<\/strong>\n
\n<\/div>\n\n N\u00e3o entendeu ainda? Vamos l\u00e1:\n
\n
Um exemplo de um job de Data Science seria por exemplo o seguinte.\n
\n
Voc\u00ea est\u00e1 tomando seu caf\u00e9 da manh\u00e3, trabalhando de home office, quando de repente, voc\u00ea recebe um e-mail do seu CFO, Jo\u00e3o Paulo Aranha, pedindo para seu time realizar uma an\u00e1lise preditiva para calcular em quantos por cento aumentar\u00edamos a taxa de cancelamento mensal da Revista Aquilo\u00c9 se aument\u00e1ssemos em 1,58% o pre\u00e7o da mensalidade. Cientistas de Dados devem juntar as bases de dados, para primeiro compreender as modalidades de assinatura dos clientes, logo os padr\u00f5es dos hist\u00f3ricos de cancelamentos dos leitores e assim, realizar uma proje\u00e7\u00e3o preditiva do aumento da taxa de cancelamento, em rela\u00e7\u00e3o \u00e0 sensibilidade do pre\u00e7o e a disposi\u00e7\u00e3o a pagar das pessoas.\n
\n
\n<\/div>\n\n Para isso, ser\u00e1 necess\u00e1rio usar bibliotecas de Machine Learning como scikit-learn, para realizar an\u00e1lises de regress\u00e3o linear e regress\u00e3o log\u00edstica, entre outras an\u00e1lises e construir um modelo preditivo de Machine Learning para avaliar esse resultado e encontrar um ponto \u00f3timo, onde talvez, se aument\u00e1ssemos em 1,58% o pre\u00e7o da assinatura, provavelmente o total da receita de perda de novos clientes que n\u00e3o t\u00eam disposi\u00e7\u00e3o a pagar o novo pre\u00e7o incrementado, em detrimento do aumento do faturamento em resposta aos clientes que permanecessem. E assim, encontrar um ponto \u00f3timo, onde talvez, 1,58% seja um aumento substancial, e n\u00e3o deve-se tomar essa decis\u00e3o de neg\u00f3cio. Tampouco, n\u00e3o aumentar em nada o pre\u00e7o da revista, pode ser prejudicial, mas talvez se aument\u00e1ssemos em 0,97%, as somas dos outcomes positivos com negativos, pudesse resultar em um jogo de soma-positiva.\n
\n
\n<\/div>\n\n Sem o poder computacional para otimizar a efici\u00eancia das an\u00e1lises, tudo teria que ser feito como os matem\u00e1ticos e estat\u00edsticos faziam antigamente: Na m\u00e3o. Isso n\u00e3o \u00e9 imposs\u00edvel, mas \u00e9 bastante trabalhoso\u2026 Por isso com as novas tecnologias dispon\u00edveis, e com a imensidade de dados a serem analisados, se voc\u00ea quer se tornar um cientista de dados, voc\u00ea \n precisa<\/strong> aprender a programar.\n
\n
\n<\/div>\n\n Legal V\u00edtor, mas e agora? Como eu posso come\u00e7ar a entender mais sobre essa \u00e1rea de Data Science para saber se isso \u00e9 pra mim mesmo ou n\u00e3o?\n
\n
Voc\u00ea come\u00e7ar a aprender mais sobre data science \n aqui<\/a>.\n<\/div>\n\n
Ci\u00eancia de Dados \u00e9 um campo extremamente amplo, onde d\u00e1 para se especializar muito em pequenas sub-\u00e1reas, mas o \"feij\u00e3o com arroz\" mesmo come\u00e7a aqui:\n<\/div>\n\n
\n<\/div>\nAprenda a programar em Python \u200d \u200d <\/h3>\n\n A \n linguagem de programa\u00e7\u00e3o<\/a> Python \u00e9 uma linguagem de alto n\u00edvel, com tipagem din\u00e2mica e tem diversas bibliotecas dispon\u00edveis que permitem agilizar o trabalho do cientista de dados. \n
\n
\n<\/div>\n\n A linguagem de programa\u00e7\u00e3o junto \u00e0s bibliotecas \n permitem analisar arrays e matrizes multi-dimensionais facilmente<\/strong>, estruturas e opera\u00e7\u00f5es de dados e ainda trabalhar com tabelas num\u00e9ricas complexas. \n
\n
\n<\/div>\n\n Com Python voc\u00ea pode trabalhar analisando quaisquer fontes de informa\u00e7\u00f5es, bancos de dados estruturados e n\u00e3o estruturados, web-scraping, xmls files ou cvs ou at\u00e9 mesmo APIs.\n
\n
\n<\/div>\n\n Quer ver como aprender Python? Leia nosso <\/strong>\n guia completo<\/strong><\/a>\n com todas as informa\u00e7\u00f5es necess\u00e1rias que voc\u00ea precisa para desenvolver seus conhecimentos nessa linguagem. <\/strong>\n<\/div>\n\n
\n<\/div>\nBibliotecas Pandas e Numpy <\/h3>\n\n As Libraries Pandas e Numpy permitem acessar os grandes bancos de dados (SQL) e junto com o Kaggle.com voc\u00ea ter\u00e1 os dados necess\u00e1rios para brincar com novos projetos. \n
\n
\n<\/div>\n\n No Kaggle voc\u00ea poder\u00e1 acessar \n mais de 50 mil banco de dados p\u00fablicos e mais de 400 mil notebooks p\u00fablicos<\/strong> para trabalhar a an\u00e1lise de dados e explorar diferentes \u00e1reas no campo da ci\u00eancia de dados. \n
\n
\n<\/div>\n\n Al\u00e9m disso, voc\u00ea pode participar de competi\u00e7\u00f5es. \n Elas t\u00eam o objetivo de desafiar os participantes na resolu\u00e7\u00e3o de problemas reais de grandes empresas<\/strong>. Ou seja, voc\u00ea tem a possibilidade de colocar seu conhecimento no mercado em tempo real. \n
\n
\n<\/div>\n\n No fim de cada competi\u00e7\u00e3o o ganhador pode levar um pr\u00eamio em dinheiro. \n
\n
\n<\/div>\n\n Para terminar as an\u00e1lises de dados voc\u00ea pode utilizar o \n Google Collab<\/a> ou Jupyter Notebook. Ambas s\u00e3o ferramentas online dedicadas, entre outras coisas, \u00e0 an\u00e1lise de dados.\n
\n
\n<\/div>\nLinguagem R<\/h3>\n\n A linguagem R tamb\u00e9m \u00e9 muito utilizada \u00e9 necess\u00e1ria se voc\u00ea quer aprender data science. Ela permite a \n constru\u00e7\u00e3o de um ambiente ideal para constru\u00e7\u00e3o de gr\u00e1ficos e fazer estat\u00edsticas<\/strong> como:\n
\n
\n<\/div>\n\n - Modelagem linear e n\u00e3o-linear;<\/li>\n
- Testes estat\u00edsticos cl\u00e1ssicos;<\/li>\n
- An\u00e1lise de s\u00e9ries temporais;<\/li>\n
- Classifica\u00e7\u00e3o;<\/li>\n
- Agrupamento.<\/li>\n<\/ul>\n\n
\n<\/div>\nDomine Visualiza\u00e7\u00e3o de Dados ou Dataviz <\/h3>\n\n Enquanto as bibliotecas e ferramentas citadas acima permitem voc\u00ea aprender Data Science, existem outras que v\u00e3o te ajudar a \n visualizar os dados de maneira mais intuitiva e agrupada.
<\/strong>\n
\n<\/div>\n\n Muitas pessoas utilizam o BI ou Tableau para fazer suas primeiras visualiza\u00e7\u00f5es, no entanto essas ferramentas foram criadas para o analista de dados e n\u00e3o para o cientista. \n
\n
\n<\/div>\n\n Por\u00e9m existem outras formas de se fazer isso, inclusive existem 2 bibliotecas para Python famosas nessa \u00e1rea: \n matplotlib e seaborn<\/strong>. \n
\n
\n<\/div>\n\n Enquanto o matplotlib abrange a cria\u00e7\u00e3o e visualiza\u00e7\u00e3o de dados de uma maneira animada e interativa, a biblioteca Seaborn permite a constru\u00e7\u00e3o de gr\u00e1ficos atraentes e muito informativos.\n
\n
\n<\/div>\n\n Dedique-se a aprender mais sobre elas e explique suas possibilidades.\n<\/div>\nO que \u00e9 Decision Science? \u2716\u2795\u2796\u2797<\/h2>\n\n A uni\u00e3o entre matem\u00e1tica e dados s\u00f3 poderia resultar em tomadas de decis\u00f5es com muito mais probabilidade de acerto. \n
\n
\n<\/div>\n\n Ou seja, o cientista de dados deve utilizar recursos matem\u00e1ticos apoiados por ferramentas computacionais para cria\u00e7\u00e3o de diferentes cen\u00e1rios poss\u00edveis \n a fim de justificar uma determinada decis\u00e3o de neg\u00f3cio e mostrar o que pode acontecer se seguir outras dire\u00e7\u00f5es<\/strong>. \n
\n
\n<\/div>\n\n Decision Science \u00e9 onde unimos a estat\u00edstica, a an\u00e1lise de dados com programa\u00e7\u00e3o e poder computacional, com as m\u00e9tricas chave do neg\u00f3cio, como por exemplo, OKRs e KPIs. Esses conhecimentos, permitem entender a rela\u00e7\u00e3o entre os dados e vari\u00e1veis do neg\u00f3cio, para atrav\u00e9s de engenharia de dados, encontrar novas vari\u00e1veis e par\u00e2metros, que v\u00e3o ajudar a compreender melhor a realidade e a tomada de decis\u00f5es orientada por dados, inv\u00e9s de uma tomada de decis\u00e3o, orientada por f\n eeling<\/em>ou achismos. \n
\n
\n<\/div>\n\n Em Decision Science, usa-se muito de m\u00e9tricas comuns da estat\u00edstica, como m\u00e9dia, mediana, desvio padr\u00e3o R\u00b2 e graus de correla\u00e7\u00e3o, regress\u00e3o linear e regress\u00e3o log\u00edstica para desvendar como os indicadores se relacionam e obter insights de neg\u00f3cio.\n
\n
\n<\/div>\n\n Dessa forma, as empresas que usam esse recurso saem na frente da concorr\u00eancia, j\u00e1 que n\u00e3o tomam decis\u00f5es baseadas em achismos.\n<\/div>\nA Ci\u00eancia dos Dados <\/h2>\n\n Em Data Science, diferente de qualquer outra an\u00e1lise de dados normal, segue rigorosamente e metodologia cient\u00edfica da academia para processualizar suas an\u00e1lises. \u00c9 justamente o rigor cient\u00edfico a utiliza\u00e7\u00e3o desse m\u00e9todo unidos \u00e0 matem\u00e1tica, estat\u00edstica e programa\u00e7\u00e3o, que batizaram o nome desse profissional.\n
\n
Com o m\u00e9todo cient\u00edfico, as empresas se blindam de realizar an\u00e1lises enviesadas, que n\u00e3o compreendem a realidade, e sair da caixa para ampliar a granularidade dos dados, e obter an\u00e1lises mais assertivas.\n
\n
O m\u00e9todo cient\u00edfico: \n
\n
\n<\/div>\n\n - Observa\u00e7\u00e3o: Assim como Galileu Galilei, o pai da ci\u00eancia moderna, utilizou da observa\u00e7\u00e3o e experimenta\u00e7\u00e3o para analisar um fen\u00f4meno, aqui Data Scientist escolhem seu objeto de an\u00e1lise<\/li>\n
- Elabora\u00e7\u00e3o do Problema: Aqui, antes de determinar quais respostas se querem encontrar, \u00e9 importante antes voc\u00ea se fazer qual pergunta, ou qual problema voc\u00ea quer responder ou resolver. Uma boa pergunta pede uma boa resposta.<\/li>\n
- Elabora\u00e7\u00e3o de Hip\u00f3teses: Com base na observa\u00e7\u00e3o do objeto de estudo e com base nas perguntas elaboradas, tenta-se estipular poss\u00edveis respostas para o problema.<\/li>\n
- Valida\u00e7\u00e3o: Aqui para os Cientistas de Dados, \u00e9 aonde inicia-se as an\u00e1lises de dados e tudo que vimos at\u00e9 agora para validar se alguma das hip\u00f3teses estipuladas de fato responde a pergunta do problema ou n\u00e3o, com vaz\u00e3o para serem validadas ou invalidadas.<\/li>\n
- An\u00e1lise de Resultados: Ap\u00f3s a escolha da metodologia de an\u00e1lise, e ap\u00f3s rodadas todas as devidas an\u00e1lises de dados, com as visualiza\u00e7\u00f5es dispon\u00edveis, discutimos e assinalamos as conclus\u00f5es obtidas dos experimentos.<\/li>\n
- Conclus\u00f5es<\/li>\n<\/ol>\n
Aprenda Machine Learning <\/h2>\n\n N\u00e3o existe Cientista de Dados \"unic\u00f3rnio\". Aquele que sabe fazer de TUDO. O Data Scientist peer-to-peer. O Rodrigo Hilbert da Ci\u00eancia de Dados. N\u00e3o. Isso \u00e9 lenda urbana e folclore, assim como Saci Perer\u00ea, Mula-sem-cabe\u00e7a e o Curupira... \n
\n
Em grandes empresas, ou as big tech companies, como Apple, Microsoft, Facebook, Amazon e por a\u00ed segue a lista dos residentes de Palo Alto, do Silicon Valey... Enfim, todos esses t\u00eam times inteiros de Data Scientists, segmentados, onde cada um tem determinada especialidade e responsabilidade por uma pequena parte de todo esse processo. At\u00e9 mesmo um Gestor ou L\u00edder de \u00e1rea, por mais que seja importante compreender todo o processo, desde a extra\u00e7\u00e3o, processamento at\u00e9 o deploy, ele n\u00e3o vai saber executar na \u00edntegra todas as etapas... \n
\n
Machine Learning, sem d\u00favida \u00e9 uma das habilidades mais populares hoje em dia, muito em alta, mas na verdade s\u00e3o poucas as pessoas que realmente compreendem do que se trata e como acontece esse processo. Com certeza \u00e9 aonde a maioria dos Cientistas de Dados gostaria de estar trabalhando aqui, mas pouca gente sabe, mas a parte de modelagem, \u00e9 a cereja da cereja do bolo. 95% \u00e0 99% do tempo voc\u00ea fica na parte de ETL, limpando os dados, e s\u00f3, somente s\u00f3, quando est\u00e1 tudo prontinho para ser analisado que entra a parte \"legal\" de ML. \n sabe de nada inocente! rsrsrs
E lembrem-se: Machine Learning \u00e9 uma t\u00e9cnica <\/em>\n que nem sempre precisa ser usada! <\/em><\/strong>\n Muita gente se perde pela vontade de usar ML quando muitas vezes n\u00e3o tem a menor necessidade, e uma simples regress\u00e3o linear d\u00e1 conta de resolver o problema. <\/em>\n N\u00e3o tenham medo de n\u00e3o usar ML.<\/em><\/strong>\n
\n
Machine Learning \u00e9 um bem diferente de an\u00e1lise de dados. \n
Enquanto na an\u00e1lise de dados voc\u00ea tem um input, dos dados a serem analisados e tem um output, que s\u00e3o as an\u00e1lises de fato. Em ML voc\u00ea j\u00e1 come\u00e7a com o input e o output juntos. Mas como assim V\u00edtor?\n
\n
Vamos l\u00e1, \u00e9 mais simples do que parece:\n
Existem dois tipos de Aprendizagem de M\u00e1quina:\n
\n
\n<\/div>\n\n - Supervisionada<\/li>\n
- N\u00e3o-Supervisionada<\/li>\n<\/ol>\n\n Daqui a pouquinho voltamos aqui. Segura a\u00ed!\n
Em Machine Learning, voc\u00ea j\u00e1 come\u00e7a com um dataset com o input, e com o output, no sentido de que, voc\u00ea j\u00e1 tem as an\u00e1lises de determinados resultados de alguns comportamentos dentro da sua base de dados, e aqui, o objetivo \u00e9 criar um modelo ou algoritmo, que com base nos padr\u00f5es de input e de output, seja capaz de prever sozinho, \n atrav\u00e9s do aprendizado<\/strong> ao interagir com um novo dados nunca antes visto pelo modelo, qual ser\u00e1 a classifica\u00e7\u00e3o ou output dele, com base no seu treino com o dataset inicial. Capicci?\n
\n
Voc\u00ea pega seu dataset, divide ele da melhor forma poss\u00edvel (tamb\u00e9m com boas pr\u00e1ticas e com base em algumas f\u00f3rmulas e bibliotecas de ML) e dai voc\u00ea separa ele em duas partes:\n
\n
\n<\/div>\n\n - Treino<\/li>\n
- Teste<\/li>\n<\/ul>\n\n O treino ser\u00e1 a maior parte do seu dataset (70% via de regra) para treinar seu modelo e alimentar o algoritmo a entender e analisar os padr\u00f5es de input x ouput. \n
A\u00ed sim, uma vez treinado e instanciado o modelo de ML, voce pegar\u00e1 o resto do seu dataset, os outros 30%, nunca antes interagido com o modelo e analisar em quantos por cento, ele ir\u00e1 ser capaz de acertar o output dos dados, sejam eles uma classifica\u00e7\u00e3o (Frio ou Quente, True or False, A ou B ou C ou D) ou seja ele algum resultado espec\u00edfico (X, Y, Z, R\u00b2).\n
\n
\n<\/div>\nCuidado com seu modelo, pois voc\u00ea pode ter resultados bem enviesados. S\u00e3o chamados eles de Overfitting e Underfitting.\n \n ![](\"https:\/\/miro.medium.com\/proxy\/1*e4Kn-_M_KN2bw-e6kevywA.png\")
\n \n Underfitting, Overfitting & Balanced\n <\/figcaption>\n <\/figure>Underfitting <\/h3>\n\n Nesse caso, o modelo j\u00e1 \u00e9 ruim desde na pr\u00f3pria etapa de treinamento. Ou seja, o recorte da divis\u00e3o do dataset entre treinamento e teste foi mal feita, de modo que a amostragem de treino, n\u00e3o tem uma representatividade do que acontece de fato na realidade do conjunto inteiro.\n
\n
Sendo assim, o algoritmo, n\u00e3o consegue entender corretamente como os dados se relacionam e voc\u00ea deve corrigir isso, re-instanciando novamente o modelo, at\u00e9 encontrar uma boa divis\u00e3o do recorte entre os dados para alimentar o treino e os dados para test\u00e1-lo.\n<\/div>\n\n
\n<\/div>\nOverfitting <\/h3>\n\n O Overfitting, \u00e9 quando seu modelo Aprendizado de M\u00e1quina \u00e9 t\u00e3o assertivo, que n\u00e3o houve aprendizagem do algoritmo, e que ele na verdade, decorou os outcomes com base no dataset. \n
\n
Aqui o modelo atua de forma que se inputado novamente com um dado equivalente \u00e0 algum j\u00e1 antes visto, ao inv\u00e9s de processar um novo resultado de outcome, d\u00e1 a correspond\u00eancia exata daquele datapoint, como se fossem atributos de chave-valor. Quando isso acontece, o modelo \u00e9 ineficaz para prever novos resultados.\n<\/div>\n\n
\n<\/div>\nBalanced<\/h3>\n\n Um bom modelo de Machine Learning, \u00e9 aquele cujo recorte do dataset entre treino e teste foi bem feito e representativo, de modo que a acur\u00e1cia do modelo de ML seja alta para prever novos resultados quando interagir com novos pontos de dados. Normalmente um bom modelo de ML fica entre 95% - 99% de acur\u00e1cia, mas tamb\u00e9m vai depender de N fatores das especificidades do que voc\u00ea est\u00e1 analisando.\n<\/div>\n\n
\n<\/div>\nE para que serve Machine Learning? <\/h3>\n\n Voc\u00ea j\u00e1 pensou como a Netflix faz sugest\u00f5es de s\u00e9ries t\u00e3o pr\u00f3ximas daquilo que voc\u00ea pode gostar ou como os carros aut\u00f4nomos conseguem dirigir sozinhos pelas cidades? Respectivamente com t\u00e9cnicas de data clustering, ou agrupamento de dados na Netflix, e NLP, ou Natural Language Processing, o processamento de textos, imagens e v\u00eddeos, no caso dos carros auto-dirig\u00edveis, da Tesla.\n
\n
No caso da Netflix, seus algoritmos compreende os g\u00eaneros que voc\u00ea assiste frequentemente, o que voc\u00ea pesquisa na plataforma, quanto tempo voc\u00ea passa assistindo e mais uma s\u00e9rie de informa\u00e7\u00f5es para te recomendar s\u00e9ries e filmes que voc\u00ea ter\u00e1 mais probabilidade de assistir. Tamb\u00e9m faz recomenda\u00e7\u00f5es com base em usu\u00e1rios com gostos por filmes e s\u00e9ries similares aos seus.\n
\n
\n<\/div>\n\n Tudo isso \u00e9 poss\u00edvel com o Machine Learning<\/strong>. A partir dos seus comandos um computador conseguir\u00e1 tomar decis\u00f5es sozinhos baseados no que ele vai aprendendo ao longo do tempo. \n<\/div>\n\n
\n<\/div>\nO que \u00e9 Deep Learning? <\/h3>\n\n O deep learning \u00e9 uma sub-\u00e1rea dentro de Machine Learning, que tem o objetivo de ensinar os computadores a realizarem tarefas como um ser humano faria. T\u00e1 mas qual a diferen\u00e7a, V\u00edtor?\n
\n
\n<\/div>\n\n Voc\u00ea j\u00e1 deve ter visto falar da Alexa, assistente virtual da Amazon. Seu software foi criado com tecnologias de Deep Learning e aprende a cada nova intera\u00e7\u00e3o que fazemos com ela por meio dos comandos de voz. \n
\n
Basicamente, a complexidade do Deep Learning \u00e9 bem maior, consistindo em um conjunto de algoritmos, capazes de modelar e processar altos n\u00edveis de abstra\u00e7\u00e3o de dados atrav\u00e9s de grafos profundos e uma s\u00e9rie de camadas de processamento, que realizam em tempo-real transforma\u00e7\u00f5es lineares e n\u00e3o-lineares.... OK, mas o que isso significa em portugu\u00eas? rsrs\n
\n
S\u00e3o formas de Intelig\u00eancia Artificial, que usam t\u00e9cnicas avan\u00e7adas, com o objetivo de imitar a fun\u00e7\u00f5es cognitiva de aprendizado do ser humano de maneira intuitiva. Como a Alexa, da Amazon.\n<\/div>\n\n
\n<\/div>\nModel Tuning <\/h3>\n\n O Model Tuning \u00e9 um processo que tem o objetivo de melhorar a escolha do hiperpar\u00e2metro mais preciso para um algoritmo utilizado no aprendizado de m\u00e1quina. \n
\n
\n<\/div>\n\n Todo algoritmo possui diferentes hiperpar\u00e2metros e por meio do modelo tuning \u00e9 poss\u00edvel dizer qual \u00e9 o mais adequado para cada situa\u00e7\u00e3o. Model Tuning \u00e9 a pr\u00e1tica onde se ajusta o modelo de Machine Learning criado, para alcan\u00e7ar maior acur\u00e1cia na sua capacidade preditiva de prever corretamente o resultado. \u00c9 onde vamos encontrar a melhor separa\u00e7\u00e3o do dataset entre a divis\u00e3o entre o que ser\u00e1 a parte de treino, que ir\u00e1 alimentar o modelo e qual ser\u00e1 a parte de teste, para testar a capacidade do modelo e da previs\u00e3o.\n
\n
\n<\/div>\n\n Determinar qual conjunto de hiperpar\u00e2metros resulta no modelo mais preciso<\/strong>.\n
<\/strong>\n
\n<\/div>\n\n Esse processo \u00e9 importante pois permite que voc\u00ea construa modelos personalizados que v\u00e3o gerar resultados muito mais precisos e com isso fornecer insights mais ricos a respeito dos seus dados. Assim \u00e9 poss\u00edvel fazer tomadas de decis\u00e3o mais assertivas.\n
\n
\n<\/div>\n\n Afinal de contas. dentro de um mesmo dataset e um mesmo modelo de ML, voc\u00ea pode encontrar diferentes reparti\u00e7\u00f5es e divis\u00f5es, e tamb\u00e9m, diferentes taxas de acur\u00e1cia de previsibilidade do modelo, sendo o Model Tuning um conjunto de pr\u00e1ticas para encontrar os par\u00e2metros \u00f3timos para o melhor modelo poss\u00edvel, dentro de um determinado conjunto de dados.\n
\n
\n<\/div>\nDicas pr\u00e1ticas de como aprender Data Science do zero<\/h2>\n\n Depois de tanta teoria e explica\u00e7\u00f5es, \u00e9 hora de voc\u00ea ver dicas para praticar tudo aquilo que eu disse aqui. \n
\n
\n<\/div>\n\n Nos trechos a seguir eu tamb\u00e9m te mostro alguns sites para voc\u00ea aprender Python e Data Science sozinho. Veja a seguir!\n<\/div>\n\n
\n<\/div>\nFa\u00e7a um projeto \u200d \u200d <\/h3>\n\n Muitas das ferramentas que citamos aqui s\u00e3o gratuitas e voc\u00ea pode acessar de qualquer computador. Al\u00e9m disso, bancos de dados p\u00fablicos s\u00e3o que n\u00e3o faltam para voc\u00ea brincar de fazer an\u00e1lise de dados e voc\u00ea pode usar uma das ferramentas que j\u00e1 citamos no texto, o Kaggle.\n
\n
\n<\/div>\n\n Voc\u00ea pode criar sua conta no Google Collab e explorar os recursos da ferramenta. O notebook Jupyter tamb\u00e9m \u00e9 uma boa op\u00e7\u00e3o para essa tarefa. \n
\n
\n<\/div>\n\n Por serem duas ferramentas online voc\u00ea n\u00e3o precisar\u00e1 ter um super computador ou algo do tipo para explorar o universo da ci\u00eancia de dados. <\/strong>\n<\/div>\n\n
\n<\/div>\nLeia Livros, Blogs e Conte\u00fados de Data Science <\/h3>\n\n Para aproveitar o m\u00e1ximo de aprendizado poss\u00edvel \u00e9 necess\u00e1rio ter uma total imers\u00e3o no assunto para absorver o m\u00e1ximo de informa\u00e7\u00f5es. \n
\n
\n<\/div>\n\n Ler livros sobre ci\u00eancia de dados permite que voc\u00ea siga uma linha l\u00f3gica de aprendizado com contextualiza\u00e7\u00e3o, desenvolvimento e conclus\u00e3o de determinado assunto. \n
\n
\n<\/div>\n\n Como data science \u00e9 uma \u00e1rea t\u00e3o plural, voc\u00ea ter\u00e1 muitas op\u00e7\u00f5es para escolher, <\/strong>mas vou citar alguns dos principais:\n
\n
\n<\/div>\n\n - Introduction to Machine Learning with Python;<\/li>\n
- Python for Data Analysis;<\/li>\n
- Python Data Science Handbook;<\/li>\n
- Python Machine Learning;<\/li>\n
- Deep Learning;<\/li>\n
- Machine Learning: a Probabilistic Perspective;<\/li>\n
- Deep Learning Book (possui vers\u00e3o em portugu\u00eas<\/a>).<\/li>\n<\/ul>\n\n Al\u00e9m disso, complemente sua leitura com conte\u00fados da internet. Minha recomenda\u00e7\u00e3o \u00e9 buscar fontes estrangeiras pois alguns mercados de tecnologia est\u00e3o mais maduros que o brasieleiro e por isso voc\u00ea pode beber \u00e1gua direto da fonte. \n
\n
\n<\/div>\n\n Alguns que mais gosto s\u00e3o:\n
\n
\n<\/div>\n\n - IBM Big Data & Analytics Hub;<\/li>\n
- Blog e podcast DataCamp;<\/li>\n
- Central Data Science;<\/li>\n
- KDnuggets;<\/li>\n
- Data Science<\/li>\n<\/ul>\n
Participe de Comunidades \u200d \u200d <\/h3>\n\n Outra forma de aprender data science \u00e9 participar de comunidades sobre o assunto. \n
\n
\n<\/div>\n\n Existem muitas no Brasil e em todo mundo. As comunidades permitem que voc\u00ea compartilhe suas d\u00favidas e receba opini\u00f5es e \n ajuda de profissionais que est\u00e3o num n\u00edvel de conhecimento mais avan\u00e7ado que voc\u00ea.<\/strong> \n
\n
\n<\/div>\n\n Al\u00e9m disso, mesmo que voc\u00ea j\u00e1 domine bem o assunto, sempre acontece discuss\u00f5es de diferentes casos que acontecem no dia a dia do programador e quais atitudes o profissional teve para resolver o impasse.\n
\n
\n<\/div>\n\n Algumas comunidades interessantes que eu recomendo s\u00e3o:\n
\n
\n<\/div>\n
\n
\n<\/div>\n
\n Ainda n\u00e3o t\u00e1 clara a diferen\u00e7as entre eles na pr\u00e1tica? Saca s\u00f3:\n<\/div>\n
\n
\n<\/div>\nEngenheiro de Dados \u2699 \u200d\u2640\ufe0f <\/h3>\n
\n<\/div>\n
Engenheiro de Dados \u2699 \u200d\u2640\ufe0f <\/h3>\n\n Entre as principais atividades que esse profissional executa, est\u00e1 \n a coleta de dados e o tratamento das informa\u00e7\u00f5es e limpeza de dados.
<\/strong>\n
\n<\/div>\n\n Cada intera\u00e7\u00e3o de um usu\u00e1rio gera um novo pixel de informa\u00e7\u00e3o e as empresas entenderam a import\u00e2ncia de analisar o m\u00e1ximo de dados poss\u00edveis, para obter vantagem competitiva, afinal de contas, conhecimento \u00e9 poder. Hoje vivemos na Era da Informa\u00e7\u00e3o e gerados enormes volumes de dados diariamente, e assim, foi cunhado o conceito de Big Data.\n<\/div>\n\n
\n<\/div>\nBig Data <\/h3>\n\n Big Data nada mais \u00e9 que o processamento, limpeza, tratamento, e an\u00e1lise de grandes quantidades de dados e grandes variedades de dados, com a utiliza\u00e7\u00e3o de poder computacional.\n
\n
\u00c9 dito que o Big Data tem 5 V's:\n
\n
\n<\/div>\n\n - Volume<\/li>\n
- Variedade<\/li>\n
- Velocidade<\/li>\n
- Veracidade<\/li>\n
- Valor<\/li>\n<\/ol>\n\n O ponto ao redor do Big Data \u00e9 ter mais informa\u00e7\u00f5es e ter informa\u00e7\u00f5es mais rapidamente, como uma vantagem competitiva de neg\u00f3cio.\n
\n
\n<\/div>\n\n Essa \u00e9 a responsabilidade do engenheiro de dados, garimpar as informa\u00e7\u00f5es necess\u00e1rias para que elas sejam tratadas e permitir que as an\u00e1lises de dados sejam mais claras.\n
\n
\n<\/div>\n\n Ele faz isso por meio do ETL <\/strong>(Extract , Transform and Load), tamb\u00e9m conhecido como ETC (Extrair, Transformar, Carregar) em portugu\u00eas. \n
\n
Imagine que um cliente passe um banco de dados com as informa\u00e7\u00f5es de um grupo de clientes espec\u00edficos de seu e-commerce. \n
\n
\n<\/div>\n\n Neste banco de dados podem existir informa\u00e7\u00f5es faltantes, podem haver valores de dados armazenados que n\u00e3o fazem sentido, como por exemplo: \"-99, -999, ?, #$%@\" .\n
\n
O papel do engenheiro de dados, vai variar de acordo com a empresa e seu n\u00edvel de maturidade em Ci\u00eancia de Dados, mas normalmente o engenheiro de dados, fica respons\u00e1vel pelos processos de ETL.\n<\/div>\n\n
\n<\/div>\nExtract <\/h3>\n\n O Engenheiro de Dados pode extrair seus dados de diversas fontes diferentes, algumas das principais delas s\u00e3o:\n
\n
\n<\/div>\n\n - Bancos de Dados (SQL ou NoSQL)<\/li>\n
- Web Scraping<\/li>\n
- APIs<\/li>\n<\/ul>\n
Transform <\/h3>\n\n Aqui o engenheiro de dados deve limpar o dataset atrav\u00e9s de pr\u00e1ticas como \n enconding<\/strong>, adicionando valores faltantes atrav\u00e9s de m\u00e9todos de input ou tamb\u00e9m retirando dados em branco, dados n\u00e3o-relevantes para as an\u00e1lises e substituindo valores que foram armazenados de forma incorreta para deixar o banco otimizado para a an\u00e1lise poder ser bem feita, e serem carregados em ferramentas de visualiza\u00e7\u00e3o. \n
\n
\n<\/div>\n\n Ou seja, no banco de dados recebidos a primeira etapa ser\u00e1 de extra\u00e7\u00e3o das informa\u00e7\u00f5es onde o engenheiro de dados far\u00e1 a comunica\u00e7\u00e3o daqueles informa\u00e7\u00f5es com outros sistemas a fim de capturar os dados que devem ser inseridos. Muitas vezes seu papel pode ser automatizar a comunica\u00e7\u00e3o de dados entre dois sistemas diferentes.\n<\/div>\n\n
\n<\/div>\nLoad \u23e9<\/h3>\n\n Por fim, uma vez com os dados limpos e tratados, ele deve prepar\u00e1-los para a etapa de carregamento, onde profissional deve ajustar as ferramentas de visualiza\u00e7\u00e3o para que o analista ou outros profissionais de Data Science possam cruzar os dados e realizar suas respectivas an\u00e1lises\n
\n
\n<\/div>\n\n O engenheiro de dados \n deixa tudo automatizado para que haja o m\u00ednimo de interfer\u00eancia humana<\/strong> e o pr\u00f3prio sistema tenha a capacidade de entregar a informa\u00e7\u00e3o certa. Uma boa pr\u00e1tica de carregamento de dados automatizados \u00e9 o Data Streaming, onde a visualiza\u00e7\u00e3o de dados, j\u00e1 pr\u00e9-configurada para determinadas an\u00e1lises, \u00e9 carregada em tempo-real e atualizada a todo momento, no per\u00edodo de tempo escolhido.\n<\/div>\n\n
\n<\/div>\nAnalista de Dados <\/h3>\n\n Depois que o engenheiro cuida dos dados por meio do ETL, o analista j\u00e1 receber\u00e1 essas informa\u00e7\u00f5es tratadas e deve se preocupar em \n cruzar os dados<\/strong>, \n analis\u00e1-los<\/strong>, construir gr\u00e1ficos e pranchetas de visualiza\u00e7\u00e3o das informa\u00e7\u00f5es como foco no aux\u00edlio da tomada de decis\u00e3o tendo uma vis\u00e3o de neg\u00f3cio. \n
\n
\n<\/div>\n\n Ou seja, ele precisa entender o que os dados querem dizer no contexto pr\u00e1tico da coisa. Ele recebe o conjunto de dados prontinho para ser analisado, e \u00e9 importante o Analista ter o conhecimento de neg\u00f3cio e de mercado, para se fazer as perguntas certas, do que deve ser descoberto. Aqui \u00e9 importante usar a metodologia cient\u00edfica e realizar a formula\u00e7\u00e3o de hip\u00f3teses do que se deseja desvendar. \n
\n
\n<\/div>\n\n Este profissional deve construir uma interface onde essas informa\u00e7\u00f5es possam ser vistas e acessadas facilmente. O Analista de Dados ou Analista de Neg\u00f3cio tem a fun\u00e7\u00e3o de dar contexto aos dados e entender o que eles significam na realidade da empresa, para otimizar seus processos, produtos, melhorando efici\u00eancia, e eventualmente com objetivos tamb\u00e9m de neg\u00f3cio, como aumento de receita ou de lucro.\n<\/div>\n\n
\n<\/div>\nCientista de Dados \u200d \u200d <\/h3>\n\n J\u00e1 o Data Scientist deve ter a capacidade de entender isso tudo e um pouco mais. Por mais que o Cientista de Dados, n\u00e3o precisa saber executar todas essas etapas pr\u00e9vias, \u00e9 importante que ele entenda o contexto geral do fluxo de dados dentro da empresa e ter a vis\u00e3o do \"macro\", ou do todo. \n
\n
\n<\/div>\n\n Se o analista de dados est\u00e1 para o passado, o Cientista de Dados est\u00e1 para o futuro. Seu foco \u00e9 \n fazer previs\u00f5es baseado em modelos matem\u00e1ticos robustos e estat\u00edstica, encontrando padr\u00f5es entre os dados e utilizando de tecnologias como aprendizagem de m\u00e1quina.
<\/strong>\n
\n<\/div>\n\n Uma das possibilidades aqui, e dada como uma das mais glamurosas dentro de ci\u00eancia de dados \u00e9 a cria\u00e7\u00e3o e aperfei\u00e7oamento de algoritmos que automatizam tomadas de decis\u00f5es do neg\u00f3cio. \n
\n
Um grande exemplo \u00e9 o algoritmo de recomenda\u00e7\u00e3o de filmes na Netflix, que utiliza de tecnologias de agrupamento ou \n data clustering<\/em> mas compreender como um conjunto de dados se divide em sub-grupos de comportamento ou prefer\u00eancias por gostos cinematogr\u00e1ficos e encontra usu\u00e1rios com gostos e comportamentos semelhantes dentro da plataforma, cruzando os dados, de filmes que voc\u00ea e um usu\u00e1rio em comum com voc\u00ea assistiram, e te recomenda algum filme que voc\u00ea n\u00e3o viu e que seu \"clone\" n\u00e3o assistiu ainda e vice-versa.\n
\n
O mesmo funciona para Spotify, Tinder e praticamente todas as grandes plataformas de tecnologia utilizam dessas tecnologias, mas de diferentes formas e com diferentes objetivos.\n
\n
\n<\/div>\n\n Um Cientista de Dados precisa lidar com gigantescos volumes de dados em tempo real, com isso vem a necessidade de criar mecanismos que suportem essa concentra\u00e7\u00e3o de informa\u00e7\u00f5es e ao mesmo tempo fa\u00e7a o tratamento e apresenta\u00e7\u00e3o dos mesmos. \n
\n
\n<\/div>\nPor que empresas precisam de Data Scientists? Data is the new Oil \ufe0f <\/h2>\n\n As empresas modernas s\u00e3o cada vez mais digitais. Como j\u00e1 disse, no mundo virtual, cada a\u00e7\u00e3o que fazemos \n gera uma nova informa\u00e7\u00e3o<\/strong>. \n
\n
\n<\/div>\n\n Agora imagine uma loja virtual no porte do Magazine Luiza que deve receber milhares de visitas e compras mensais. Imagine que cada clique, cada rolagem de p\u00e1gina e at\u00e9 o tempo que voc\u00ea permanece em cada se\u00e7\u00e3o \u00e9 um dado diferente. \n
\n
\n<\/div>\n\n Todos n\u00f3s geramos um volume de dados muito grande. Esses dados podem ser divididos entre dados estruturados e n\u00e3o-estruturados:\n<\/div>\n\n
\n<\/div>\nDados estruturados <\/h3>\n\n S\u00e3o aqueles que possuem um padr\u00e3o pr\u00e9 definido. Utilizam uma estrutura bem r\u00edgida e geralmente s\u00e3o criados antes do surgimento das informa\u00e7\u00f5es.\n
\n
\n<\/div>\n\n Eles geralmente s\u00e3o criados em ferramentas de tecnologia anal\u00edticas como o excel, por exemplo. \n
\n
\n<\/div>\n\n Essa estrutura \u00e9 bem definida pois, se voc\u00ea cria a regra de que um campo deve aceitar apenas n\u00fameros, n\u00e3o ser\u00e1 poss\u00edvel adicionar uma v\u00edrgula ou uma letra.\n
\n
\n<\/div>\n\n Um exemplo de dados estruturados s\u00e3o dados armazenados em SQL, ou Structured Query Language, que nada mais s\u00e3o que tabelas de chave-valor, como as planilhas de excel, mas dessa vez, em um banco de dados din\u00e2mico, como o MySQL ou Postgres. Para cada chave existe um valor. Assim como um jogo de Batalha Naval!\n
\n
\n<\/div>\nDados n\u00e3o-estruturados <\/h3>\n\n Diferente dos dados estruturados, os n\u00e3o estruturados n\u00e3o seguem padr\u00f5es r\u00edgidos, sendo bem flex\u00edveis e din\u00e2micos.\n
\n
\n<\/div>\n\n Esse tipo de informa\u00e7\u00e3o \u00e9 uma das mais produzidas no mundo virtual justamente por sua facilidade de mudan\u00e7a e aceite de diferentes caracteres. \n
\n
\n<\/div>\n\n Um exemplo disso s\u00e3o os dados gerados nas redes sociais. Diante de tanta informa\u00e7\u00e3o que \u00e9 produzida a cada segundo por meio da publica\u00e7\u00e3o de fotos, v\u00eddeos e textos, limita-las numa estrutura fixa n\u00e3o seria eficaz. \n<\/div>\n\n
\n<\/div>\n\n Um exemplo de dados n\u00e3o-estruturados s\u00e3o todos os tweets gerados diariamente, que s\u00e3o informa\u00e7\u00f5es n\u00e3o organizadas, mas que podem conter um valor importante para compreender cen\u00e1rios. Neste caso, por exemplo uma pr\u00e1tica realizada por empresas, como o monitoramento de redes sociais, servem para fazer an\u00e1lise de sentimentos dos usu\u00e1rios com base no que \u00e9 dito por cada um.\n
\n
\n<\/div>\n\n Assim o papel de um Data Scientist se faz cada vez mais importante e n\u00e3o \u00e9 atoa que a demanda por esse profissional cresceu tanto nos \u00faltimos anos. \n
\n
\n<\/div>\n\n As empresas perceberam que dados podem ser convertidos em informa\u00e7\u00e3o,\n quem tem informa\u00e7\u00e3o, tem poder e quem tem poder tem vantagem competitiva no mercado<\/strong>. \n
\n
\n<\/div>\n\n Por isso, uma pessoa que deseja aprender Data Science tem uma grande oportunidade de carreira. Entre as principais formas de como os profissionais contribuem para o crescimento das institui\u00e7\u00f5es \u00e9 poss\u00edvel citar:\n<\/div>\n\n
\n<\/div>\nOtimiza\u00e7\u00e3o para Tomada de Decis\u00f5es <\/h3>\n\n Os dados n\u00e3o mentem. As empresas est\u00e3o construindo cada vez mais uma cultura orientada por dados, ou \n data-driven, <\/em>e junto com isso, vemos cada vez mais a utiliza\u00e7\u00e3o de estat\u00edstica, matem\u00e1tica e metodologia ci\u00eant\u00edfica na an\u00e1lise de dados para tomar decis\u00f5es, principalmente em empresas de tecnologia, que t\u00eam mais dados dispon\u00edveis para serem analisados, infra-estrutura e tecnologia para viabilizar essas an\u00e1lises e a capacidade de tranquear estes dados, devido aos seus produtos e modelo de neg\u00f3cio.\n
\n
\n<\/div>\n\n Observando essas a\u00e7\u00f5es os Cientistas de Dados s\u00e3o capazes de construir hip\u00f3teses e valida\u00e7\u00f5es \n bem embasados que influenciam o caminho no qual o neg\u00f3cio ir\u00e1 seguir, tanto num n\u00edvel t\u00e1tico quanto estrat\u00e9gico.<\/strong> \u00c9 por isso que Data Science \u00e9 um setor estrat\u00e9gico, pr\u00f3ximo de um n\u00edvel alto de hierarquia na companhia, e sempre bem acompanhado de demandas de Diretores e os C-levels da empresa.\n<\/div>\n\n
\n<\/div>\nOtimiza\u00e7\u00e3o de Processos<\/h3>\n\n Imagine que uma empresa de log\u00edstica, que possui uma frota de caminh\u00f5es gigante e tamb\u00e9m centenas de pedidos para serem entregues todos os dias. Tra\u00e7ar as rotas manualmente e estimar o tempo gasto nas entregas seria algo impens\u00e1vel de se fazer.\n
\n
\n<\/div>\n\n Data Science pode otimizar os processos de log\u00edstica, tornando-os mais eficientes, o que pode significar economia de tempo e dinheiro. Nesse exemplo, um Cientista de Dados pode construir um algoritmo capaz de coletar dados fornecidos por um GPS (como informa\u00e7\u00f5es meteorol\u00f3gicas, situa\u00e7\u00e3o do tr\u00e2nsito em tempo real e at\u00e9 mesmo tipos de estrada se \u00e9 asfaltada ou n\u00e3o) para prever as melhores rotas e estimar o tempo de entrega de cada produto. Al\u00e9m disso, pode tamb\u00e9m, realizar an\u00e1lises de demanda, entrada e sa\u00edda de estoque para prever em quanto tempo ir\u00e1 falta determinado produto, e quando e em qual quantidade deve compr\u00e1-lo.\n
\n
\n<\/div>\n\n Assim, por meio dessas informa\u00e7\u00f5es, \n as empresas podem maximizar as opera\u00e7\u00f5es no setor<\/strong>, passar uma previs\u00e3o de entrega mais assertiva para o comprador, diminuir os desgastes na frota de caminh\u00f5es e com isso, reduzir os gastos com imprevistos que possam ocorrer. \n
\n
Indo al\u00e9m, um Cientista de Dados pode aplicar os conceitos de Machine Learning (aprendizado de m\u00e1quina) para que o algoritmo aprenda os melhores caminhos a se fazer, trabalhando de forma autom\u00e1tica. \n<\/div>\n\n
\n<\/div>\nOtimiza\u00e7\u00e3o de Produtos: Usando feedback de comportamento dos usu\u00e1rios<\/h3>\n\n Voc\u00ea j\u00e1 deve saber que, ao construir uma empresa, voc\u00ea n\u00e3o pode criar uma solu\u00e7\u00e3o para voc\u00ea e sim para o seu p\u00fablico, resolvendo alguma dor de mercado, comprovada pela reafirma\u00e7\u00e3o de demanda pelo seu produto ou servi\u00e7o.\n
\n
\n<\/div>\n\n \u00c9 dito que produtos digitais, nunca est\u00e3o prontos, ou terminados. Isso \u00e9 dito, por que os produtos precisam ser atualizados, e essa atualiza\u00e7\u00e3o, \u00e9 feita com base na an\u00e1lise de comportamentos dos usu\u00e1rios, para gradativamente, adaptarmos o produto digital, otimizando a experi\u00eancia do usu\u00e1rio e compreender o que \u00e9 de maior valor para os cleintes. \n Atrav\u00e9s das a\u00e7\u00f5es individuais de cada um \u00e9 poss\u00edvel identificar padr\u00f5es de comportamento e com isso melhorar o produto. <\/strong>Um bom exemplo, \u00e9 s\u00f3 voc\u00ea pensar em quantas vezes o Facebook, Instagram, Netflix, ou qualquer outro software que voc\u00ea usa no dia-a-dia foi atualizado ou mudou de interface nos \u00faltimos tempos.\n
\n
\n<\/div>\n\n O feedback dos usu\u00e1rios precisa ser coletado de diferentes maneiras e um bom cientista de dados, consegue sumarizar esses dados e rastros de pixels deixados por eles para melhorar seu produto, e consequentemente seu neg\u00f3cio.\n
\n
\n<\/div>\n\n Esse \u00e9 um dos motivos pelos quais a demanda por Cientistas de Dados tem crescido cada vez mais, n\u00e3o s\u00f3 em grandes empresas de tecnologia, mas tamb\u00e9m small business e mid market tamb\u00e9m. A Era \u00e9 da informa\u00e7\u00e3o, e com muita informa\u00e7\u00e3o e muitos dados, todo mundo vai precisar de um cientista de dados, para tomar decis\u00f5es de neg\u00f3cio, cada vez mais orientada por dados. \u00c9 por essas e outras que o cargo de Cientista de Dados \u00e9 o com maior crescente em todo mundo de acordo com \n este report sobre o Futuro do Trabalho<\/a> do World Economic Forum. \n
\n
\n<\/div>\n\n A demanda por esses profissionais n\u00e3o acompanha com aumento de oferta, e o ticket desse profissional est\u00e1 se tornando um dos mais caros do mercado, justamente pela falta de especialistas e forma\u00e7\u00e3o na \u00e1rea.\n
\n
\n<\/div>\nAprenda a programar \u200d \u200d <\/h2>\n\n Quem deseja aprender Data Science deve saber que para se tornar um profissional cobi\u00e7ado no mercado \u00e9 necess\u00e1rio ter uma base s\u00f3lida em:\n
\n
\n<\/div>\n\n - Matem\u00e1tica<\/strong>: \u00e1lgebra linear, fun\u00e7\u00e3o polinomial do 1\u00ba e 2\u00b0 grau, trigonometria, fun\u00e7\u00e3o logar\u00edtmica, etc.<\/li>\n
- Estat\u00edstica<\/strong>: probabilidade, infer\u00eancia estat\u00edstica, regress\u00e3o linear, tipos de vari\u00e1veis, amostra, tipos de gr\u00e1ficos, etc.<\/li>\n
- Programa\u00e7\u00e3o e Desenvolvimento: Aqui as linguagens mais famosas s\u00e3o R e Python<\/a>.<\/li>\n<\/ul>\n\n Um Cientista de Dados precisa ter uma base s\u00f3lida em programa\u00e7\u00e3o e em matem\u00e1tica\/estat\u00edstica, para ser capaz de compreender o que acontece \"por detr\u00e1s do cap\u00f4\" dos algoritmos e bibliotecas utilizadas e populares entre esses profissionais. Sem isso \u00e9 como um mec\u00e2nico que pode at\u00e9 mesmo saber como consertar o carro e resolver o problema do \"sintoma\" mas nunca saberia o por qu\u00ea do carro ter estragado em primeiro lugar, ou seja, n\u00e3o saber\u00e1 o diagn\u00f3stico completo.\n
<\/strong>\n
\n<\/div>\n\n N\u00e3o entendeu ainda? Vamos l\u00e1:\n
\n
Um exemplo de um job de Data Science seria por exemplo o seguinte.\n
\n
Voc\u00ea est\u00e1 tomando seu caf\u00e9 da manh\u00e3, trabalhando de home office, quando de repente, voc\u00ea recebe um e-mail do seu CFO, Jo\u00e3o Paulo Aranha, pedindo para seu time realizar uma an\u00e1lise preditiva para calcular em quantos por cento aumentar\u00edamos a taxa de cancelamento mensal da Revista Aquilo\u00c9 se aument\u00e1ssemos em 1,58% o pre\u00e7o da mensalidade. Cientistas de Dados devem juntar as bases de dados, para primeiro compreender as modalidades de assinatura dos clientes, logo os padr\u00f5es dos hist\u00f3ricos de cancelamentos dos leitores e assim, realizar uma proje\u00e7\u00e3o preditiva do aumento da taxa de cancelamento, em rela\u00e7\u00e3o \u00e0 sensibilidade do pre\u00e7o e a disposi\u00e7\u00e3o a pagar das pessoas.\n
\n
\n<\/div>\n\n Para isso, ser\u00e1 necess\u00e1rio usar bibliotecas de Machine Learning como scikit-learn, para realizar an\u00e1lises de regress\u00e3o linear e regress\u00e3o log\u00edstica, entre outras an\u00e1lises e construir um modelo preditivo de Machine Learning para avaliar esse resultado e encontrar um ponto \u00f3timo, onde talvez, se aument\u00e1ssemos em 1,58% o pre\u00e7o da assinatura, provavelmente o total da receita de perda de novos clientes que n\u00e3o t\u00eam disposi\u00e7\u00e3o a pagar o novo pre\u00e7o incrementado, em detrimento do aumento do faturamento em resposta aos clientes que permanecessem. E assim, encontrar um ponto \u00f3timo, onde talvez, 1,58% seja um aumento substancial, e n\u00e3o deve-se tomar essa decis\u00e3o de neg\u00f3cio. Tampouco, n\u00e3o aumentar em nada o pre\u00e7o da revista, pode ser prejudicial, mas talvez se aument\u00e1ssemos em 0,97%, as somas dos outcomes positivos com negativos, pudesse resultar em um jogo de soma-positiva.\n
\n
\n<\/div>\n\n Sem o poder computacional para otimizar a efici\u00eancia das an\u00e1lises, tudo teria que ser feito como os matem\u00e1ticos e estat\u00edsticos faziam antigamente: Na m\u00e3o. Isso n\u00e3o \u00e9 imposs\u00edvel, mas \u00e9 bastante trabalhoso\u2026 Por isso com as novas tecnologias dispon\u00edveis, e com a imensidade de dados a serem analisados, se voc\u00ea quer se tornar um cientista de dados, voc\u00ea \n precisa<\/strong> aprender a programar.\n
\n
\n<\/div>\n\n Legal V\u00edtor, mas e agora? Como eu posso come\u00e7ar a entender mais sobre essa \u00e1rea de Data Science para saber se isso \u00e9 pra mim mesmo ou n\u00e3o?\n
\n
Voc\u00ea come\u00e7ar a aprender mais sobre data science \n aqui<\/a>.\n<\/div>\n\n
Ci\u00eancia de Dados \u00e9 um campo extremamente amplo, onde d\u00e1 para se especializar muito em pequenas sub-\u00e1reas, mas o \"feij\u00e3o com arroz\" mesmo come\u00e7a aqui:\n<\/div>\n\n
\n<\/div>\nAprenda a programar em Python \u200d \u200d <\/h3>\n\n A \n linguagem de programa\u00e7\u00e3o<\/a> Python \u00e9 uma linguagem de alto n\u00edvel, com tipagem din\u00e2mica e tem diversas bibliotecas dispon\u00edveis que permitem agilizar o trabalho do cientista de dados. \n
\n
\n<\/div>\n\n A linguagem de programa\u00e7\u00e3o junto \u00e0s bibliotecas \n permitem analisar arrays e matrizes multi-dimensionais facilmente<\/strong>, estruturas e opera\u00e7\u00f5es de dados e ainda trabalhar com tabelas num\u00e9ricas complexas. \n
\n
\n<\/div>\n\n Com Python voc\u00ea pode trabalhar analisando quaisquer fontes de informa\u00e7\u00f5es, bancos de dados estruturados e n\u00e3o estruturados, web-scraping, xmls files ou cvs ou at\u00e9 mesmo APIs.\n
\n
\n<\/div>\n\n Quer ver como aprender Python? Leia nosso <\/strong>\n guia completo<\/strong><\/a>\n com todas as informa\u00e7\u00f5es necess\u00e1rias que voc\u00ea precisa para desenvolver seus conhecimentos nessa linguagem. <\/strong>\n<\/div>\n\n
\n<\/div>\nBibliotecas Pandas e Numpy <\/h3>\n\n As Libraries Pandas e Numpy permitem acessar os grandes bancos de dados (SQL) e junto com o Kaggle.com voc\u00ea ter\u00e1 os dados necess\u00e1rios para brincar com novos projetos. \n
\n
\n<\/div>\n\n No Kaggle voc\u00ea poder\u00e1 acessar \n mais de 50 mil banco de dados p\u00fablicos e mais de 400 mil notebooks p\u00fablicos<\/strong> para trabalhar a an\u00e1lise de dados e explorar diferentes \u00e1reas no campo da ci\u00eancia de dados. \n
\n
\n<\/div>\n\n Al\u00e9m disso, voc\u00ea pode participar de competi\u00e7\u00f5es. \n Elas t\u00eam o objetivo de desafiar os participantes na resolu\u00e7\u00e3o de problemas reais de grandes empresas<\/strong>. Ou seja, voc\u00ea tem a possibilidade de colocar seu conhecimento no mercado em tempo real. \n
\n
\n<\/div>\n\n No fim de cada competi\u00e7\u00e3o o ganhador pode levar um pr\u00eamio em dinheiro. \n
\n
\n<\/div>\n\n Para terminar as an\u00e1lises de dados voc\u00ea pode utilizar o \n Google Collab<\/a> ou Jupyter Notebook. Ambas s\u00e3o ferramentas online dedicadas, entre outras coisas, \u00e0 an\u00e1lise de dados.\n
\n
\n<\/div>\nLinguagem R<\/h3>\n\n A linguagem R tamb\u00e9m \u00e9 muito utilizada \u00e9 necess\u00e1ria se voc\u00ea quer aprender data science. Ela permite a \n constru\u00e7\u00e3o de um ambiente ideal para constru\u00e7\u00e3o de gr\u00e1ficos e fazer estat\u00edsticas<\/strong> como:\n
\n
\n<\/div>\n\n - Modelagem linear e n\u00e3o-linear;<\/li>\n
- Testes estat\u00edsticos cl\u00e1ssicos;<\/li>\n
- An\u00e1lise de s\u00e9ries temporais;<\/li>\n
- Classifica\u00e7\u00e3o;<\/li>\n
- Agrupamento.<\/li>\n<\/ul>\n\n
\n<\/div>\nDomine Visualiza\u00e7\u00e3o de Dados ou Dataviz <\/h3>\n\n Enquanto as bibliotecas e ferramentas citadas acima permitem voc\u00ea aprender Data Science, existem outras que v\u00e3o te ajudar a \n visualizar os dados de maneira mais intuitiva e agrupada.
<\/strong>\n
\n<\/div>\n\n Muitas pessoas utilizam o BI ou Tableau para fazer suas primeiras visualiza\u00e7\u00f5es, no entanto essas ferramentas foram criadas para o analista de dados e n\u00e3o para o cientista. \n
\n
\n<\/div>\n\n Por\u00e9m existem outras formas de se fazer isso, inclusive existem 2 bibliotecas para Python famosas nessa \u00e1rea: \n matplotlib e seaborn<\/strong>. \n
\n
\n<\/div>\n\n Enquanto o matplotlib abrange a cria\u00e7\u00e3o e visualiza\u00e7\u00e3o de dados de uma maneira animada e interativa, a biblioteca Seaborn permite a constru\u00e7\u00e3o de gr\u00e1ficos atraentes e muito informativos.\n
\n
\n<\/div>\n\n Dedique-se a aprender mais sobre elas e explique suas possibilidades.\n<\/div>\nO que \u00e9 Decision Science? \u2716\u2795\u2796\u2797<\/h2>\n\n A uni\u00e3o entre matem\u00e1tica e dados s\u00f3 poderia resultar em tomadas de decis\u00f5es com muito mais probabilidade de acerto. \n
\n
\n<\/div>\n\n Ou seja, o cientista de dados deve utilizar recursos matem\u00e1ticos apoiados por ferramentas computacionais para cria\u00e7\u00e3o de diferentes cen\u00e1rios poss\u00edveis \n a fim de justificar uma determinada decis\u00e3o de neg\u00f3cio e mostrar o que pode acontecer se seguir outras dire\u00e7\u00f5es<\/strong>. \n
\n
\n<\/div>\n\n Decision Science \u00e9 onde unimos a estat\u00edstica, a an\u00e1lise de dados com programa\u00e7\u00e3o e poder computacional, com as m\u00e9tricas chave do neg\u00f3cio, como por exemplo, OKRs e KPIs. Esses conhecimentos, permitem entender a rela\u00e7\u00e3o entre os dados e vari\u00e1veis do neg\u00f3cio, para atrav\u00e9s de engenharia de dados, encontrar novas vari\u00e1veis e par\u00e2metros, que v\u00e3o ajudar a compreender melhor a realidade e a tomada de decis\u00f5es orientada por dados, inv\u00e9s de uma tomada de decis\u00e3o, orientada por f\n eeling<\/em>ou achismos. \n
\n
\n<\/div>\n\n Em Decision Science, usa-se muito de m\u00e9tricas comuns da estat\u00edstica, como m\u00e9dia, mediana, desvio padr\u00e3o R\u00b2 e graus de correla\u00e7\u00e3o, regress\u00e3o linear e regress\u00e3o log\u00edstica para desvendar como os indicadores se relacionam e obter insights de neg\u00f3cio.\n
\n
\n<\/div>\n\n Dessa forma, as empresas que usam esse recurso saem na frente da concorr\u00eancia, j\u00e1 que n\u00e3o tomam decis\u00f5es baseadas em achismos.\n<\/div>\nA Ci\u00eancia dos Dados <\/h2>\n\n Em Data Science, diferente de qualquer outra an\u00e1lise de dados normal, segue rigorosamente e metodologia cient\u00edfica da academia para processualizar suas an\u00e1lises. \u00c9 justamente o rigor cient\u00edfico a utiliza\u00e7\u00e3o desse m\u00e9todo unidos \u00e0 matem\u00e1tica, estat\u00edstica e programa\u00e7\u00e3o, que batizaram o nome desse profissional.\n
\n
Com o m\u00e9todo cient\u00edfico, as empresas se blindam de realizar an\u00e1lises enviesadas, que n\u00e3o compreendem a realidade, e sair da caixa para ampliar a granularidade dos dados, e obter an\u00e1lises mais assertivas.\n
\n
O m\u00e9todo cient\u00edfico: \n
\n
\n<\/div>\n\n - Observa\u00e7\u00e3o: Assim como Galileu Galilei, o pai da ci\u00eancia moderna, utilizou da observa\u00e7\u00e3o e experimenta\u00e7\u00e3o para analisar um fen\u00f4meno, aqui Data Scientist escolhem seu objeto de an\u00e1lise<\/li>\n
- Elabora\u00e7\u00e3o do Problema: Aqui, antes de determinar quais respostas se querem encontrar, \u00e9 importante antes voc\u00ea se fazer qual pergunta, ou qual problema voc\u00ea quer responder ou resolver. Uma boa pergunta pede uma boa resposta.<\/li>\n
- Elabora\u00e7\u00e3o de Hip\u00f3teses: Com base na observa\u00e7\u00e3o do objeto de estudo e com base nas perguntas elaboradas, tenta-se estipular poss\u00edveis respostas para o problema.<\/li>\n
- Valida\u00e7\u00e3o: Aqui para os Cientistas de Dados, \u00e9 aonde inicia-se as an\u00e1lises de dados e tudo que vimos at\u00e9 agora para validar se alguma das hip\u00f3teses estipuladas de fato responde a pergunta do problema ou n\u00e3o, com vaz\u00e3o para serem validadas ou invalidadas.<\/li>\n
- An\u00e1lise de Resultados: Ap\u00f3s a escolha da metodologia de an\u00e1lise, e ap\u00f3s rodadas todas as devidas an\u00e1lises de dados, com as visualiza\u00e7\u00f5es dispon\u00edveis, discutimos e assinalamos as conclus\u00f5es obtidas dos experimentos.<\/li>\n
- Conclus\u00f5es<\/li>\n<\/ol>\n
Aprenda Machine Learning <\/h2>\n\n N\u00e3o existe Cientista de Dados \"unic\u00f3rnio\". Aquele que sabe fazer de TUDO. O Data Scientist peer-to-peer. O Rodrigo Hilbert da Ci\u00eancia de Dados. N\u00e3o. Isso \u00e9 lenda urbana e folclore, assim como Saci Perer\u00ea, Mula-sem-cabe\u00e7a e o Curupira... \n
\n
Em grandes empresas, ou as big tech companies, como Apple, Microsoft, Facebook, Amazon e por a\u00ed segue a lista dos residentes de Palo Alto, do Silicon Valey... Enfim, todos esses t\u00eam times inteiros de Data Scientists, segmentados, onde cada um tem determinada especialidade e responsabilidade por uma pequena parte de todo esse processo. At\u00e9 mesmo um Gestor ou L\u00edder de \u00e1rea, por mais que seja importante compreender todo o processo, desde a extra\u00e7\u00e3o, processamento at\u00e9 o deploy, ele n\u00e3o vai saber executar na \u00edntegra todas as etapas... \n
\n
Machine Learning, sem d\u00favida \u00e9 uma das habilidades mais populares hoje em dia, muito em alta, mas na verdade s\u00e3o poucas as pessoas que realmente compreendem do que se trata e como acontece esse processo. Com certeza \u00e9 aonde a maioria dos Cientistas de Dados gostaria de estar trabalhando aqui, mas pouca gente sabe, mas a parte de modelagem, \u00e9 a cereja da cereja do bolo. 95% \u00e0 99% do tempo voc\u00ea fica na parte de ETL, limpando os dados, e s\u00f3, somente s\u00f3, quando est\u00e1 tudo prontinho para ser analisado que entra a parte \"legal\" de ML. \n sabe de nada inocente! rsrsrs
E lembrem-se: Machine Learning \u00e9 uma t\u00e9cnica <\/em>\n que nem sempre precisa ser usada! <\/em><\/strong>\n Muita gente se perde pela vontade de usar ML quando muitas vezes n\u00e3o tem a menor necessidade, e uma simples regress\u00e3o linear d\u00e1 conta de resolver o problema. <\/em>\n N\u00e3o tenham medo de n\u00e3o usar ML.<\/em><\/strong>\n
\n
Machine Learning \u00e9 um bem diferente de an\u00e1lise de dados. \n
Enquanto na an\u00e1lise de dados voc\u00ea tem um input, dos dados a serem analisados e tem um output, que s\u00e3o as an\u00e1lises de fato. Em ML voc\u00ea j\u00e1 come\u00e7a com o input e o output juntos. Mas como assim V\u00edtor?\n
\n
Vamos l\u00e1, \u00e9 mais simples do que parece:\n
Existem dois tipos de Aprendizagem de M\u00e1quina:\n
\n
\n<\/div>\n\n - Supervisionada<\/li>\n
- N\u00e3o-Supervisionada<\/li>\n<\/ol>\n\n Daqui a pouquinho voltamos aqui. Segura a\u00ed!\n
Em Machine Learning, voc\u00ea j\u00e1 come\u00e7a com um dataset com o input, e com o output, no sentido de que, voc\u00ea j\u00e1 tem as an\u00e1lises de determinados resultados de alguns comportamentos dentro da sua base de dados, e aqui, o objetivo \u00e9 criar um modelo ou algoritmo, que com base nos padr\u00f5es de input e de output, seja capaz de prever sozinho, \n atrav\u00e9s do aprendizado<\/strong> ao interagir com um novo dados nunca antes visto pelo modelo, qual ser\u00e1 a classifica\u00e7\u00e3o ou output dele, com base no seu treino com o dataset inicial. Capicci?\n
\n
Voc\u00ea pega seu dataset, divide ele da melhor forma poss\u00edvel (tamb\u00e9m com boas pr\u00e1ticas e com base em algumas f\u00f3rmulas e bibliotecas de ML) e dai voc\u00ea separa ele em duas partes:\n
\n
\n<\/div>\n\n - Treino<\/li>\n
- Teste<\/li>\n<\/ul>\n\n O treino ser\u00e1 a maior parte do seu dataset (70% via de regra) para treinar seu modelo e alimentar o algoritmo a entender e analisar os padr\u00f5es de input x ouput. \n
A\u00ed sim, uma vez treinado e instanciado o modelo de ML, voce pegar\u00e1 o resto do seu dataset, os outros 30%, nunca antes interagido com o modelo e analisar em quantos por cento, ele ir\u00e1 ser capaz de acertar o output dos dados, sejam eles uma classifica\u00e7\u00e3o (Frio ou Quente, True or False, A ou B ou C ou D) ou seja ele algum resultado espec\u00edfico (X, Y, Z, R\u00b2).\n
\n
\n<\/div>\nCuidado com seu modelo, pois voc\u00ea pode ter resultados bem enviesados. S\u00e3o chamados eles de Overfitting e Underfitting.\n \n \n \n Underfitting, Overfitting & Balanced\n <\/figcaption>\n <\/figure>Underfitting <\/h3>\n\n Nesse caso, o modelo j\u00e1 \u00e9 ruim desde na pr\u00f3pria etapa de treinamento. Ou seja, o recorte da divis\u00e3o do dataset entre treinamento e teste foi mal feita, de modo que a amostragem de treino, n\u00e3o tem uma representatividade do que acontece de fato na realidade do conjunto inteiro.\n
\n
Sendo assim, o algoritmo, n\u00e3o consegue entender corretamente como os dados se relacionam e voc\u00ea deve corrigir isso, re-instanciando novamente o modelo, at\u00e9 encontrar uma boa divis\u00e3o do recorte entre os dados para alimentar o treino e os dados para test\u00e1-lo.\n<\/div>\n\n
\n<\/div>\nOverfitting <\/h3>\n\n O Overfitting, \u00e9 quando seu modelo Aprendizado de M\u00e1quina \u00e9 t\u00e3o assertivo, que n\u00e3o houve aprendizagem do algoritmo, e que ele na verdade, decorou os outcomes com base no dataset. \n
\n
Aqui o modelo atua de forma que se inputado novamente com um dado equivalente \u00e0 algum j\u00e1 antes visto, ao inv\u00e9s de processar um novo resultado de outcome, d\u00e1 a correspond\u00eancia exata daquele datapoint, como se fossem atributos de chave-valor. Quando isso acontece, o modelo \u00e9 ineficaz para prever novos resultados.\n<\/div>\n\n
\n<\/div>\nBalanced<\/h3>\n\n Um bom modelo de Machine Learning, \u00e9 aquele cujo recorte do dataset entre treino e teste foi bem feito e representativo, de modo que a acur\u00e1cia do modelo de ML seja alta para prever novos resultados quando interagir com novos pontos de dados. Normalmente um bom modelo de ML fica entre 95% - 99% de acur\u00e1cia, mas tamb\u00e9m vai depender de N fatores das especificidades do que voc\u00ea est\u00e1 analisando.\n<\/div>\n\n
\n<\/div>\nE para que serve Machine Learning? <\/h3>\n\n Voc\u00ea j\u00e1 pensou como a Netflix faz sugest\u00f5es de s\u00e9ries t\u00e3o pr\u00f3ximas daquilo que voc\u00ea pode gostar ou como os carros aut\u00f4nomos conseguem dirigir sozinhos pelas cidades? Respectivamente com t\u00e9cnicas de data clustering, ou agrupamento de dados na Netflix, e NLP, ou Natural Language Processing, o processamento de textos, imagens e v\u00eddeos, no caso dos carros auto-dirig\u00edveis, da Tesla.\n
\n
No caso da Netflix, seus algoritmos compreende os g\u00eaneros que voc\u00ea assiste frequentemente, o que voc\u00ea pesquisa na plataforma, quanto tempo voc\u00ea passa assistindo e mais uma s\u00e9rie de informa\u00e7\u00f5es para te recomendar s\u00e9ries e filmes que voc\u00ea ter\u00e1 mais probabilidade de assistir. Tamb\u00e9m faz recomenda\u00e7\u00f5es com base em usu\u00e1rios com gostos por filmes e s\u00e9ries similares aos seus.\n
\n
\n<\/div>\n\n Tudo isso \u00e9 poss\u00edvel com o Machine Learning<\/strong>. A partir dos seus comandos um computador conseguir\u00e1 tomar decis\u00f5es sozinhos baseados no que ele vai aprendendo ao longo do tempo. \n<\/div>\n\n
\n<\/div>\nO que \u00e9 Deep Learning? <\/h3>\n\n O deep learning \u00e9 uma sub-\u00e1rea dentro de Machine Learning, que tem o objetivo de ensinar os computadores a realizarem tarefas como um ser humano faria. T\u00e1 mas qual a diferen\u00e7a, V\u00edtor?\n
\n
\n<\/div>\n\n Voc\u00ea j\u00e1 deve ter visto falar da Alexa, assistente virtual da Amazon. Seu software foi criado com tecnologias de Deep Learning e aprende a cada nova intera\u00e7\u00e3o que fazemos com ela por meio dos comandos de voz. \n
\n
Basicamente, a complexidade do Deep Learning \u00e9 bem maior, consistindo em um conjunto de algoritmos, capazes de modelar e processar altos n\u00edveis de abstra\u00e7\u00e3o de dados atrav\u00e9s de grafos profundos e uma s\u00e9rie de camadas de processamento, que realizam em tempo-real transforma\u00e7\u00f5es lineares e n\u00e3o-lineares.... OK, mas o que isso significa em portugu\u00eas? rsrs\n
\n
S\u00e3o formas de Intelig\u00eancia Artificial, que usam t\u00e9cnicas avan\u00e7adas, com o objetivo de imitar a fun\u00e7\u00f5es cognitiva de aprendizado do ser humano de maneira intuitiva. Como a Alexa, da Amazon.\n<\/div>\n\n
\n<\/div>\nModel Tuning <\/h3>\n\n O Model Tuning \u00e9 um processo que tem o objetivo de melhorar a escolha do hiperpar\u00e2metro mais preciso para um algoritmo utilizado no aprendizado de m\u00e1quina. \n
\n
\n<\/div>\n\n Todo algoritmo possui diferentes hiperpar\u00e2metros e por meio do modelo tuning \u00e9 poss\u00edvel dizer qual \u00e9 o mais adequado para cada situa\u00e7\u00e3o. Model Tuning \u00e9 a pr\u00e1tica onde se ajusta o modelo de Machine Learning criado, para alcan\u00e7ar maior acur\u00e1cia na sua capacidade preditiva de prever corretamente o resultado. \u00c9 onde vamos encontrar a melhor separa\u00e7\u00e3o do dataset entre a divis\u00e3o entre o que ser\u00e1 a parte de treino, que ir\u00e1 alimentar o modelo e qual ser\u00e1 a parte de teste, para testar a capacidade do modelo e da previs\u00e3o.\n
\n
\n<\/div>\n\n Determinar qual conjunto de hiperpar\u00e2metros resulta no modelo mais preciso<\/strong>.\n
<\/strong>\n
\n<\/div>\n\n Esse processo \u00e9 importante pois permite que voc\u00ea construa modelos personalizados que v\u00e3o gerar resultados muito mais precisos e com isso fornecer insights mais ricos a respeito dos seus dados. Assim \u00e9 poss\u00edvel fazer tomadas de decis\u00e3o mais assertivas.\n
\n
\n<\/div>\n\n Afinal de contas. dentro de um mesmo dataset e um mesmo modelo de ML, voc\u00ea pode encontrar diferentes reparti\u00e7\u00f5es e divis\u00f5es, e tamb\u00e9m, diferentes taxas de acur\u00e1cia de previsibilidade do modelo, sendo o Model Tuning um conjunto de pr\u00e1ticas para encontrar os par\u00e2metros \u00f3timos para o melhor modelo poss\u00edvel, dentro de um determinado conjunto de dados.\n
\n
\n<\/div>\nDicas pr\u00e1ticas de como aprender Data Science do zero<\/h2>\n\n Depois de tanta teoria e explica\u00e7\u00f5es, \u00e9 hora de voc\u00ea ver dicas para praticar tudo aquilo que eu disse aqui. \n
\n
\n<\/div>\n\n Nos trechos a seguir eu tamb\u00e9m te mostro alguns sites para voc\u00ea aprender Python e Data Science sozinho. Veja a seguir!\n<\/div>\n\n
\n<\/div>\nFa\u00e7a um projeto \u200d \u200d <\/h3>\n\n Muitas das ferramentas que citamos aqui s\u00e3o gratuitas e voc\u00ea pode acessar de qualquer computador. Al\u00e9m disso, bancos de dados p\u00fablicos s\u00e3o que n\u00e3o faltam para voc\u00ea brincar de fazer an\u00e1lise de dados e voc\u00ea pode usar uma das ferramentas que j\u00e1 citamos no texto, o Kaggle.\n
\n
\n<\/div>\n\n Voc\u00ea pode criar sua conta no Google Collab e explorar os recursos da ferramenta. O notebook Jupyter tamb\u00e9m \u00e9 uma boa op\u00e7\u00e3o para essa tarefa. \n
\n
\n<\/div>\n\n Por serem duas ferramentas online voc\u00ea n\u00e3o precisar\u00e1 ter um super computador ou algo do tipo para explorar o universo da ci\u00eancia de dados. <\/strong>\n<\/div>\n\n
\n<\/div>\nLeia Livros, Blogs e Conte\u00fados de Data Science <\/h3>\n\n Para aproveitar o m\u00e1ximo de aprendizado poss\u00edvel \u00e9 necess\u00e1rio ter uma total imers\u00e3o no assunto para absorver o m\u00e1ximo de informa\u00e7\u00f5es. \n
\n
\n<\/div>\n\n Ler livros sobre ci\u00eancia de dados permite que voc\u00ea siga uma linha l\u00f3gica de aprendizado com contextualiza\u00e7\u00e3o, desenvolvimento e conclus\u00e3o de determinado assunto. \n
\n
\n<\/div>\n\n Como data science \u00e9 uma \u00e1rea t\u00e3o plural, voc\u00ea ter\u00e1 muitas op\u00e7\u00f5es para escolher, <\/strong>mas vou citar alguns dos principais:\n
\n
\n<\/div>\n\n - Introduction to Machine Learning with Python;<\/li>\n
- Python for Data Analysis;<\/li>\n
- Python Data Science Handbook;<\/li>\n
- Python Machine Learning;<\/li>\n
- Deep Learning;<\/li>\n
- Machine Learning: a Probabilistic Perspective;<\/li>\n
- Deep Learning Book (possui vers\u00e3o em portugu\u00eas<\/a>).<\/li>\n<\/ul>\n\n Al\u00e9m disso, complemente sua leitura com conte\u00fados da internet. Minha recomenda\u00e7\u00e3o \u00e9 buscar fontes estrangeiras pois alguns mercados de tecnologia est\u00e3o mais maduros que o brasieleiro e por isso voc\u00ea pode beber \u00e1gua direto da fonte. \n
\n
\n<\/div>\n\n Alguns que mais gosto s\u00e3o:\n
\n
\n<\/div>\n\n - IBM Big Data & Analytics Hub;<\/li>\n
- Blog e podcast DataCamp;<\/li>\n
- Central Data Science;<\/li>\n
- KDnuggets;<\/li>\n
- Data Science<\/li>\n<\/ul>\n
Participe de Comunidades \u200d \u200d <\/h3>\n\n Outra forma de aprender data science \u00e9 participar de comunidades sobre o assunto. \n
\n
\n<\/div>\n\n Existem muitas no Brasil e em todo mundo. As comunidades permitem que voc\u00ea compartilhe suas d\u00favidas e receba opini\u00f5es e \n ajuda de profissionais que est\u00e3o num n\u00edvel de conhecimento mais avan\u00e7ado que voc\u00ea.<\/strong> \n
\n
\n<\/div>\n\n Al\u00e9m disso, mesmo que voc\u00ea j\u00e1 domine bem o assunto, sempre acontece discuss\u00f5es de diferentes casos que acontecem no dia a dia do programador e quais atitudes o profissional teve para resolver o impasse.\n
\n
\n<\/div>\n\n Algumas comunidades interessantes que eu recomendo s\u00e3o:\n
\n
\n<\/div>\n
<\/strong>\n
\n<\/div>\n
\n Cada intera\u00e7\u00e3o de um usu\u00e1rio gera um novo pixel de informa\u00e7\u00e3o e as empresas entenderam a import\u00e2ncia de analisar o m\u00e1ximo de dados poss\u00edveis, para obter vantagem competitiva, afinal de contas, conhecimento \u00e9 poder. Hoje vivemos na Era da Informa\u00e7\u00e3o e gerados enormes volumes de dados diariamente, e assim, foi cunhado o conceito de Big Data.\n<\/div>\n
\n
\n<\/div>\nBig Data <\/h3>\n
\n<\/div>\n
Big Data <\/h3>\n\n Big Data nada mais \u00e9 que o processamento, limpeza, tratamento, e an\u00e1lise de grandes quantidades de dados e grandes variedades de dados, com a utiliza\u00e7\u00e3o de poder computacional.\n
\n
\u00c9 dito que o Big Data tem 5 V's:\n
\n
\n<\/div>\n\n - Volume<\/li>\n
- Variedade<\/li>\n
- Velocidade<\/li>\n
- Veracidade<\/li>\n
- Valor<\/li>\n<\/ol>\n\n O ponto ao redor do Big Data \u00e9 ter mais informa\u00e7\u00f5es e ter informa\u00e7\u00f5es mais rapidamente, como uma vantagem competitiva de neg\u00f3cio.\n
\n
\n<\/div>\n\n Essa \u00e9 a responsabilidade do engenheiro de dados, garimpar as informa\u00e7\u00f5es necess\u00e1rias para que elas sejam tratadas e permitir que as an\u00e1lises de dados sejam mais claras.\n
\n
\n<\/div>\n\n Ele faz isso por meio do ETL <\/strong>(Extract , Transform and Load), tamb\u00e9m conhecido como ETC (Extrair, Transformar, Carregar) em portugu\u00eas. \n
\n
Imagine que um cliente passe um banco de dados com as informa\u00e7\u00f5es de um grupo de clientes espec\u00edficos de seu e-commerce. \n
\n
\n<\/div>\n\n Neste banco de dados podem existir informa\u00e7\u00f5es faltantes, podem haver valores de dados armazenados que n\u00e3o fazem sentido, como por exemplo: \"-99, -999, ?, #$%@\" .\n
\n
O papel do engenheiro de dados, vai variar de acordo com a empresa e seu n\u00edvel de maturidade em Ci\u00eancia de Dados, mas normalmente o engenheiro de dados, fica respons\u00e1vel pelos processos de ETL.\n<\/div>\n\n
\n<\/div>\nExtract <\/h3>\n\n O Engenheiro de Dados pode extrair seus dados de diversas fontes diferentes, algumas das principais delas s\u00e3o:\n
\n
\n<\/div>\n\n - Bancos de Dados (SQL ou NoSQL)<\/li>\n
- Web Scraping<\/li>\n
- APIs<\/li>\n<\/ul>\n
Transform <\/h3>\n\n Aqui o engenheiro de dados deve limpar o dataset atrav\u00e9s de pr\u00e1ticas como \n enconding<\/strong>, adicionando valores faltantes atrav\u00e9s de m\u00e9todos de input ou tamb\u00e9m retirando dados em branco, dados n\u00e3o-relevantes para as an\u00e1lises e substituindo valores que foram armazenados de forma incorreta para deixar o banco otimizado para a an\u00e1lise poder ser bem feita, e serem carregados em ferramentas de visualiza\u00e7\u00e3o. \n
\n
\n<\/div>\n\n Ou seja, no banco de dados recebidos a primeira etapa ser\u00e1 de extra\u00e7\u00e3o das informa\u00e7\u00f5es onde o engenheiro de dados far\u00e1 a comunica\u00e7\u00e3o daqueles informa\u00e7\u00f5es com outros sistemas a fim de capturar os dados que devem ser inseridos. Muitas vezes seu papel pode ser automatizar a comunica\u00e7\u00e3o de dados entre dois sistemas diferentes.\n<\/div>\n\n
\n<\/div>\nLoad \u23e9<\/h3>\n\n Por fim, uma vez com os dados limpos e tratados, ele deve prepar\u00e1-los para a etapa de carregamento, onde profissional deve ajustar as ferramentas de visualiza\u00e7\u00e3o para que o analista ou outros profissionais de Data Science possam cruzar os dados e realizar suas respectivas an\u00e1lises\n
\n
\n<\/div>\n\n O engenheiro de dados \n deixa tudo automatizado para que haja o m\u00ednimo de interfer\u00eancia humana<\/strong> e o pr\u00f3prio sistema tenha a capacidade de entregar a informa\u00e7\u00e3o certa. Uma boa pr\u00e1tica de carregamento de dados automatizados \u00e9 o Data Streaming, onde a visualiza\u00e7\u00e3o de dados, j\u00e1 pr\u00e9-configurada para determinadas an\u00e1lises, \u00e9 carregada em tempo-real e atualizada a todo momento, no per\u00edodo de tempo escolhido.\n<\/div>\n\n
\n<\/div>\nAnalista de Dados <\/h3>\n\n Depois que o engenheiro cuida dos dados por meio do ETL, o analista j\u00e1 receber\u00e1 essas informa\u00e7\u00f5es tratadas e deve se preocupar em \n cruzar os dados<\/strong>, \n analis\u00e1-los<\/strong>, construir gr\u00e1ficos e pranchetas de visualiza\u00e7\u00e3o das informa\u00e7\u00f5es como foco no aux\u00edlio da tomada de decis\u00e3o tendo uma vis\u00e3o de neg\u00f3cio. \n
\n
\n<\/div>\n\n Ou seja, ele precisa entender o que os dados querem dizer no contexto pr\u00e1tico da coisa. Ele recebe o conjunto de dados prontinho para ser analisado, e \u00e9 importante o Analista ter o conhecimento de neg\u00f3cio e de mercado, para se fazer as perguntas certas, do que deve ser descoberto. Aqui \u00e9 importante usar a metodologia cient\u00edfica e realizar a formula\u00e7\u00e3o de hip\u00f3teses do que se deseja desvendar. \n
\n
\n<\/div>\n\n Este profissional deve construir uma interface onde essas informa\u00e7\u00f5es possam ser vistas e acessadas facilmente. O Analista de Dados ou Analista de Neg\u00f3cio tem a fun\u00e7\u00e3o de dar contexto aos dados e entender o que eles significam na realidade da empresa, para otimizar seus processos, produtos, melhorando efici\u00eancia, e eventualmente com objetivos tamb\u00e9m de neg\u00f3cio, como aumento de receita ou de lucro.\n<\/div>\n\n
\n<\/div>\nCientista de Dados \u200d \u200d <\/h3>\n\n J\u00e1 o Data Scientist deve ter a capacidade de entender isso tudo e um pouco mais. Por mais que o Cientista de Dados, n\u00e3o precisa saber executar todas essas etapas pr\u00e9vias, \u00e9 importante que ele entenda o contexto geral do fluxo de dados dentro da empresa e ter a vis\u00e3o do \"macro\", ou do todo. \n
\n
\n<\/div>\n\n Se o analista de dados est\u00e1 para o passado, o Cientista de Dados est\u00e1 para o futuro. Seu foco \u00e9 \n fazer previs\u00f5es baseado em modelos matem\u00e1ticos robustos e estat\u00edstica, encontrando padr\u00f5es entre os dados e utilizando de tecnologias como aprendizagem de m\u00e1quina.
<\/strong>\n
\n<\/div>\n\n Uma das possibilidades aqui, e dada como uma das mais glamurosas dentro de ci\u00eancia de dados \u00e9 a cria\u00e7\u00e3o e aperfei\u00e7oamento de algoritmos que automatizam tomadas de decis\u00f5es do neg\u00f3cio. \n
\n
Um grande exemplo \u00e9 o algoritmo de recomenda\u00e7\u00e3o de filmes na Netflix, que utiliza de tecnologias de agrupamento ou \n data clustering<\/em> mas compreender como um conjunto de dados se divide em sub-grupos de comportamento ou prefer\u00eancias por gostos cinematogr\u00e1ficos e encontra usu\u00e1rios com gostos e comportamentos semelhantes dentro da plataforma, cruzando os dados, de filmes que voc\u00ea e um usu\u00e1rio em comum com voc\u00ea assistiram, e te recomenda algum filme que voc\u00ea n\u00e3o viu e que seu \"clone\" n\u00e3o assistiu ainda e vice-versa.\n
\n
O mesmo funciona para Spotify, Tinder e praticamente todas as grandes plataformas de tecnologia utilizam dessas tecnologias, mas de diferentes formas e com diferentes objetivos.\n
\n
\n<\/div>\n\n Um Cientista de Dados precisa lidar com gigantescos volumes de dados em tempo real, com isso vem a necessidade de criar mecanismos que suportem essa concentra\u00e7\u00e3o de informa\u00e7\u00f5es e ao mesmo tempo fa\u00e7a o tratamento e apresenta\u00e7\u00e3o dos mesmos. \n
\n
\n<\/div>\nPor que empresas precisam de Data Scientists? Data is the new Oil \ufe0f <\/h2>\n\n As empresas modernas s\u00e3o cada vez mais digitais. Como j\u00e1 disse, no mundo virtual, cada a\u00e7\u00e3o que fazemos \n gera uma nova informa\u00e7\u00e3o<\/strong>. \n
\n
\n<\/div>\n\n Agora imagine uma loja virtual no porte do Magazine Luiza que deve receber milhares de visitas e compras mensais. Imagine que cada clique, cada rolagem de p\u00e1gina e at\u00e9 o tempo que voc\u00ea permanece em cada se\u00e7\u00e3o \u00e9 um dado diferente. \n
\n
\n<\/div>\n\n Todos n\u00f3s geramos um volume de dados muito grande. Esses dados podem ser divididos entre dados estruturados e n\u00e3o-estruturados:\n<\/div>\n\n
\n<\/div>\nDados estruturados <\/h3>\n\n S\u00e3o aqueles que possuem um padr\u00e3o pr\u00e9 definido. Utilizam uma estrutura bem r\u00edgida e geralmente s\u00e3o criados antes do surgimento das informa\u00e7\u00f5es.\n
\n
\n<\/div>\n\n Eles geralmente s\u00e3o criados em ferramentas de tecnologia anal\u00edticas como o excel, por exemplo. \n
\n
\n<\/div>\n\n Essa estrutura \u00e9 bem definida pois, se voc\u00ea cria a regra de que um campo deve aceitar apenas n\u00fameros, n\u00e3o ser\u00e1 poss\u00edvel adicionar uma v\u00edrgula ou uma letra.\n
\n
\n<\/div>\n\n Um exemplo de dados estruturados s\u00e3o dados armazenados em SQL, ou Structured Query Language, que nada mais s\u00e3o que tabelas de chave-valor, como as planilhas de excel, mas dessa vez, em um banco de dados din\u00e2mico, como o MySQL ou Postgres. Para cada chave existe um valor. Assim como um jogo de Batalha Naval!\n
\n
\n<\/div>\nDados n\u00e3o-estruturados <\/h3>\n\n Diferente dos dados estruturados, os n\u00e3o estruturados n\u00e3o seguem padr\u00f5es r\u00edgidos, sendo bem flex\u00edveis e din\u00e2micos.\n
\n
\n<\/div>\n\n Esse tipo de informa\u00e7\u00e3o \u00e9 uma das mais produzidas no mundo virtual justamente por sua facilidade de mudan\u00e7a e aceite de diferentes caracteres. \n
\n
\n<\/div>\n\n Um exemplo disso s\u00e3o os dados gerados nas redes sociais. Diante de tanta informa\u00e7\u00e3o que \u00e9 produzida a cada segundo por meio da publica\u00e7\u00e3o de fotos, v\u00eddeos e textos, limita-las numa estrutura fixa n\u00e3o seria eficaz. \n<\/div>\n\n
\n<\/div>\n\n Um exemplo de dados n\u00e3o-estruturados s\u00e3o todos os tweets gerados diariamente, que s\u00e3o informa\u00e7\u00f5es n\u00e3o organizadas, mas que podem conter um valor importante para compreender cen\u00e1rios. Neste caso, por exemplo uma pr\u00e1tica realizada por empresas, como o monitoramento de redes sociais, servem para fazer an\u00e1lise de sentimentos dos usu\u00e1rios com base no que \u00e9 dito por cada um.\n
\n
\n<\/div>\n\n Assim o papel de um Data Scientist se faz cada vez mais importante e n\u00e3o \u00e9 atoa que a demanda por esse profissional cresceu tanto nos \u00faltimos anos. \n
\n
\n<\/div>\n\n As empresas perceberam que dados podem ser convertidos em informa\u00e7\u00e3o,\n quem tem informa\u00e7\u00e3o, tem poder e quem tem poder tem vantagem competitiva no mercado<\/strong>. \n
\n
\n<\/div>\n\n Por isso, uma pessoa que deseja aprender Data Science tem uma grande oportunidade de carreira. Entre as principais formas de como os profissionais contribuem para o crescimento das institui\u00e7\u00f5es \u00e9 poss\u00edvel citar:\n<\/div>\n\n
\n<\/div>\nOtimiza\u00e7\u00e3o para Tomada de Decis\u00f5es <\/h3>\n\n Os dados n\u00e3o mentem. As empresas est\u00e3o construindo cada vez mais uma cultura orientada por dados, ou \n data-driven, <\/em>e junto com isso, vemos cada vez mais a utiliza\u00e7\u00e3o de estat\u00edstica, matem\u00e1tica e metodologia ci\u00eant\u00edfica na an\u00e1lise de dados para tomar decis\u00f5es, principalmente em empresas de tecnologia, que t\u00eam mais dados dispon\u00edveis para serem analisados, infra-estrutura e tecnologia para viabilizar essas an\u00e1lises e a capacidade de tranquear estes dados, devido aos seus produtos e modelo de neg\u00f3cio.\n
\n
\n<\/div>\n\n Observando essas a\u00e7\u00f5es os Cientistas de Dados s\u00e3o capazes de construir hip\u00f3teses e valida\u00e7\u00f5es \n bem embasados que influenciam o caminho no qual o neg\u00f3cio ir\u00e1 seguir, tanto num n\u00edvel t\u00e1tico quanto estrat\u00e9gico.<\/strong> \u00c9 por isso que Data Science \u00e9 um setor estrat\u00e9gico, pr\u00f3ximo de um n\u00edvel alto de hierarquia na companhia, e sempre bem acompanhado de demandas de Diretores e os C-levels da empresa.\n<\/div>\n\n
\n<\/div>\nOtimiza\u00e7\u00e3o de Processos<\/h3>\n\n Imagine que uma empresa de log\u00edstica, que possui uma frota de caminh\u00f5es gigante e tamb\u00e9m centenas de pedidos para serem entregues todos os dias. Tra\u00e7ar as rotas manualmente e estimar o tempo gasto nas entregas seria algo impens\u00e1vel de se fazer.\n
\n
\n<\/div>\n\n Data Science pode otimizar os processos de log\u00edstica, tornando-os mais eficientes, o que pode significar economia de tempo e dinheiro. Nesse exemplo, um Cientista de Dados pode construir um algoritmo capaz de coletar dados fornecidos por um GPS (como informa\u00e7\u00f5es meteorol\u00f3gicas, situa\u00e7\u00e3o do tr\u00e2nsito em tempo real e at\u00e9 mesmo tipos de estrada se \u00e9 asfaltada ou n\u00e3o) para prever as melhores rotas e estimar o tempo de entrega de cada produto. Al\u00e9m disso, pode tamb\u00e9m, realizar an\u00e1lises de demanda, entrada e sa\u00edda de estoque para prever em quanto tempo ir\u00e1 falta determinado produto, e quando e em qual quantidade deve compr\u00e1-lo.\n
\n
\n<\/div>\n\n Assim, por meio dessas informa\u00e7\u00f5es, \n as empresas podem maximizar as opera\u00e7\u00f5es no setor<\/strong>, passar uma previs\u00e3o de entrega mais assertiva para o comprador, diminuir os desgastes na frota de caminh\u00f5es e com isso, reduzir os gastos com imprevistos que possam ocorrer. \n
\n
Indo al\u00e9m, um Cientista de Dados pode aplicar os conceitos de Machine Learning (aprendizado de m\u00e1quina) para que o algoritmo aprenda os melhores caminhos a se fazer, trabalhando de forma autom\u00e1tica. \n<\/div>\n\n
\n<\/div>\nOtimiza\u00e7\u00e3o de Produtos: Usando feedback de comportamento dos usu\u00e1rios<\/h3>\n\n Voc\u00ea j\u00e1 deve saber que, ao construir uma empresa, voc\u00ea n\u00e3o pode criar uma solu\u00e7\u00e3o para voc\u00ea e sim para o seu p\u00fablico, resolvendo alguma dor de mercado, comprovada pela reafirma\u00e7\u00e3o de demanda pelo seu produto ou servi\u00e7o.\n
\n
\n<\/div>\n\n \u00c9 dito que produtos digitais, nunca est\u00e3o prontos, ou terminados. Isso \u00e9 dito, por que os produtos precisam ser atualizados, e essa atualiza\u00e7\u00e3o, \u00e9 feita com base na an\u00e1lise de comportamentos dos usu\u00e1rios, para gradativamente, adaptarmos o produto digital, otimizando a experi\u00eancia do usu\u00e1rio e compreender o que \u00e9 de maior valor para os cleintes. \n Atrav\u00e9s das a\u00e7\u00f5es individuais de cada um \u00e9 poss\u00edvel identificar padr\u00f5es de comportamento e com isso melhorar o produto. <\/strong>Um bom exemplo, \u00e9 s\u00f3 voc\u00ea pensar em quantas vezes o Facebook, Instagram, Netflix, ou qualquer outro software que voc\u00ea usa no dia-a-dia foi atualizado ou mudou de interface nos \u00faltimos tempos.\n
\n
\n<\/div>\n\n O feedback dos usu\u00e1rios precisa ser coletado de diferentes maneiras e um bom cientista de dados, consegue sumarizar esses dados e rastros de pixels deixados por eles para melhorar seu produto, e consequentemente seu neg\u00f3cio.\n
\n
\n<\/div>\n\n Esse \u00e9 um dos motivos pelos quais a demanda por Cientistas de Dados tem crescido cada vez mais, n\u00e3o s\u00f3 em grandes empresas de tecnologia, mas tamb\u00e9m small business e mid market tamb\u00e9m. A Era \u00e9 da informa\u00e7\u00e3o, e com muita informa\u00e7\u00e3o e muitos dados, todo mundo vai precisar de um cientista de dados, para tomar decis\u00f5es de neg\u00f3cio, cada vez mais orientada por dados. \u00c9 por essas e outras que o cargo de Cientista de Dados \u00e9 o com maior crescente em todo mundo de acordo com \n este report sobre o Futuro do Trabalho<\/a> do World Economic Forum. \n
\n
\n<\/div>\n\n A demanda por esses profissionais n\u00e3o acompanha com aumento de oferta, e o ticket desse profissional est\u00e1 se tornando um dos mais caros do mercado, justamente pela falta de especialistas e forma\u00e7\u00e3o na \u00e1rea.\n
\n
\n<\/div>\nAprenda a programar \u200d \u200d <\/h2>\n\n Quem deseja aprender Data Science deve saber que para se tornar um profissional cobi\u00e7ado no mercado \u00e9 necess\u00e1rio ter uma base s\u00f3lida em:\n
\n
\n<\/div>\n\n - Matem\u00e1tica<\/strong>: \u00e1lgebra linear, fun\u00e7\u00e3o polinomial do 1\u00ba e 2\u00b0 grau, trigonometria, fun\u00e7\u00e3o logar\u00edtmica, etc.<\/li>\n
- Estat\u00edstica<\/strong>: probabilidade, infer\u00eancia estat\u00edstica, regress\u00e3o linear, tipos de vari\u00e1veis, amostra, tipos de gr\u00e1ficos, etc.<\/li>\n
- Programa\u00e7\u00e3o e Desenvolvimento: Aqui as linguagens mais famosas s\u00e3o R e Python<\/a>.<\/li>\n<\/ul>\n\n Um Cientista de Dados precisa ter uma base s\u00f3lida em programa\u00e7\u00e3o e em matem\u00e1tica\/estat\u00edstica, para ser capaz de compreender o que acontece \"por detr\u00e1s do cap\u00f4\" dos algoritmos e bibliotecas utilizadas e populares entre esses profissionais. Sem isso \u00e9 como um mec\u00e2nico que pode at\u00e9 mesmo saber como consertar o carro e resolver o problema do \"sintoma\" mas nunca saberia o por qu\u00ea do carro ter estragado em primeiro lugar, ou seja, n\u00e3o saber\u00e1 o diagn\u00f3stico completo.\n
<\/strong>\n
\n<\/div>\n\n N\u00e3o entendeu ainda? Vamos l\u00e1:\n
\n
Um exemplo de um job de Data Science seria por exemplo o seguinte.\n
\n
Voc\u00ea est\u00e1 tomando seu caf\u00e9 da manh\u00e3, trabalhando de home office, quando de repente, voc\u00ea recebe um e-mail do seu CFO, Jo\u00e3o Paulo Aranha, pedindo para seu time realizar uma an\u00e1lise preditiva para calcular em quantos por cento aumentar\u00edamos a taxa de cancelamento mensal da Revista Aquilo\u00c9 se aument\u00e1ssemos em 1,58% o pre\u00e7o da mensalidade. Cientistas de Dados devem juntar as bases de dados, para primeiro compreender as modalidades de assinatura dos clientes, logo os padr\u00f5es dos hist\u00f3ricos de cancelamentos dos leitores e assim, realizar uma proje\u00e7\u00e3o preditiva do aumento da taxa de cancelamento, em rela\u00e7\u00e3o \u00e0 sensibilidade do pre\u00e7o e a disposi\u00e7\u00e3o a pagar das pessoas.\n
\n
\n<\/div>\n\n Para isso, ser\u00e1 necess\u00e1rio usar bibliotecas de Machine Learning como scikit-learn, para realizar an\u00e1lises de regress\u00e3o linear e regress\u00e3o log\u00edstica, entre outras an\u00e1lises e construir um modelo preditivo de Machine Learning para avaliar esse resultado e encontrar um ponto \u00f3timo, onde talvez, se aument\u00e1ssemos em 1,58% o pre\u00e7o da assinatura, provavelmente o total da receita de perda de novos clientes que n\u00e3o t\u00eam disposi\u00e7\u00e3o a pagar o novo pre\u00e7o incrementado, em detrimento do aumento do faturamento em resposta aos clientes que permanecessem. E assim, encontrar um ponto \u00f3timo, onde talvez, 1,58% seja um aumento substancial, e n\u00e3o deve-se tomar essa decis\u00e3o de neg\u00f3cio. Tampouco, n\u00e3o aumentar em nada o pre\u00e7o da revista, pode ser prejudicial, mas talvez se aument\u00e1ssemos em 0,97%, as somas dos outcomes positivos com negativos, pudesse resultar em um jogo de soma-positiva.\n
\n
\n<\/div>\n\n Sem o poder computacional para otimizar a efici\u00eancia das an\u00e1lises, tudo teria que ser feito como os matem\u00e1ticos e estat\u00edsticos faziam antigamente: Na m\u00e3o. Isso n\u00e3o \u00e9 imposs\u00edvel, mas \u00e9 bastante trabalhoso\u2026 Por isso com as novas tecnologias dispon\u00edveis, e com a imensidade de dados a serem analisados, se voc\u00ea quer se tornar um cientista de dados, voc\u00ea \n precisa<\/strong> aprender a programar.\n
\n
\n<\/div>\n\n Legal V\u00edtor, mas e agora? Como eu posso come\u00e7ar a entender mais sobre essa \u00e1rea de Data Science para saber se isso \u00e9 pra mim mesmo ou n\u00e3o?\n
\n
Voc\u00ea come\u00e7ar a aprender mais sobre data science \n aqui<\/a>.\n<\/div>\n\n
Ci\u00eancia de Dados \u00e9 um campo extremamente amplo, onde d\u00e1 para se especializar muito em pequenas sub-\u00e1reas, mas o \"feij\u00e3o com arroz\" mesmo come\u00e7a aqui:\n<\/div>\n\n
\n<\/div>\nAprenda a programar em Python \u200d \u200d <\/h3>\n\n A \n linguagem de programa\u00e7\u00e3o<\/a> Python \u00e9 uma linguagem de alto n\u00edvel, com tipagem din\u00e2mica e tem diversas bibliotecas dispon\u00edveis que permitem agilizar o trabalho do cientista de dados. \n
\n
\n<\/div>\n\n A linguagem de programa\u00e7\u00e3o junto \u00e0s bibliotecas \n permitem analisar arrays e matrizes multi-dimensionais facilmente<\/strong>, estruturas e opera\u00e7\u00f5es de dados e ainda trabalhar com tabelas num\u00e9ricas complexas. \n
\n
\n<\/div>\n\n Com Python voc\u00ea pode trabalhar analisando quaisquer fontes de informa\u00e7\u00f5es, bancos de dados estruturados e n\u00e3o estruturados, web-scraping, xmls files ou cvs ou at\u00e9 mesmo APIs.\n
\n
\n<\/div>\n\n Quer ver como aprender Python? Leia nosso <\/strong>\n guia completo<\/strong><\/a>\n com todas as informa\u00e7\u00f5es necess\u00e1rias que voc\u00ea precisa para desenvolver seus conhecimentos nessa linguagem. <\/strong>\n<\/div>\n\n
\n<\/div>\nBibliotecas Pandas e Numpy <\/h3>\n\n As Libraries Pandas e Numpy permitem acessar os grandes bancos de dados (SQL) e junto com o Kaggle.com voc\u00ea ter\u00e1 os dados necess\u00e1rios para brincar com novos projetos. \n
\n
\n<\/div>\n\n No Kaggle voc\u00ea poder\u00e1 acessar \n mais de 50 mil banco de dados p\u00fablicos e mais de 400 mil notebooks p\u00fablicos<\/strong> para trabalhar a an\u00e1lise de dados e explorar diferentes \u00e1reas no campo da ci\u00eancia de dados. \n
\n
\n<\/div>\n\n Al\u00e9m disso, voc\u00ea pode participar de competi\u00e7\u00f5es. \n Elas t\u00eam o objetivo de desafiar os participantes na resolu\u00e7\u00e3o de problemas reais de grandes empresas<\/strong>. Ou seja, voc\u00ea tem a possibilidade de colocar seu conhecimento no mercado em tempo real. \n
\n
\n<\/div>\n\n No fim de cada competi\u00e7\u00e3o o ganhador pode levar um pr\u00eamio em dinheiro. \n
\n
\n<\/div>\n\n Para terminar as an\u00e1lises de dados voc\u00ea pode utilizar o \n Google Collab<\/a> ou Jupyter Notebook. Ambas s\u00e3o ferramentas online dedicadas, entre outras coisas, \u00e0 an\u00e1lise de dados.\n
\n
\n<\/div>\nLinguagem R<\/h3>\n\n A linguagem R tamb\u00e9m \u00e9 muito utilizada \u00e9 necess\u00e1ria se voc\u00ea quer aprender data science. Ela permite a \n constru\u00e7\u00e3o de um ambiente ideal para constru\u00e7\u00e3o de gr\u00e1ficos e fazer estat\u00edsticas<\/strong> como:\n
\n
\n<\/div>\n\n - Modelagem linear e n\u00e3o-linear;<\/li>\n
- Testes estat\u00edsticos cl\u00e1ssicos;<\/li>\n
- An\u00e1lise de s\u00e9ries temporais;<\/li>\n
- Classifica\u00e7\u00e3o;<\/li>\n
- Agrupamento.<\/li>\n<\/ul>\n\n
\n<\/div>\nDomine Visualiza\u00e7\u00e3o de Dados ou Dataviz <\/h3>\n\n Enquanto as bibliotecas e ferramentas citadas acima permitem voc\u00ea aprender Data Science, existem outras que v\u00e3o te ajudar a \n visualizar os dados de maneira mais intuitiva e agrupada.
<\/strong>\n
\n<\/div>\n\n Muitas pessoas utilizam o BI ou Tableau para fazer suas primeiras visualiza\u00e7\u00f5es, no entanto essas ferramentas foram criadas para o analista de dados e n\u00e3o para o cientista. \n
\n
\n<\/div>\n\n Por\u00e9m existem outras formas de se fazer isso, inclusive existem 2 bibliotecas para Python famosas nessa \u00e1rea: \n matplotlib e seaborn<\/strong>. \n
\n
\n<\/div>\n\n Enquanto o matplotlib abrange a cria\u00e7\u00e3o e visualiza\u00e7\u00e3o de dados de uma maneira animada e interativa, a biblioteca Seaborn permite a constru\u00e7\u00e3o de gr\u00e1ficos atraentes e muito informativos.\n
\n
\n<\/div>\n\n Dedique-se a aprender mais sobre elas e explique suas possibilidades.\n<\/div>\nO que \u00e9 Decision Science? \u2716\u2795\u2796\u2797<\/h2>\n\n A uni\u00e3o entre matem\u00e1tica e dados s\u00f3 poderia resultar em tomadas de decis\u00f5es com muito mais probabilidade de acerto. \n
\n
\n<\/div>\n\n Ou seja, o cientista de dados deve utilizar recursos matem\u00e1ticos apoiados por ferramentas computacionais para cria\u00e7\u00e3o de diferentes cen\u00e1rios poss\u00edveis \n a fim de justificar uma determinada decis\u00e3o de neg\u00f3cio e mostrar o que pode acontecer se seguir outras dire\u00e7\u00f5es<\/strong>. \n
\n
\n<\/div>\n\n Decision Science \u00e9 onde unimos a estat\u00edstica, a an\u00e1lise de dados com programa\u00e7\u00e3o e poder computacional, com as m\u00e9tricas chave do neg\u00f3cio, como por exemplo, OKRs e KPIs. Esses conhecimentos, permitem entender a rela\u00e7\u00e3o entre os dados e vari\u00e1veis do neg\u00f3cio, para atrav\u00e9s de engenharia de dados, encontrar novas vari\u00e1veis e par\u00e2metros, que v\u00e3o ajudar a compreender melhor a realidade e a tomada de decis\u00f5es orientada por dados, inv\u00e9s de uma tomada de decis\u00e3o, orientada por f\n eeling<\/em>ou achismos. \n
\n
\n<\/div>\n\n Em Decision Science, usa-se muito de m\u00e9tricas comuns da estat\u00edstica, como m\u00e9dia, mediana, desvio padr\u00e3o R\u00b2 e graus de correla\u00e7\u00e3o, regress\u00e3o linear e regress\u00e3o log\u00edstica para desvendar como os indicadores se relacionam e obter insights de neg\u00f3cio.\n
\n
\n<\/div>\n\n Dessa forma, as empresas que usam esse recurso saem na frente da concorr\u00eancia, j\u00e1 que n\u00e3o tomam decis\u00f5es baseadas em achismos.\n<\/div>\nA Ci\u00eancia dos Dados <\/h2>\n\n Em Data Science, diferente de qualquer outra an\u00e1lise de dados normal, segue rigorosamente e metodologia cient\u00edfica da academia para processualizar suas an\u00e1lises. \u00c9 justamente o rigor cient\u00edfico a utiliza\u00e7\u00e3o desse m\u00e9todo unidos \u00e0 matem\u00e1tica, estat\u00edstica e programa\u00e7\u00e3o, que batizaram o nome desse profissional.\n
\n
Com o m\u00e9todo cient\u00edfico, as empresas se blindam de realizar an\u00e1lises enviesadas, que n\u00e3o compreendem a realidade, e sair da caixa para ampliar a granularidade dos dados, e obter an\u00e1lises mais assertivas.\n
\n
O m\u00e9todo cient\u00edfico: \n
\n
\n<\/div>\n\n - Observa\u00e7\u00e3o: Assim como Galileu Galilei, o pai da ci\u00eancia moderna, utilizou da observa\u00e7\u00e3o e experimenta\u00e7\u00e3o para analisar um fen\u00f4meno, aqui Data Scientist escolhem seu objeto de an\u00e1lise<\/li>\n
- Elabora\u00e7\u00e3o do Problema: Aqui, antes de determinar quais respostas se querem encontrar, \u00e9 importante antes voc\u00ea se fazer qual pergunta, ou qual problema voc\u00ea quer responder ou resolver. Uma boa pergunta pede uma boa resposta.<\/li>\n
- Elabora\u00e7\u00e3o de Hip\u00f3teses: Com base na observa\u00e7\u00e3o do objeto de estudo e com base nas perguntas elaboradas, tenta-se estipular poss\u00edveis respostas para o problema.<\/li>\n
- Valida\u00e7\u00e3o: Aqui para os Cientistas de Dados, \u00e9 aonde inicia-se as an\u00e1lises de dados e tudo que vimos at\u00e9 agora para validar se alguma das hip\u00f3teses estipuladas de fato responde a pergunta do problema ou n\u00e3o, com vaz\u00e3o para serem validadas ou invalidadas.<\/li>\n
- An\u00e1lise de Resultados: Ap\u00f3s a escolha da metodologia de an\u00e1lise, e ap\u00f3s rodadas todas as devidas an\u00e1lises de dados, com as visualiza\u00e7\u00f5es dispon\u00edveis, discutimos e assinalamos as conclus\u00f5es obtidas dos experimentos.<\/li>\n
- Conclus\u00f5es<\/li>\n<\/ol>\n
Aprenda Machine Learning <\/h2>\n\n N\u00e3o existe Cientista de Dados \"unic\u00f3rnio\". Aquele que sabe fazer de TUDO. O Data Scientist peer-to-peer. O Rodrigo Hilbert da Ci\u00eancia de Dados. N\u00e3o. Isso \u00e9 lenda urbana e folclore, assim como Saci Perer\u00ea, Mula-sem-cabe\u00e7a e o Curupira... \n
\n
Em grandes empresas, ou as big tech companies, como Apple, Microsoft, Facebook, Amazon e por a\u00ed segue a lista dos residentes de Palo Alto, do Silicon Valey... Enfim, todos esses t\u00eam times inteiros de Data Scientists, segmentados, onde cada um tem determinada especialidade e responsabilidade por uma pequena parte de todo esse processo. At\u00e9 mesmo um Gestor ou L\u00edder de \u00e1rea, por mais que seja importante compreender todo o processo, desde a extra\u00e7\u00e3o, processamento at\u00e9 o deploy, ele n\u00e3o vai saber executar na \u00edntegra todas as etapas... \n
\n
Machine Learning, sem d\u00favida \u00e9 uma das habilidades mais populares hoje em dia, muito em alta, mas na verdade s\u00e3o poucas as pessoas que realmente compreendem do que se trata e como acontece esse processo. Com certeza \u00e9 aonde a maioria dos Cientistas de Dados gostaria de estar trabalhando aqui, mas pouca gente sabe, mas a parte de modelagem, \u00e9 a cereja da cereja do bolo. 95% \u00e0 99% do tempo voc\u00ea fica na parte de ETL, limpando os dados, e s\u00f3, somente s\u00f3, quando est\u00e1 tudo prontinho para ser analisado que entra a parte \"legal\" de ML. \n sabe de nada inocente! rsrsrs
E lembrem-se: Machine Learning \u00e9 uma t\u00e9cnica <\/em>\n que nem sempre precisa ser usada! <\/em><\/strong>\n Muita gente se perde pela vontade de usar ML quando muitas vezes n\u00e3o tem a menor necessidade, e uma simples regress\u00e3o linear d\u00e1 conta de resolver o problema. <\/em>\n N\u00e3o tenham medo de n\u00e3o usar ML.<\/em><\/strong>\n
\n
Machine Learning \u00e9 um bem diferente de an\u00e1lise de dados. \n
Enquanto na an\u00e1lise de dados voc\u00ea tem um input, dos dados a serem analisados e tem um output, que s\u00e3o as an\u00e1lises de fato. Em ML voc\u00ea j\u00e1 come\u00e7a com o input e o output juntos. Mas como assim V\u00edtor?\n
\n
Vamos l\u00e1, \u00e9 mais simples do que parece:\n
Existem dois tipos de Aprendizagem de M\u00e1quina:\n
\n
\n<\/div>\n\n - Supervisionada<\/li>\n
- N\u00e3o-Supervisionada<\/li>\n<\/ol>\n\n Daqui a pouquinho voltamos aqui. Segura a\u00ed!\n
Em Machine Learning, voc\u00ea j\u00e1 come\u00e7a com um dataset com o input, e com o output, no sentido de que, voc\u00ea j\u00e1 tem as an\u00e1lises de determinados resultados de alguns comportamentos dentro da sua base de dados, e aqui, o objetivo \u00e9 criar um modelo ou algoritmo, que com base nos padr\u00f5es de input e de output, seja capaz de prever sozinho, \n atrav\u00e9s do aprendizado<\/strong> ao interagir com um novo dados nunca antes visto pelo modelo, qual ser\u00e1 a classifica\u00e7\u00e3o ou output dele, com base no seu treino com o dataset inicial. Capicci?\n
\n
Voc\u00ea pega seu dataset, divide ele da melhor forma poss\u00edvel (tamb\u00e9m com boas pr\u00e1ticas e com base em algumas f\u00f3rmulas e bibliotecas de ML) e dai voc\u00ea separa ele em duas partes:\n
\n
\n<\/div>\n\n - Treino<\/li>\n
- Teste<\/li>\n<\/ul>\n\n O treino ser\u00e1 a maior parte do seu dataset (70% via de regra) para treinar seu modelo e alimentar o algoritmo a entender e analisar os padr\u00f5es de input x ouput. \n
A\u00ed sim, uma vez treinado e instanciado o modelo de ML, voce pegar\u00e1 o resto do seu dataset, os outros 30%, nunca antes interagido com o modelo e analisar em quantos por cento, ele ir\u00e1 ser capaz de acertar o output dos dados, sejam eles uma classifica\u00e7\u00e3o (Frio ou Quente, True or False, A ou B ou C ou D) ou seja ele algum resultado espec\u00edfico (X, Y, Z, R\u00b2).\n
\n
\n<\/div>\nCuidado com seu modelo, pois voc\u00ea pode ter resultados bem enviesados. S\u00e3o chamados eles de Overfitting e Underfitting.\n \n \n \n Underfitting, Overfitting & Balanced\n <\/figcaption>\n <\/figure>Underfitting <\/h3>\n\n Nesse caso, o modelo j\u00e1 \u00e9 ruim desde na pr\u00f3pria etapa de treinamento. Ou seja, o recorte da divis\u00e3o do dataset entre treinamento e teste foi mal feita, de modo que a amostragem de treino, n\u00e3o tem uma representatividade do que acontece de fato na realidade do conjunto inteiro.\n
\n
Sendo assim, o algoritmo, n\u00e3o consegue entender corretamente como os dados se relacionam e voc\u00ea deve corrigir isso, re-instanciando novamente o modelo, at\u00e9 encontrar uma boa divis\u00e3o do recorte entre os dados para alimentar o treino e os dados para test\u00e1-lo.\n<\/div>\n\n
\n<\/div>\nOverfitting <\/h3>\n\n O Overfitting, \u00e9 quando seu modelo Aprendizado de M\u00e1quina \u00e9 t\u00e3o assertivo, que n\u00e3o houve aprendizagem do algoritmo, e que ele na verdade, decorou os outcomes com base no dataset. \n
\n
Aqui o modelo atua de forma que se inputado novamente com um dado equivalente \u00e0 algum j\u00e1 antes visto, ao inv\u00e9s de processar um novo resultado de outcome, d\u00e1 a correspond\u00eancia exata daquele datapoint, como se fossem atributos de chave-valor. Quando isso acontece, o modelo \u00e9 ineficaz para prever novos resultados.\n<\/div>\n\n
\n<\/div>\nBalanced<\/h3>\n\n Um bom modelo de Machine Learning, \u00e9 aquele cujo recorte do dataset entre treino e teste foi bem feito e representativo, de modo que a acur\u00e1cia do modelo de ML seja alta para prever novos resultados quando interagir com novos pontos de dados. Normalmente um bom modelo de ML fica entre 95% - 99% de acur\u00e1cia, mas tamb\u00e9m vai depender de N fatores das especificidades do que voc\u00ea est\u00e1 analisando.\n<\/div>\n\n
\n<\/div>\nE para que serve Machine Learning? <\/h3>\n\n Voc\u00ea j\u00e1 pensou como a Netflix faz sugest\u00f5es de s\u00e9ries t\u00e3o pr\u00f3ximas daquilo que voc\u00ea pode gostar ou como os carros aut\u00f4nomos conseguem dirigir sozinhos pelas cidades? Respectivamente com t\u00e9cnicas de data clustering, ou agrupamento de dados na Netflix, e NLP, ou Natural Language Processing, o processamento de textos, imagens e v\u00eddeos, no caso dos carros auto-dirig\u00edveis, da Tesla.\n
\n
No caso da Netflix, seus algoritmos compreende os g\u00eaneros que voc\u00ea assiste frequentemente, o que voc\u00ea pesquisa na plataforma, quanto tempo voc\u00ea passa assistindo e mais uma s\u00e9rie de informa\u00e7\u00f5es para te recomendar s\u00e9ries e filmes que voc\u00ea ter\u00e1 mais probabilidade de assistir. Tamb\u00e9m faz recomenda\u00e7\u00f5es com base em usu\u00e1rios com gostos por filmes e s\u00e9ries similares aos seus.\n
\n
\n<\/div>\n\n Tudo isso \u00e9 poss\u00edvel com o Machine Learning<\/strong>. A partir dos seus comandos um computador conseguir\u00e1 tomar decis\u00f5es sozinhos baseados no que ele vai aprendendo ao longo do tempo. \n<\/div>\n\n
\n<\/div>\nO que \u00e9 Deep Learning? <\/h3>\n\n O deep learning \u00e9 uma sub-\u00e1rea dentro de Machine Learning, que tem o objetivo de ensinar os computadores a realizarem tarefas como um ser humano faria. T\u00e1 mas qual a diferen\u00e7a, V\u00edtor?\n
\n
\n<\/div>\n\n Voc\u00ea j\u00e1 deve ter visto falar da Alexa, assistente virtual da Amazon. Seu software foi criado com tecnologias de Deep Learning e aprende a cada nova intera\u00e7\u00e3o que fazemos com ela por meio dos comandos de voz. \n
\n
Basicamente, a complexidade do Deep Learning \u00e9 bem maior, consistindo em um conjunto de algoritmos, capazes de modelar e processar altos n\u00edveis de abstra\u00e7\u00e3o de dados atrav\u00e9s de grafos profundos e uma s\u00e9rie de camadas de processamento, que realizam em tempo-real transforma\u00e7\u00f5es lineares e n\u00e3o-lineares.... OK, mas o que isso significa em portugu\u00eas? rsrs\n
\n
S\u00e3o formas de Intelig\u00eancia Artificial, que usam t\u00e9cnicas avan\u00e7adas, com o objetivo de imitar a fun\u00e7\u00f5es cognitiva de aprendizado do ser humano de maneira intuitiva. Como a Alexa, da Amazon.\n<\/div>\n\n
\n<\/div>\nModel Tuning <\/h3>\n\n O Model Tuning \u00e9 um processo que tem o objetivo de melhorar a escolha do hiperpar\u00e2metro mais preciso para um algoritmo utilizado no aprendizado de m\u00e1quina. \n
\n
\n<\/div>\n\n Todo algoritmo possui diferentes hiperpar\u00e2metros e por meio do modelo tuning \u00e9 poss\u00edvel dizer qual \u00e9 o mais adequado para cada situa\u00e7\u00e3o. Model Tuning \u00e9 a pr\u00e1tica onde se ajusta o modelo de Machine Learning criado, para alcan\u00e7ar maior acur\u00e1cia na sua capacidade preditiva de prever corretamente o resultado. \u00c9 onde vamos encontrar a melhor separa\u00e7\u00e3o do dataset entre a divis\u00e3o entre o que ser\u00e1 a parte de treino, que ir\u00e1 alimentar o modelo e qual ser\u00e1 a parte de teste, para testar a capacidade do modelo e da previs\u00e3o.\n
\n
\n<\/div>\n\n Determinar qual conjunto de hiperpar\u00e2metros resulta no modelo mais preciso<\/strong>.\n
<\/strong>\n
\n<\/div>\n\n Esse processo \u00e9 importante pois permite que voc\u00ea construa modelos personalizados que v\u00e3o gerar resultados muito mais precisos e com isso fornecer insights mais ricos a respeito dos seus dados. Assim \u00e9 poss\u00edvel fazer tomadas de decis\u00e3o mais assertivas.\n
\n
\n<\/div>\n\n Afinal de contas. dentro de um mesmo dataset e um mesmo modelo de ML, voc\u00ea pode encontrar diferentes reparti\u00e7\u00f5es e divis\u00f5es, e tamb\u00e9m, diferentes taxas de acur\u00e1cia de previsibilidade do modelo, sendo o Model Tuning um conjunto de pr\u00e1ticas para encontrar os par\u00e2metros \u00f3timos para o melhor modelo poss\u00edvel, dentro de um determinado conjunto de dados.\n
\n
\n<\/div>\nDicas pr\u00e1ticas de como aprender Data Science do zero<\/h2>\n\n Depois de tanta teoria e explica\u00e7\u00f5es, \u00e9 hora de voc\u00ea ver dicas para praticar tudo aquilo que eu disse aqui. \n
\n
\n<\/div>\n\n Nos trechos a seguir eu tamb\u00e9m te mostro alguns sites para voc\u00ea aprender Python e Data Science sozinho. Veja a seguir!\n<\/div>\n\n
\n<\/div>\nFa\u00e7a um projeto \u200d \u200d <\/h3>\n\n Muitas das ferramentas que citamos aqui s\u00e3o gratuitas e voc\u00ea pode acessar de qualquer computador. Al\u00e9m disso, bancos de dados p\u00fablicos s\u00e3o que n\u00e3o faltam para voc\u00ea brincar de fazer an\u00e1lise de dados e voc\u00ea pode usar uma das ferramentas que j\u00e1 citamos no texto, o Kaggle.\n
\n
\n<\/div>\n\n Voc\u00ea pode criar sua conta no Google Collab e explorar os recursos da ferramenta. O notebook Jupyter tamb\u00e9m \u00e9 uma boa op\u00e7\u00e3o para essa tarefa. \n
\n
\n<\/div>\n\n Por serem duas ferramentas online voc\u00ea n\u00e3o precisar\u00e1 ter um super computador ou algo do tipo para explorar o universo da ci\u00eancia de dados. <\/strong>\n<\/div>\n\n
\n<\/div>\nLeia Livros, Blogs e Conte\u00fados de Data Science <\/h3>\n\n Para aproveitar o m\u00e1ximo de aprendizado poss\u00edvel \u00e9 necess\u00e1rio ter uma total imers\u00e3o no assunto para absorver o m\u00e1ximo de informa\u00e7\u00f5es. \n
\n
\n<\/div>\n\n Ler livros sobre ci\u00eancia de dados permite que voc\u00ea siga uma linha l\u00f3gica de aprendizado com contextualiza\u00e7\u00e3o, desenvolvimento e conclus\u00e3o de determinado assunto. \n
\n
\n<\/div>\n\n Como data science \u00e9 uma \u00e1rea t\u00e3o plural, voc\u00ea ter\u00e1 muitas op\u00e7\u00f5es para escolher, <\/strong>mas vou citar alguns dos principais:\n
\n
\n<\/div>\n\n - Introduction to Machine Learning with Python;<\/li>\n
- Python for Data Analysis;<\/li>\n
- Python Data Science Handbook;<\/li>\n
- Python Machine Learning;<\/li>\n
- Deep Learning;<\/li>\n
- Machine Learning: a Probabilistic Perspective;<\/li>\n
- Deep Learning Book (possui vers\u00e3o em portugu\u00eas<\/a>).<\/li>\n<\/ul>\n\n Al\u00e9m disso, complemente sua leitura com conte\u00fados da internet. Minha recomenda\u00e7\u00e3o \u00e9 buscar fontes estrangeiras pois alguns mercados de tecnologia est\u00e3o mais maduros que o brasieleiro e por isso voc\u00ea pode beber \u00e1gua direto da fonte. \n
\n
\n<\/div>\n\n Alguns que mais gosto s\u00e3o:\n
\n
\n<\/div>\n\n - IBM Big Data & Analytics Hub;<\/li>\n
- Blog e podcast DataCamp;<\/li>\n
- Central Data Science;<\/li>\n
- KDnuggets;<\/li>\n
- Data Science<\/li>\n<\/ul>\n
Participe de Comunidades \u200d \u200d <\/h3>\n\n Outra forma de aprender data science \u00e9 participar de comunidades sobre o assunto. \n
\n
\n<\/div>\n\n Existem muitas no Brasil e em todo mundo. As comunidades permitem que voc\u00ea compartilhe suas d\u00favidas e receba opini\u00f5es e \n ajuda de profissionais que est\u00e3o num n\u00edvel de conhecimento mais avan\u00e7ado que voc\u00ea.<\/strong> \n
\n
\n<\/div>\n\n Al\u00e9m disso, mesmo que voc\u00ea j\u00e1 domine bem o assunto, sempre acontece discuss\u00f5es de diferentes casos que acontecem no dia a dia do programador e quais atitudes o profissional teve para resolver o impasse.\n
\n
\n<\/div>\n\n Algumas comunidades interessantes que eu recomendo s\u00e3o:\n
\n
\n<\/div>\n
\n
\u00c9 dito que o Big Data tem 5 V's:\n
\n
\n<\/div>\n
- \n
- Volume<\/li>\n
- Variedade<\/li>\n
- Velocidade<\/li>\n
- Veracidade<\/li>\n
- Valor<\/li>\n<\/ol>\n\n O ponto ao redor do Big Data \u00e9 ter mais informa\u00e7\u00f5es e ter informa\u00e7\u00f5es mais rapidamente, como uma vantagem competitiva de neg\u00f3cio.\n
\n
\n<\/div>\n\n Essa \u00e9 a responsabilidade do engenheiro de dados, garimpar as informa\u00e7\u00f5es necess\u00e1rias para que elas sejam tratadas e permitir que as an\u00e1lises de dados sejam mais claras.\n
\n
\n<\/div>\n\n Ele faz isso por meio do ETL <\/strong>(Extract , Transform and Load), tamb\u00e9m conhecido como ETC (Extrair, Transformar, Carregar) em portugu\u00eas. \n
\n
Imagine que um cliente passe um banco de dados com as informa\u00e7\u00f5es de um grupo de clientes espec\u00edficos de seu e-commerce. \n
\n
\n<\/div>\n\n Neste banco de dados podem existir informa\u00e7\u00f5es faltantes, podem haver valores de dados armazenados que n\u00e3o fazem sentido, como por exemplo: \"-99, -999, ?, #$%@\" .\n
\n
O papel do engenheiro de dados, vai variar de acordo com a empresa e seu n\u00edvel de maturidade em Ci\u00eancia de Dados, mas normalmente o engenheiro de dados, fica respons\u00e1vel pelos processos de ETL.\n<\/div>\n\n
\n<\/div>\nExtract <\/h3>\n
\n O Engenheiro de Dados pode extrair seus dados de diversas fontes diferentes, algumas das principais delas s\u00e3o:\n
\n
\n<\/div>\n- \n
- Bancos de Dados (SQL ou NoSQL)<\/li>\n
- Web Scraping<\/li>\n
- APIs<\/li>\n<\/ul>\n
Transform <\/h3>\n
\n Aqui o engenheiro de dados deve limpar o dataset atrav\u00e9s de pr\u00e1ticas como \n enconding<\/strong>, adicionando valores faltantes atrav\u00e9s de m\u00e9todos de input ou tamb\u00e9m retirando dados em branco, dados n\u00e3o-relevantes para as an\u00e1lises e substituindo valores que foram armazenados de forma incorreta para deixar o banco otimizado para a an\u00e1lise poder ser bem feita, e serem carregados em ferramentas de visualiza\u00e7\u00e3o. \n
\n
\n<\/div>\n\n Ou seja, no banco de dados recebidos a primeira etapa ser\u00e1 de extra\u00e7\u00e3o das informa\u00e7\u00f5es onde o engenheiro de dados far\u00e1 a comunica\u00e7\u00e3o daqueles informa\u00e7\u00f5es com outros sistemas a fim de capturar os dados que devem ser inseridos. Muitas vezes seu papel pode ser automatizar a comunica\u00e7\u00e3o de dados entre dois sistemas diferentes.\n<\/div>\n\n
\n<\/div>\nLoad \u23e9<\/h3>\n
\n Por fim, uma vez com os dados limpos e tratados, ele deve prepar\u00e1-los para a etapa de carregamento, onde profissional deve ajustar as ferramentas de visualiza\u00e7\u00e3o para que o analista ou outros profissionais de Data Science possam cruzar os dados e realizar suas respectivas an\u00e1lises\n
\n
\n<\/div>\n\n O engenheiro de dados \n deixa tudo automatizado para que haja o m\u00ednimo de interfer\u00eancia humana<\/strong> e o pr\u00f3prio sistema tenha a capacidade de entregar a informa\u00e7\u00e3o certa. Uma boa pr\u00e1tica de carregamento de dados automatizados \u00e9 o Data Streaming, onde a visualiza\u00e7\u00e3o de dados, j\u00e1 pr\u00e9-configurada para determinadas an\u00e1lises, \u00e9 carregada em tempo-real e atualizada a todo momento, no per\u00edodo de tempo escolhido.\n<\/div>\n\n
\n<\/div>\nAnalista de Dados <\/h3>\n
\n Depois que o engenheiro cuida dos dados por meio do ETL, o analista j\u00e1 receber\u00e1 essas informa\u00e7\u00f5es tratadas e deve se preocupar em \n cruzar os dados<\/strong>, \n analis\u00e1-los<\/strong>, construir gr\u00e1ficos e pranchetas de visualiza\u00e7\u00e3o das informa\u00e7\u00f5es como foco no aux\u00edlio da tomada de decis\u00e3o tendo uma vis\u00e3o de neg\u00f3cio. \n
\n
\n<\/div>\n\n Ou seja, ele precisa entender o que os dados querem dizer no contexto pr\u00e1tico da coisa. Ele recebe o conjunto de dados prontinho para ser analisado, e \u00e9 importante o Analista ter o conhecimento de neg\u00f3cio e de mercado, para se fazer as perguntas certas, do que deve ser descoberto. Aqui \u00e9 importante usar a metodologia cient\u00edfica e realizar a formula\u00e7\u00e3o de hip\u00f3teses do que se deseja desvendar. \n
\n
\n<\/div>\n\n Este profissional deve construir uma interface onde essas informa\u00e7\u00f5es possam ser vistas e acessadas facilmente. O Analista de Dados ou Analista de Neg\u00f3cio tem a fun\u00e7\u00e3o de dar contexto aos dados e entender o que eles significam na realidade da empresa, para otimizar seus processos, produtos, melhorando efici\u00eancia, e eventualmente com objetivos tamb\u00e9m de neg\u00f3cio, como aumento de receita ou de lucro.\n<\/div>\n\n
\n<\/div>\nCientista de Dados \u200d \u200d <\/h3>\n
\n J\u00e1 o Data Scientist deve ter a capacidade de entender isso tudo e um pouco mais. Por mais que o Cientista de Dados, n\u00e3o precisa saber executar todas essas etapas pr\u00e9vias, \u00e9 importante que ele entenda o contexto geral do fluxo de dados dentro da empresa e ter a vis\u00e3o do \"macro\", ou do todo. \n
\n
\n<\/div>\n\n Se o analista de dados est\u00e1 para o passado, o Cientista de Dados est\u00e1 para o futuro. Seu foco \u00e9 \n fazer previs\u00f5es baseado em modelos matem\u00e1ticos robustos e estat\u00edstica, encontrando padr\u00f5es entre os dados e utilizando de tecnologias como aprendizagem de m\u00e1quina.
<\/strong>\n
\n<\/div>\n\n Uma das possibilidades aqui, e dada como uma das mais glamurosas dentro de ci\u00eancia de dados \u00e9 a cria\u00e7\u00e3o e aperfei\u00e7oamento de algoritmos que automatizam tomadas de decis\u00f5es do neg\u00f3cio. \n
\n
Um grande exemplo \u00e9 o algoritmo de recomenda\u00e7\u00e3o de filmes na Netflix, que utiliza de tecnologias de agrupamento ou \n data clustering<\/em> mas compreender como um conjunto de dados se divide em sub-grupos de comportamento ou prefer\u00eancias por gostos cinematogr\u00e1ficos e encontra usu\u00e1rios com gostos e comportamentos semelhantes dentro da plataforma, cruzando os dados, de filmes que voc\u00ea e um usu\u00e1rio em comum com voc\u00ea assistiram, e te recomenda algum filme que voc\u00ea n\u00e3o viu e que seu \"clone\" n\u00e3o assistiu ainda e vice-versa.\n
\n
O mesmo funciona para Spotify, Tinder e praticamente todas as grandes plataformas de tecnologia utilizam dessas tecnologias, mas de diferentes formas e com diferentes objetivos.\n
\n
\n<\/div>\n\n Um Cientista de Dados precisa lidar com gigantescos volumes de dados em tempo real, com isso vem a necessidade de criar mecanismos que suportem essa concentra\u00e7\u00e3o de informa\u00e7\u00f5es e ao mesmo tempo fa\u00e7a o tratamento e apresenta\u00e7\u00e3o dos mesmos. \n
\n
\n<\/div>\nPor que empresas precisam de Data Scientists? Data is the new Oil \ufe0f <\/h2>\n
\n As empresas modernas s\u00e3o cada vez mais digitais. Como j\u00e1 disse, no mundo virtual, cada a\u00e7\u00e3o que fazemos \n gera uma nova informa\u00e7\u00e3o<\/strong>. \n
\n
\n<\/div>\n\n Agora imagine uma loja virtual no porte do Magazine Luiza que deve receber milhares de visitas e compras mensais. Imagine que cada clique, cada rolagem de p\u00e1gina e at\u00e9 o tempo que voc\u00ea permanece em cada se\u00e7\u00e3o \u00e9 um dado diferente. \n
\n
\n<\/div>\n\n Todos n\u00f3s geramos um volume de dados muito grande. Esses dados podem ser divididos entre dados estruturados e n\u00e3o-estruturados:\n<\/div>\n\n
\n<\/div>\nDados estruturados <\/h3>\n
\n S\u00e3o aqueles que possuem um padr\u00e3o pr\u00e9 definido. Utilizam uma estrutura bem r\u00edgida e geralmente s\u00e3o criados antes do surgimento das informa\u00e7\u00f5es.\n
\n
\n<\/div>\n\n Eles geralmente s\u00e3o criados em ferramentas de tecnologia anal\u00edticas como o excel, por exemplo. \n
\n
\n<\/div>\n\n Essa estrutura \u00e9 bem definida pois, se voc\u00ea cria a regra de que um campo deve aceitar apenas n\u00fameros, n\u00e3o ser\u00e1 poss\u00edvel adicionar uma v\u00edrgula ou uma letra.\n
\n
\n<\/div>\n\n Um exemplo de dados estruturados s\u00e3o dados armazenados em SQL, ou Structured Query Language, que nada mais s\u00e3o que tabelas de chave-valor, como as planilhas de excel, mas dessa vez, em um banco de dados din\u00e2mico, como o MySQL ou Postgres. Para cada chave existe um valor. Assim como um jogo de Batalha Naval!\n
\n
\n<\/div>\nDados n\u00e3o-estruturados <\/h3>\n
\n Diferente dos dados estruturados, os n\u00e3o estruturados n\u00e3o seguem padr\u00f5es r\u00edgidos, sendo bem flex\u00edveis e din\u00e2micos.\n
\n
\n<\/div>\n\n Esse tipo de informa\u00e7\u00e3o \u00e9 uma das mais produzidas no mundo virtual justamente por sua facilidade de mudan\u00e7a e aceite de diferentes caracteres. \n
\n
\n<\/div>\n\n Um exemplo disso s\u00e3o os dados gerados nas redes sociais. Diante de tanta informa\u00e7\u00e3o que \u00e9 produzida a cada segundo por meio da publica\u00e7\u00e3o de fotos, v\u00eddeos e textos, limita-las numa estrutura fixa n\u00e3o seria eficaz. \n<\/div>\n\n
\n<\/div>\n\n Um exemplo de dados n\u00e3o-estruturados s\u00e3o todos os tweets gerados diariamente, que s\u00e3o informa\u00e7\u00f5es n\u00e3o organizadas, mas que podem conter um valor importante para compreender cen\u00e1rios. Neste caso, por exemplo uma pr\u00e1tica realizada por empresas, como o monitoramento de redes sociais, servem para fazer an\u00e1lise de sentimentos dos usu\u00e1rios com base no que \u00e9 dito por cada um.\n
\n
\n<\/div>\n\n Assim o papel de um Data Scientist se faz cada vez mais importante e n\u00e3o \u00e9 atoa que a demanda por esse profissional cresceu tanto nos \u00faltimos anos. \n
\n
\n<\/div>\n\n As empresas perceberam que dados podem ser convertidos em informa\u00e7\u00e3o,\n quem tem informa\u00e7\u00e3o, tem poder e quem tem poder tem vantagem competitiva no mercado<\/strong>. \n
\n
\n<\/div>\n\n Por isso, uma pessoa que deseja aprender Data Science tem uma grande oportunidade de carreira. Entre as principais formas de como os profissionais contribuem para o crescimento das institui\u00e7\u00f5es \u00e9 poss\u00edvel citar:\n<\/div>\n\n
\n<\/div>\nOtimiza\u00e7\u00e3o para Tomada de Decis\u00f5es <\/h3>\n
\n Os dados n\u00e3o mentem. As empresas est\u00e3o construindo cada vez mais uma cultura orientada por dados, ou \n data-driven, <\/em>e junto com isso, vemos cada vez mais a utiliza\u00e7\u00e3o de estat\u00edstica, matem\u00e1tica e metodologia ci\u00eant\u00edfica na an\u00e1lise de dados para tomar decis\u00f5es, principalmente em empresas de tecnologia, que t\u00eam mais dados dispon\u00edveis para serem analisados, infra-estrutura e tecnologia para viabilizar essas an\u00e1lises e a capacidade de tranquear estes dados, devido aos seus produtos e modelo de neg\u00f3cio.\n
\n
\n<\/div>\n\n Observando essas a\u00e7\u00f5es os Cientistas de Dados s\u00e3o capazes de construir hip\u00f3teses e valida\u00e7\u00f5es \n bem embasados que influenciam o caminho no qual o neg\u00f3cio ir\u00e1 seguir, tanto num n\u00edvel t\u00e1tico quanto estrat\u00e9gico.<\/strong> \u00c9 por isso que Data Science \u00e9 um setor estrat\u00e9gico, pr\u00f3ximo de um n\u00edvel alto de hierarquia na companhia, e sempre bem acompanhado de demandas de Diretores e os C-levels da empresa.\n<\/div>\n\n
\n<\/div>\nOtimiza\u00e7\u00e3o de Processos<\/h3>\n
\n Imagine que uma empresa de log\u00edstica, que possui uma frota de caminh\u00f5es gigante e tamb\u00e9m centenas de pedidos para serem entregues todos os dias. Tra\u00e7ar as rotas manualmente e estimar o tempo gasto nas entregas seria algo impens\u00e1vel de se fazer.\n
\n
\n<\/div>\n\n Data Science pode otimizar os processos de log\u00edstica, tornando-os mais eficientes, o que pode significar economia de tempo e dinheiro. Nesse exemplo, um Cientista de Dados pode construir um algoritmo capaz de coletar dados fornecidos por um GPS (como informa\u00e7\u00f5es meteorol\u00f3gicas, situa\u00e7\u00e3o do tr\u00e2nsito em tempo real e at\u00e9 mesmo tipos de estrada se \u00e9 asfaltada ou n\u00e3o) para prever as melhores rotas e estimar o tempo de entrega de cada produto. Al\u00e9m disso, pode tamb\u00e9m, realizar an\u00e1lises de demanda, entrada e sa\u00edda de estoque para prever em quanto tempo ir\u00e1 falta determinado produto, e quando e em qual quantidade deve compr\u00e1-lo.\n
\n
\n<\/div>\n\n Assim, por meio dessas informa\u00e7\u00f5es, \n as empresas podem maximizar as opera\u00e7\u00f5es no setor<\/strong>, passar uma previs\u00e3o de entrega mais assertiva para o comprador, diminuir os desgastes na frota de caminh\u00f5es e com isso, reduzir os gastos com imprevistos que possam ocorrer. \n
\n
Indo al\u00e9m, um Cientista de Dados pode aplicar os conceitos de Machine Learning (aprendizado de m\u00e1quina) para que o algoritmo aprenda os melhores caminhos a se fazer, trabalhando de forma autom\u00e1tica. \n<\/div>\n\n
\n<\/div>\nOtimiza\u00e7\u00e3o de Produtos: Usando feedback de comportamento dos usu\u00e1rios<\/h3>\n
\n Voc\u00ea j\u00e1 deve saber que, ao construir uma empresa, voc\u00ea n\u00e3o pode criar uma solu\u00e7\u00e3o para voc\u00ea e sim para o seu p\u00fablico, resolvendo alguma dor de mercado, comprovada pela reafirma\u00e7\u00e3o de demanda pelo seu produto ou servi\u00e7o.\n
\n
\n<\/div>\n\n \u00c9 dito que produtos digitais, nunca est\u00e3o prontos, ou terminados. Isso \u00e9 dito, por que os produtos precisam ser atualizados, e essa atualiza\u00e7\u00e3o, \u00e9 feita com base na an\u00e1lise de comportamentos dos usu\u00e1rios, para gradativamente, adaptarmos o produto digital, otimizando a experi\u00eancia do usu\u00e1rio e compreender o que \u00e9 de maior valor para os cleintes. \n Atrav\u00e9s das a\u00e7\u00f5es individuais de cada um \u00e9 poss\u00edvel identificar padr\u00f5es de comportamento e com isso melhorar o produto. <\/strong>Um bom exemplo, \u00e9 s\u00f3 voc\u00ea pensar em quantas vezes o Facebook, Instagram, Netflix, ou qualquer outro software que voc\u00ea usa no dia-a-dia foi atualizado ou mudou de interface nos \u00faltimos tempos.\n
\n
\n<\/div>\n\n O feedback dos usu\u00e1rios precisa ser coletado de diferentes maneiras e um bom cientista de dados, consegue sumarizar esses dados e rastros de pixels deixados por eles para melhorar seu produto, e consequentemente seu neg\u00f3cio.\n
\n
\n<\/div>\n\n Esse \u00e9 um dos motivos pelos quais a demanda por Cientistas de Dados tem crescido cada vez mais, n\u00e3o s\u00f3 em grandes empresas de tecnologia, mas tamb\u00e9m small business e mid market tamb\u00e9m. A Era \u00e9 da informa\u00e7\u00e3o, e com muita informa\u00e7\u00e3o e muitos dados, todo mundo vai precisar de um cientista de dados, para tomar decis\u00f5es de neg\u00f3cio, cada vez mais orientada por dados. \u00c9 por essas e outras que o cargo de Cientista de Dados \u00e9 o com maior crescente em todo mundo de acordo com \n este report sobre o Futuro do Trabalho<\/a> do World Economic Forum. \n
\n
\n<\/div>\n\n A demanda por esses profissionais n\u00e3o acompanha com aumento de oferta, e o ticket desse profissional est\u00e1 se tornando um dos mais caros do mercado, justamente pela falta de especialistas e forma\u00e7\u00e3o na \u00e1rea.\n
\n
\n<\/div>\nAprenda a programar \u200d \u200d <\/h2>\n
\n Quem deseja aprender Data Science deve saber que para se tornar um profissional cobi\u00e7ado no mercado \u00e9 necess\u00e1rio ter uma base s\u00f3lida em:\n
\n
\n<\/div>\n- \n
- Matem\u00e1tica<\/strong>: \u00e1lgebra linear, fun\u00e7\u00e3o polinomial do 1\u00ba e 2\u00b0 grau, trigonometria, fun\u00e7\u00e3o logar\u00edtmica, etc.<\/li>\n
- Estat\u00edstica<\/strong>: probabilidade, infer\u00eancia estat\u00edstica, regress\u00e3o linear, tipos de vari\u00e1veis, amostra, tipos de gr\u00e1ficos, etc.<\/li>\n
- Programa\u00e7\u00e3o e Desenvolvimento: Aqui as linguagens mais famosas s\u00e3o R e Python<\/a>.<\/li>\n<\/ul>\n
\n Um Cientista de Dados precisa ter uma base s\u00f3lida em programa\u00e7\u00e3o e em matem\u00e1tica\/estat\u00edstica, para ser capaz de compreender o que acontece \"por detr\u00e1s do cap\u00f4\" dos algoritmos e bibliotecas utilizadas e populares entre esses profissionais. Sem isso \u00e9 como um mec\u00e2nico que pode at\u00e9 mesmo saber como consertar o carro e resolver o problema do \"sintoma\" mas nunca saberia o por qu\u00ea do carro ter estragado em primeiro lugar, ou seja, n\u00e3o saber\u00e1 o diagn\u00f3stico completo.\n
<\/strong>\n
\n<\/div>\n\n N\u00e3o entendeu ainda? Vamos l\u00e1:\n
\n
Um exemplo de um job de Data Science seria por exemplo o seguinte.\n
\n
Voc\u00ea est\u00e1 tomando seu caf\u00e9 da manh\u00e3, trabalhando de home office, quando de repente, voc\u00ea recebe um e-mail do seu CFO, Jo\u00e3o Paulo Aranha, pedindo para seu time realizar uma an\u00e1lise preditiva para calcular em quantos por cento aumentar\u00edamos a taxa de cancelamento mensal da Revista Aquilo\u00c9 se aument\u00e1ssemos em 1,58% o pre\u00e7o da mensalidade. Cientistas de Dados devem juntar as bases de dados, para primeiro compreender as modalidades de assinatura dos clientes, logo os padr\u00f5es dos hist\u00f3ricos de cancelamentos dos leitores e assim, realizar uma proje\u00e7\u00e3o preditiva do aumento da taxa de cancelamento, em rela\u00e7\u00e3o \u00e0 sensibilidade do pre\u00e7o e a disposi\u00e7\u00e3o a pagar das pessoas.\n
\n
\n<\/div>\n\n Para isso, ser\u00e1 necess\u00e1rio usar bibliotecas de Machine Learning como scikit-learn, para realizar an\u00e1lises de regress\u00e3o linear e regress\u00e3o log\u00edstica, entre outras an\u00e1lises e construir um modelo preditivo de Machine Learning para avaliar esse resultado e encontrar um ponto \u00f3timo, onde talvez, se aument\u00e1ssemos em 1,58% o pre\u00e7o da assinatura, provavelmente o total da receita de perda de novos clientes que n\u00e3o t\u00eam disposi\u00e7\u00e3o a pagar o novo pre\u00e7o incrementado, em detrimento do aumento do faturamento em resposta aos clientes que permanecessem. E assim, encontrar um ponto \u00f3timo, onde talvez, 1,58% seja um aumento substancial, e n\u00e3o deve-se tomar essa decis\u00e3o de neg\u00f3cio. Tampouco, n\u00e3o aumentar em nada o pre\u00e7o da revista, pode ser prejudicial, mas talvez se aument\u00e1ssemos em 0,97%, as somas dos outcomes positivos com negativos, pudesse resultar em um jogo de soma-positiva.\n
\n
\n<\/div>\n\n Sem o poder computacional para otimizar a efici\u00eancia das an\u00e1lises, tudo teria que ser feito como os matem\u00e1ticos e estat\u00edsticos faziam antigamente: Na m\u00e3o. Isso n\u00e3o \u00e9 imposs\u00edvel, mas \u00e9 bastante trabalhoso\u2026 Por isso com as novas tecnologias dispon\u00edveis, e com a imensidade de dados a serem analisados, se voc\u00ea quer se tornar um cientista de dados, voc\u00ea \n precisa<\/strong> aprender a programar.\n
\n
\n<\/div>\n\n Legal V\u00edtor, mas e agora? Como eu posso come\u00e7ar a entender mais sobre essa \u00e1rea de Data Science para saber se isso \u00e9 pra mim mesmo ou n\u00e3o?\n
\n
Voc\u00ea come\u00e7ar a aprender mais sobre data science \n aqui<\/a>.\n<\/div>\n\n
Ci\u00eancia de Dados \u00e9 um campo extremamente amplo, onde d\u00e1 para se especializar muito em pequenas sub-\u00e1reas, mas o \"feij\u00e3o com arroz\" mesmo come\u00e7a aqui:\n<\/div>\n\n
\n<\/div>\nAprenda a programar em Python \u200d \u200d <\/h3>\n
\n A \n linguagem de programa\u00e7\u00e3o<\/a> Python \u00e9 uma linguagem de alto n\u00edvel, com tipagem din\u00e2mica e tem diversas bibliotecas dispon\u00edveis que permitem agilizar o trabalho do cientista de dados. \n
\n
\n<\/div>\n\n A linguagem de programa\u00e7\u00e3o junto \u00e0s bibliotecas \n permitem analisar arrays e matrizes multi-dimensionais facilmente<\/strong>, estruturas e opera\u00e7\u00f5es de dados e ainda trabalhar com tabelas num\u00e9ricas complexas. \n
\n
\n<\/div>\n\n Com Python voc\u00ea pode trabalhar analisando quaisquer fontes de informa\u00e7\u00f5es, bancos de dados estruturados e n\u00e3o estruturados, web-scraping, xmls files ou cvs ou at\u00e9 mesmo APIs.\n
\n
\n<\/div>\n\n Quer ver como aprender Python? Leia nosso <\/strong>\n guia completo<\/strong><\/a>\n com todas as informa\u00e7\u00f5es necess\u00e1rias que voc\u00ea precisa para desenvolver seus conhecimentos nessa linguagem. <\/strong>\n<\/div>\n\n
\n<\/div>\nBibliotecas Pandas e Numpy <\/h3>\n
\n As Libraries Pandas e Numpy permitem acessar os grandes bancos de dados (SQL) e junto com o Kaggle.com voc\u00ea ter\u00e1 os dados necess\u00e1rios para brincar com novos projetos. \n
\n
\n<\/div>\n\n No Kaggle voc\u00ea poder\u00e1 acessar \n mais de 50 mil banco de dados p\u00fablicos e mais de 400 mil notebooks p\u00fablicos<\/strong> para trabalhar a an\u00e1lise de dados e explorar diferentes \u00e1reas no campo da ci\u00eancia de dados. \n
\n
\n<\/div>\n\n Al\u00e9m disso, voc\u00ea pode participar de competi\u00e7\u00f5es. \n Elas t\u00eam o objetivo de desafiar os participantes na resolu\u00e7\u00e3o de problemas reais de grandes empresas<\/strong>. Ou seja, voc\u00ea tem a possibilidade de colocar seu conhecimento no mercado em tempo real. \n
\n
\n<\/div>\n\n No fim de cada competi\u00e7\u00e3o o ganhador pode levar um pr\u00eamio em dinheiro. \n
\n
\n<\/div>\n\n Para terminar as an\u00e1lises de dados voc\u00ea pode utilizar o \n Google Collab<\/a> ou Jupyter Notebook. Ambas s\u00e3o ferramentas online dedicadas, entre outras coisas, \u00e0 an\u00e1lise de dados.\n
\n
\n<\/div>\nLinguagem R<\/h3>\n
\n A linguagem R tamb\u00e9m \u00e9 muito utilizada \u00e9 necess\u00e1ria se voc\u00ea quer aprender data science. Ela permite a \n constru\u00e7\u00e3o de um ambiente ideal para constru\u00e7\u00e3o de gr\u00e1ficos e fazer estat\u00edsticas<\/strong> como:\n
\n
\n<\/div>\n- \n
- Modelagem linear e n\u00e3o-linear;<\/li>\n
- Testes estat\u00edsticos cl\u00e1ssicos;<\/li>\n
- An\u00e1lise de s\u00e9ries temporais;<\/li>\n
- Classifica\u00e7\u00e3o;<\/li>\n
- Agrupamento.<\/li>\n<\/ul>\n\n
\n<\/div>\nDomine Visualiza\u00e7\u00e3o de Dados ou Dataviz <\/h3>\n
\n Enquanto as bibliotecas e ferramentas citadas acima permitem voc\u00ea aprender Data Science, existem outras que v\u00e3o te ajudar a \n visualizar os dados de maneira mais intuitiva e agrupada.
<\/strong>\n
\n<\/div>\n\n Muitas pessoas utilizam o BI ou Tableau para fazer suas primeiras visualiza\u00e7\u00f5es, no entanto essas ferramentas foram criadas para o analista de dados e n\u00e3o para o cientista. \n
\n
\n<\/div>\n\n Por\u00e9m existem outras formas de se fazer isso, inclusive existem 2 bibliotecas para Python famosas nessa \u00e1rea: \n matplotlib e seaborn<\/strong>. \n
\n
\n<\/div>\n\n Enquanto o matplotlib abrange a cria\u00e7\u00e3o e visualiza\u00e7\u00e3o de dados de uma maneira animada e interativa, a biblioteca Seaborn permite a constru\u00e7\u00e3o de gr\u00e1ficos atraentes e muito informativos.\n
\n
\n<\/div>\n\n Dedique-se a aprender mais sobre elas e explique suas possibilidades.\n<\/div>\nO que \u00e9 Decision Science? \u2716\u2795\u2796\u2797<\/h2>\n
\n A uni\u00e3o entre matem\u00e1tica e dados s\u00f3 poderia resultar em tomadas de decis\u00f5es com muito mais probabilidade de acerto. \n
\n
\n<\/div>\n\n Ou seja, o cientista de dados deve utilizar recursos matem\u00e1ticos apoiados por ferramentas computacionais para cria\u00e7\u00e3o de diferentes cen\u00e1rios poss\u00edveis \n a fim de justificar uma determinada decis\u00e3o de neg\u00f3cio e mostrar o que pode acontecer se seguir outras dire\u00e7\u00f5es<\/strong>. \n
\n
\n<\/div>\n\n Decision Science \u00e9 onde unimos a estat\u00edstica, a an\u00e1lise de dados com programa\u00e7\u00e3o e poder computacional, com as m\u00e9tricas chave do neg\u00f3cio, como por exemplo, OKRs e KPIs. Esses conhecimentos, permitem entender a rela\u00e7\u00e3o entre os dados e vari\u00e1veis do neg\u00f3cio, para atrav\u00e9s de engenharia de dados, encontrar novas vari\u00e1veis e par\u00e2metros, que v\u00e3o ajudar a compreender melhor a realidade e a tomada de decis\u00f5es orientada por dados, inv\u00e9s de uma tomada de decis\u00e3o, orientada por f\n eeling<\/em>ou achismos. \n
\n
\n<\/div>\n\n Em Decision Science, usa-se muito de m\u00e9tricas comuns da estat\u00edstica, como m\u00e9dia, mediana, desvio padr\u00e3o R\u00b2 e graus de correla\u00e7\u00e3o, regress\u00e3o linear e regress\u00e3o log\u00edstica para desvendar como os indicadores se relacionam e obter insights de neg\u00f3cio.\n
\n
\n<\/div>\n\n Dessa forma, as empresas que usam esse recurso saem na frente da concorr\u00eancia, j\u00e1 que n\u00e3o tomam decis\u00f5es baseadas em achismos.\n<\/div>\nA Ci\u00eancia dos Dados <\/h2>\n
\n Em Data Science, diferente de qualquer outra an\u00e1lise de dados normal, segue rigorosamente e metodologia cient\u00edfica da academia para processualizar suas an\u00e1lises. \u00c9 justamente o rigor cient\u00edfico a utiliza\u00e7\u00e3o desse m\u00e9todo unidos \u00e0 matem\u00e1tica, estat\u00edstica e programa\u00e7\u00e3o, que batizaram o nome desse profissional.\n
\n
Com o m\u00e9todo cient\u00edfico, as empresas se blindam de realizar an\u00e1lises enviesadas, que n\u00e3o compreendem a realidade, e sair da caixa para ampliar a granularidade dos dados, e obter an\u00e1lises mais assertivas.\n
\n
O m\u00e9todo cient\u00edfico: \n
\n
\n<\/div>\n- \n
- Observa\u00e7\u00e3o: Assim como Galileu Galilei, o pai da ci\u00eancia moderna, utilizou da observa\u00e7\u00e3o e experimenta\u00e7\u00e3o para analisar um fen\u00f4meno, aqui Data Scientist escolhem seu objeto de an\u00e1lise<\/li>\n
- Elabora\u00e7\u00e3o do Problema: Aqui, antes de determinar quais respostas se querem encontrar, \u00e9 importante antes voc\u00ea se fazer qual pergunta, ou qual problema voc\u00ea quer responder ou resolver. Uma boa pergunta pede uma boa resposta.<\/li>\n
- Elabora\u00e7\u00e3o de Hip\u00f3teses: Com base na observa\u00e7\u00e3o do objeto de estudo e com base nas perguntas elaboradas, tenta-se estipular poss\u00edveis respostas para o problema.<\/li>\n
- Valida\u00e7\u00e3o: Aqui para os Cientistas de Dados, \u00e9 aonde inicia-se as an\u00e1lises de dados e tudo que vimos at\u00e9 agora para validar se alguma das hip\u00f3teses estipuladas de fato responde a pergunta do problema ou n\u00e3o, com vaz\u00e3o para serem validadas ou invalidadas.<\/li>\n
- An\u00e1lise de Resultados: Ap\u00f3s a escolha da metodologia de an\u00e1lise, e ap\u00f3s rodadas todas as devidas an\u00e1lises de dados, com as visualiza\u00e7\u00f5es dispon\u00edveis, discutimos e assinalamos as conclus\u00f5es obtidas dos experimentos.<\/li>\n
- Conclus\u00f5es<\/li>\n<\/ol>\n
Aprenda Machine Learning <\/h2>\n
\n N\u00e3o existe Cientista de Dados \"unic\u00f3rnio\". Aquele que sabe fazer de TUDO. O Data Scientist peer-to-peer. O Rodrigo Hilbert da Ci\u00eancia de Dados. N\u00e3o. Isso \u00e9 lenda urbana e folclore, assim como Saci Perer\u00ea, Mula-sem-cabe\u00e7a e o Curupira... \n
\n
Em grandes empresas, ou as big tech companies, como Apple, Microsoft, Facebook, Amazon e por a\u00ed segue a lista dos residentes de Palo Alto, do Silicon Valey... Enfim, todos esses t\u00eam times inteiros de Data Scientists, segmentados, onde cada um tem determinada especialidade e responsabilidade por uma pequena parte de todo esse processo. At\u00e9 mesmo um Gestor ou L\u00edder de \u00e1rea, por mais que seja importante compreender todo o processo, desde a extra\u00e7\u00e3o, processamento at\u00e9 o deploy, ele n\u00e3o vai saber executar na \u00edntegra todas as etapas... \n
\n
Machine Learning, sem d\u00favida \u00e9 uma das habilidades mais populares hoje em dia, muito em alta, mas na verdade s\u00e3o poucas as pessoas que realmente compreendem do que se trata e como acontece esse processo. Com certeza \u00e9 aonde a maioria dos Cientistas de Dados gostaria de estar trabalhando aqui, mas pouca gente sabe, mas a parte de modelagem, \u00e9 a cereja da cereja do bolo. 95% \u00e0 99% do tempo voc\u00ea fica na parte de ETL, limpando os dados, e s\u00f3, somente s\u00f3, quando est\u00e1 tudo prontinho para ser analisado que entra a parte \"legal\" de ML. \n sabe de nada inocente! rsrsrs
E lembrem-se: Machine Learning \u00e9 uma t\u00e9cnica <\/em>\n que nem sempre precisa ser usada! <\/em><\/strong>\n Muita gente se perde pela vontade de usar ML quando muitas vezes n\u00e3o tem a menor necessidade, e uma simples regress\u00e3o linear d\u00e1 conta de resolver o problema. <\/em>\n N\u00e3o tenham medo de n\u00e3o usar ML.<\/em><\/strong>\n
\n
Machine Learning \u00e9 um bem diferente de an\u00e1lise de dados. \n
Enquanto na an\u00e1lise de dados voc\u00ea tem um input, dos dados a serem analisados e tem um output, que s\u00e3o as an\u00e1lises de fato. Em ML voc\u00ea j\u00e1 come\u00e7a com o input e o output juntos. Mas como assim V\u00edtor?\n
\n
Vamos l\u00e1, \u00e9 mais simples do que parece:\n
Existem dois tipos de Aprendizagem de M\u00e1quina:\n
\n
\n<\/div>\n- \n
- Supervisionada<\/li>\n
- N\u00e3o-Supervisionada<\/li>\n<\/ol>\n\n Daqui a pouquinho voltamos aqui. Segura a\u00ed!\n
Em Machine Learning, voc\u00ea j\u00e1 come\u00e7a com um dataset com o input, e com o output, no sentido de que, voc\u00ea j\u00e1 tem as an\u00e1lises de determinados resultados de alguns comportamentos dentro da sua base de dados, e aqui, o objetivo \u00e9 criar um modelo ou algoritmo, que com base nos padr\u00f5es de input e de output, seja capaz de prever sozinho, \n atrav\u00e9s do aprendizado<\/strong> ao interagir com um novo dados nunca antes visto pelo modelo, qual ser\u00e1 a classifica\u00e7\u00e3o ou output dele, com base no seu treino com o dataset inicial. Capicci?\n
\n
Voc\u00ea pega seu dataset, divide ele da melhor forma poss\u00edvel (tamb\u00e9m com boas pr\u00e1ticas e com base em algumas f\u00f3rmulas e bibliotecas de ML) e dai voc\u00ea separa ele em duas partes:\n
\n
\n<\/div>\n- \n
- Treino<\/li>\n
- Teste<\/li>\n<\/ul>\n\n O treino ser\u00e1 a maior parte do seu dataset (70% via de regra) para treinar seu modelo e alimentar o algoritmo a entender e analisar os padr\u00f5es de input x ouput. \n
A\u00ed sim, uma vez treinado e instanciado o modelo de ML, voce pegar\u00e1 o resto do seu dataset, os outros 30%, nunca antes interagido com o modelo e analisar em quantos por cento, ele ir\u00e1 ser capaz de acertar o output dos dados, sejam eles uma classifica\u00e7\u00e3o (Frio ou Quente, True or False, A ou B ou C ou D) ou seja ele algum resultado espec\u00edfico (X, Y, Z, R\u00b2).\n
\n
\n<\/div>\nCuidado com seu modelo, pois voc\u00ea pode ter resultados bem enviesados. S\u00e3o chamados eles de Overfitting e Underfitting.\n
\n \n \n Underfitting, Overfitting & Balanced\n <\/figcaption>\n <\/figure>Underfitting <\/h3>\n \n Nesse caso, o modelo j\u00e1 \u00e9 ruim desde na pr\u00f3pria etapa de treinamento. Ou seja, o recorte da divis\u00e3o do dataset entre treinamento e teste foi mal feita, de modo que a amostragem de treino, n\u00e3o tem uma representatividade do que acontece de fato na realidade do conjunto inteiro.\n
\n
Sendo assim, o algoritmo, n\u00e3o consegue entender corretamente como os dados se relacionam e voc\u00ea deve corrigir isso, re-instanciando novamente o modelo, at\u00e9 encontrar uma boa divis\u00e3o do recorte entre os dados para alimentar o treino e os dados para test\u00e1-lo.\n<\/div>\n\n
\n<\/div>\nOverfitting <\/h3>\n
\n O Overfitting, \u00e9 quando seu modelo Aprendizado de M\u00e1quina \u00e9 t\u00e3o assertivo, que n\u00e3o houve aprendizagem do algoritmo, e que ele na verdade, decorou os outcomes com base no dataset. \n
\n
Aqui o modelo atua de forma que se inputado novamente com um dado equivalente \u00e0 algum j\u00e1 antes visto, ao inv\u00e9s de processar um novo resultado de outcome, d\u00e1 a correspond\u00eancia exata daquele datapoint, como se fossem atributos de chave-valor. Quando isso acontece, o modelo \u00e9 ineficaz para prever novos resultados.\n<\/div>\n\n
\n<\/div>\nBalanced<\/h3>\n
\n Um bom modelo de Machine Learning, \u00e9 aquele cujo recorte do dataset entre treino e teste foi bem feito e representativo, de modo que a acur\u00e1cia do modelo de ML seja alta para prever novos resultados quando interagir com novos pontos de dados. Normalmente um bom modelo de ML fica entre 95% - 99% de acur\u00e1cia, mas tamb\u00e9m vai depender de N fatores das especificidades do que voc\u00ea est\u00e1 analisando.\n<\/div>\n\n
\n<\/div>\nE para que serve Machine Learning? <\/h3>\n
\n Voc\u00ea j\u00e1 pensou como a Netflix faz sugest\u00f5es de s\u00e9ries t\u00e3o pr\u00f3ximas daquilo que voc\u00ea pode gostar ou como os carros aut\u00f4nomos conseguem dirigir sozinhos pelas cidades? Respectivamente com t\u00e9cnicas de data clustering, ou agrupamento de dados na Netflix, e NLP, ou Natural Language Processing, o processamento de textos, imagens e v\u00eddeos, no caso dos carros auto-dirig\u00edveis, da Tesla.\n
\n
No caso da Netflix, seus algoritmos compreende os g\u00eaneros que voc\u00ea assiste frequentemente, o que voc\u00ea pesquisa na plataforma, quanto tempo voc\u00ea passa assistindo e mais uma s\u00e9rie de informa\u00e7\u00f5es para te recomendar s\u00e9ries e filmes que voc\u00ea ter\u00e1 mais probabilidade de assistir. Tamb\u00e9m faz recomenda\u00e7\u00f5es com base em usu\u00e1rios com gostos por filmes e s\u00e9ries similares aos seus.\n
\n
\n<\/div>\n\n Tudo isso \u00e9 poss\u00edvel com o Machine Learning<\/strong>. A partir dos seus comandos um computador conseguir\u00e1 tomar decis\u00f5es sozinhos baseados no que ele vai aprendendo ao longo do tempo. \n<\/div>\n\n
\n<\/div>\nO que \u00e9 Deep Learning? <\/h3>\n
\n O deep learning \u00e9 uma sub-\u00e1rea dentro de Machine Learning, que tem o objetivo de ensinar os computadores a realizarem tarefas como um ser humano faria. T\u00e1 mas qual a diferen\u00e7a, V\u00edtor?\n
\n
\n<\/div>\n\n Voc\u00ea j\u00e1 deve ter visto falar da Alexa, assistente virtual da Amazon. Seu software foi criado com tecnologias de Deep Learning e aprende a cada nova intera\u00e7\u00e3o que fazemos com ela por meio dos comandos de voz. \n
\n
Basicamente, a complexidade do Deep Learning \u00e9 bem maior, consistindo em um conjunto de algoritmos, capazes de modelar e processar altos n\u00edveis de abstra\u00e7\u00e3o de dados atrav\u00e9s de grafos profundos e uma s\u00e9rie de camadas de processamento, que realizam em tempo-real transforma\u00e7\u00f5es lineares e n\u00e3o-lineares.... OK, mas o que isso significa em portugu\u00eas? rsrs\n
\n
S\u00e3o formas de Intelig\u00eancia Artificial, que usam t\u00e9cnicas avan\u00e7adas, com o objetivo de imitar a fun\u00e7\u00f5es cognitiva de aprendizado do ser humano de maneira intuitiva. Como a Alexa, da Amazon.\n<\/div>\n\n
\n<\/div>\nModel Tuning <\/h3>\n
\n O Model Tuning \u00e9 um processo que tem o objetivo de melhorar a escolha do hiperpar\u00e2metro mais preciso para um algoritmo utilizado no aprendizado de m\u00e1quina. \n
\n
\n<\/div>\n\n Todo algoritmo possui diferentes hiperpar\u00e2metros e por meio do modelo tuning \u00e9 poss\u00edvel dizer qual \u00e9 o mais adequado para cada situa\u00e7\u00e3o. Model Tuning \u00e9 a pr\u00e1tica onde se ajusta o modelo de Machine Learning criado, para alcan\u00e7ar maior acur\u00e1cia na sua capacidade preditiva de prever corretamente o resultado. \u00c9 onde vamos encontrar a melhor separa\u00e7\u00e3o do dataset entre a divis\u00e3o entre o que ser\u00e1 a parte de treino, que ir\u00e1 alimentar o modelo e qual ser\u00e1 a parte de teste, para testar a capacidade do modelo e da previs\u00e3o.\n
\n
\n<\/div>\n\n Determinar qual conjunto de hiperpar\u00e2metros resulta no modelo mais preciso<\/strong>.\n
<\/strong>\n
\n<\/div>\n\n Esse processo \u00e9 importante pois permite que voc\u00ea construa modelos personalizados que v\u00e3o gerar resultados muito mais precisos e com isso fornecer insights mais ricos a respeito dos seus dados. Assim \u00e9 poss\u00edvel fazer tomadas de decis\u00e3o mais assertivas.\n
\n
\n<\/div>\n\n Afinal de contas. dentro de um mesmo dataset e um mesmo modelo de ML, voc\u00ea pode encontrar diferentes reparti\u00e7\u00f5es e divis\u00f5es, e tamb\u00e9m, diferentes taxas de acur\u00e1cia de previsibilidade do modelo, sendo o Model Tuning um conjunto de pr\u00e1ticas para encontrar os par\u00e2metros \u00f3timos para o melhor modelo poss\u00edvel, dentro de um determinado conjunto de dados.\n
\n
\n<\/div>\nDicas pr\u00e1ticas de como aprender Data Science do zero<\/h2>\n
\n Depois de tanta teoria e explica\u00e7\u00f5es, \u00e9 hora de voc\u00ea ver dicas para praticar tudo aquilo que eu disse aqui. \n
\n
\n<\/div>\n\n Nos trechos a seguir eu tamb\u00e9m te mostro alguns sites para voc\u00ea aprender Python e Data Science sozinho. Veja a seguir!\n<\/div>\n\n
\n<\/div>\nFa\u00e7a um projeto \u200d \u200d <\/h3>\n
\n Muitas das ferramentas que citamos aqui s\u00e3o gratuitas e voc\u00ea pode acessar de qualquer computador. Al\u00e9m disso, bancos de dados p\u00fablicos s\u00e3o que n\u00e3o faltam para voc\u00ea brincar de fazer an\u00e1lise de dados e voc\u00ea pode usar uma das ferramentas que j\u00e1 citamos no texto, o Kaggle.\n
\n
\n<\/div>\n\n Voc\u00ea pode criar sua conta no Google Collab e explorar os recursos da ferramenta. O notebook Jupyter tamb\u00e9m \u00e9 uma boa op\u00e7\u00e3o para essa tarefa. \n
\n
\n<\/div>\n\n Por serem duas ferramentas online voc\u00ea n\u00e3o precisar\u00e1 ter um super computador ou algo do tipo para explorar o universo da ci\u00eancia de dados. <\/strong>\n<\/div>\n\n
\n<\/div>\nLeia Livros, Blogs e Conte\u00fados de Data Science <\/h3>\n
\n Para aproveitar o m\u00e1ximo de aprendizado poss\u00edvel \u00e9 necess\u00e1rio ter uma total imers\u00e3o no assunto para absorver o m\u00e1ximo de informa\u00e7\u00f5es. \n
\n
\n<\/div>\n\n Ler livros sobre ci\u00eancia de dados permite que voc\u00ea siga uma linha l\u00f3gica de aprendizado com contextualiza\u00e7\u00e3o, desenvolvimento e conclus\u00e3o de determinado assunto. \n
\n
\n<\/div>\n\n Como data science \u00e9 uma \u00e1rea t\u00e3o plural, voc\u00ea ter\u00e1 muitas op\u00e7\u00f5es para escolher, <\/strong>mas vou citar alguns dos principais:\n
\n
\n<\/div>\n- \n
- Introduction to Machine Learning with Python;<\/li>\n
- Python for Data Analysis;<\/li>\n
- Python Data Science Handbook;<\/li>\n
- Python Machine Learning;<\/li>\n
- Deep Learning;<\/li>\n
- Machine Learning: a Probabilistic Perspective;<\/li>\n
- Deep Learning Book (possui vers\u00e3o em portugu\u00eas<\/a>).<\/li>\n<\/ul>\n\n Al\u00e9m disso, complemente sua leitura com conte\u00fados da internet. Minha recomenda\u00e7\u00e3o \u00e9 buscar fontes estrangeiras pois alguns mercados de tecnologia est\u00e3o mais maduros que o brasieleiro e por isso voc\u00ea pode beber \u00e1gua direto da fonte. \n
\n
\n<\/div>\n\n Alguns que mais gosto s\u00e3o:\n
\n
\n<\/div>\n- \n
- IBM Big Data & Analytics Hub;<\/li>\n
- Blog e podcast DataCamp;<\/li>\n
- Central Data Science;<\/li>\n
- KDnuggets;<\/li>\n
- Data Science<\/li>\n<\/ul>\n
Participe de Comunidades \u200d \u200d <\/h3>\n
\n Outra forma de aprender data science \u00e9 participar de comunidades sobre o assunto. \n
\n
\n<\/div>\n\n Existem muitas no Brasil e em todo mundo. As comunidades permitem que voc\u00ea compartilhe suas d\u00favidas e receba opini\u00f5es e \n ajuda de profissionais que est\u00e3o num n\u00edvel de conhecimento mais avan\u00e7ado que voc\u00ea.<\/strong> \n
\n
\n<\/div>\n\n Al\u00e9m disso, mesmo que voc\u00ea j\u00e1 domine bem o assunto, sempre acontece discuss\u00f5es de diferentes casos que acontecem no dia a dia do programador e quais atitudes o profissional teve para resolver o impasse.\n
\n
\n<\/div>\n\n Algumas comunidades interessantes que eu recomendo s\u00e3o:\n
\n
\n<\/div>\n
- Estat\u00edstica<\/strong>: probabilidade, infer\u00eancia estat\u00edstica, regress\u00e3o linear, tipos de vari\u00e1veis, amostra, tipos de gr\u00e1ficos, etc.<\/li>\n
- Matem\u00e1tica<\/strong>: \u00e1lgebra linear, fun\u00e7\u00e3o polinomial do 1\u00ba e 2\u00b0 grau, trigonometria, fun\u00e7\u00e3o logar\u00edtmica, etc.<\/li>\n