본문 바로가기
[Airflow] The Complete Hands-On Introduction to Apache Airflow Learn to author, schedule and monitor data pipelines through practical examples using Apache Airflow 5. Why Airflow? ETL 할때 에어플로우 안쓰면 10시에 배치가 돈다고 가정했을때 API 필요하고 스노우플레이크 필요하고 Dbt 실수안해야함 추가로 100번 하려면 100개 필요함 6. What is Airflow? 데이터 파이프라인 만드는 오픈소스 (공짜) - 파이썬 스케쥴링 모니터링 가능함 스케이러블 함 = 많은 태스크 다루기 가능 UI 괜찮음 익스텐스성 높음 7. Core Components 웹서버 스케쥴러 메타데이터베이스 스토어 트리거 - executor = - Queue - Worker 8. Core Con.. 2023. 1. 3.
16. Create table - Online SQL Generator / Table 만드는 SQL문 생성하는 사이트 (Mysql) 바로여기 - 가끔 create 문을 치려고 보면 너무 뭔가 더 간편한 방법이 없을까 싶다 - .... 설정하나하나 하는것도 체크체크 해야한다 ... - 테이블명이랑 이것저것 ,,,,자동으로 클릭 한방에 설정해서 딱 SQL 나오게 해주는 사이트 없나 ?? 찾아봤더니 있다!!! https://wtools.io/generate-sql-create-table Create table - Online MySQL Generator | WTOOLS Do you find this tool useful? Then share it with your friends or colleagues. This will help us to make our free web tools better. wtools.io Engine = 디폴트 .. 2023. 1. 2.
01 - 인과추론 입문 (Introduction To Causality)(CausalInferenceLab/Causal-Inference-with-Python) 데이터 과학은 예전과 같지 않아요 데이터 과학자는 Harvard Business Review에 따르면, 21세기 가장 매력적인 직업으로 선정되었습니다. 10년 동안 데이터 과학자는 세간의 주목을 받아왔는데요, AI 전문가들은 스포츠 스타와 맞먹는 수준의 급여를 받았습니다. 명성과 부를 찾기 위해, 수많은 젊은 전문가들이 "데이터 과학" 타이틀을 최대한 빨리 얻기 위한 골드러시(Gold Rush)에 열광적으로 뛰어들었으며, 이러한 데이터 과학 열풍(Hype)으로 새로운 산업들이 생겨났습니다. 하나의 수학 공식을 따로 볼 필요 없이, 다양하고 놀라운 지도 방법(Teaching method)을 을 통해, 여러분을 데이터 과학자로 만들어 줄 수 있습니다. 컨설팅 전문가들은 회사가 데이터의 잠재력을 깨울 수 있다.. 2022. 12. 30.
Pandas Cheatsheet: 125+ exercises # This Python 3 environment comes with many helpful analytics libraries installed # It is defined by the kaggle/python Docker image: https://github.com/kaggle/docker-python # For example, here's several helpful packages to load import numpy as np # linear algebra import pandas as pd # data processing, CSV file I/O (e.g. pd.read_csv) # Input data files are available in the read-only "../input/" d.. 2022. 12. 29.
비모수 검정 - 크루스칼 왈리스 검정 Kruskall-Wallis test. R: kruskal.test 셋 이상의 그룹 간에 평균 차이가 있는지 알아볼 때 모수적 방법으로는 분산분석(ANOVA)이 있고, 비모수적 방법으로는 크루스칼 왈리스 검정(Kruskal-Wallis test)이 있습니다. 분산분석(ANOVA) 집단의 평균들이 멀리 떨어져 분산이 크면 클수록 집단간의 평균들이 서로 다르기 때문이다. 집단 평균들 간의 분산이 클수록 그리고, 집단 내 분산이 작아질수록 평균의 차이가 분명해진다. 이러한 평균 제곱 간의 비 (집단 간 평균 제곱 / 집단 내 평균 제곱)를 검정통계량 F라 하며, 이 차이가 통계적으로 유의한지를 분석함으로써, 평균이 모두 같다는 귀무가설을 검증하게 된다. 유의성 검증 결과 F값이 임계치 p 값 보다 작을 경우 귀무가설이 채택되고, 모두 같다는 결론에 이르게 되고, 반대일 경우,.. 2022. 12. 27.
상관계수의 종류(Point-Biserial, Biserial Correlation, etc.) 상관계수의 종류(Point-Biserial, Biserial Correlation, etc.) Pearson r: 피어슨 상관계수 x: 연속형 y : 연속형일때 사용 / 두개의 수치값들의 집합이 있을 때 즉 , 두 수치값들이 서로 관련이 있냐 ? 라고 물어보면 대답할때 사용한다. 우리반 학생들 수학도 잘하고 영어도 잘하는게 상관이 있냐 ? 혹은 수학이랑 물리랑 상관이 있냐 ? 이러한 질문에 답할때 사용한다. 두 변수의 결합은 정규분포일 것이라는 가정이 포함 엄밀하게 피어슨 상관계수는 두 변수가 정규분포여야 한다는 전제를 두지는 않지만 피어슨 상관계수는 정규분포에서 가장 잘 작동하도록 설계되었다 그러므로 이상치에 매우 민감하다 편차의 곱들이 정규분포를 따르지 않으면 오해석을 만드는 이상치(outlier)에.. 2022. 12. 22.
15. [SQL] 같은 컬럼내에 있는 긴 문장중에서 'A'라는 단어가 먼저 나오고 그 다음 'B'라는 단어가 나오는 데이터를 조회하는 방법 by using chat-gpt 찾다가 어떻게 해야할지 몰라서 이렇게 chat gpt에게 물어봤다. https://chat.openai.com/chat SQL을 사용해서 같은 컬럼내에 있는 긴 문장중에서 'A'라는 단어가 먼저 나오고 그 다음 'B'라는 단어가 나오는 데이터를 조회하는 방법은 무엇입니까? How do I use SQL to retrieve the data where the word 'A' comes first and then the word 'B' in a long sentence in the same column? 돌아온 답변은 아래와 같다. To retrieve data where the word 'A' comes first and then the word 'B' in a long sentence in the sam.. 2022. 12. 22.
Predict Customer Churn (the right way) using PyCaret A step-by-step guide on how to predict customer churn the right way using PyCaret that actually optimizes the business objective and improves ROI Predict Customer Churn (the right way) using PyCaret — Image by Author Introduction Customer retention is one of the primary KPI for companies with a subscription-based business model. Competition is tough particularly in the SaaS market where customer.. 2022. 12. 14.
A/B TEST SRM 오류를 해결하는 방법 : The essential guide to Sample Ratio Mismatch for your A/B tests https://towardsdatascience.com/the-essential-guide-to-sample-ratio-mismatch-for-your-a-b-tests-96a4db81d7a4 The essential guide to Sample Ratio Mismatch for your A/B tests If you can’t trust the result of an experiment, you can’t trust the decisions you make based on it; and you’d be surprised how often you… towardsdatascience.com If you can’t trust the result of an experiment, you can’t trust t.. 2022. 12. 8.
A/B test 관련 학습자료 A/B TEST 기본 자료 🖍 a/b test 계산기 : https://abtestguide.com/calc/ A/B-Test Calculator - Power & Significance - ABTestGuide.com Std. Error of difference SEdifference = ( SEA2 + SEB2 )1/2 abtestguide.com 🖍 a/b test 계산기를 써도 되는가 ? https://yozm.wishket.com/magazine/detail/1325/ A/B 테스트 결과, 이게 맞아? | 요즘IT 이 글은 A/B 테스트 검증 방법과 관련된 몇 가지 팁을 드립니다. 저는 처음에 전환율을 PV로 계산해야 하는지, UV로 계산해야 하는지부터 헷갈렸습니다. 그래서 측정 기준을 정하는 .. 2022. 12. 8.
반응형

티스토리툴바