Airflow에서 데코레이터(decorator)를 사용하는 이유 사용이유 코드를 간결하게 하고, 재사용성을 높이며, 함수나 메소드에 추가 기능을 손쉽게 적용하기 위해서입니다. Airflow에서 특히 자주 사용되는 데코레이터는 @task 데코레이터인데, 이는 몇 가지 중요한 이유로 사용됩니다 코드의 간결성: @task 데코레이터를 사용하면, 일반 Python 함수를 Airflow 태스크로 변환할 수 있습니다. 이는 DAG 내에서 태스크를 정의할 때 보다 간결하고 명확한 코드를 작성할 수 있도록 도와줍니다. 재사용성 증가: 함수를 사용하여 태스크 로직을 정의하면, 이 함수를 다른 DAG에서도 재사용할 수 있습니다. 데코레이터는 이런 함수들을 태스크로 쉽게 변환해주므로 코드 재사용성이 높아집니다. 추가 기능의 적용: Airflow의 @task 데코레이터는 태스크의 실행 방.. 2024. 4. 19. [Airflow] The important views of the Airflow UI DAGs Page DAG는 Directed Acyclic Graph의 약자로 Airflow에선 workflow라고 설명함 Task의 집합체 메인 화면엔 정의되어 있는 DAG들을 확인할 수 있음 현재는 많은 example이 존재 example을 보고싶지 않다면 airflow.cfg에서 load_examples = False로 설정하면 됨 Running Switch DAG Pause/Unpause 버튼을 통해 DAG 활성화 및 비활성화 가능 Name & Tags DAG Name & Tag example_short_circuit_operator이라는 dag name이고, example이라는 tag가 있다. tag를 통해 DAG 검색이 가능하므로 프로젝트별 기능별로 나누면 좋을 거 같다. Owne.. 2023. 1. 7. [Airflow] Airflow 설치법(LOCAL) - 도커랑 vs code 필요 Airflow 설치법(LOCAL) - 도커랑 vs code 필요 [Practice] Installing Apache Airflow Installing Apache Airflow Prerequisites First, make sure you have installed Docker Desktop and Visual Studio. If not, take a look at these links: Get Docker ㄷ Get Visual Studio Code Docker needs privilege rights to work, make sure you have them. Follow the documentation first If you have troubles to install these tools, her.. 2023. 1. 4. [Airflow] The Complete Hands-On Introduction to Apache Airflow Learn to author, schedule and monitor data pipelines through practical examples using Apache Airflow 5. Why Airflow? ETL 할때 에어플로우 안쓰면 10시에 배치가 돈다고 가정했을때 API 필요하고 스노우플레이크 필요하고 Dbt 실수안해야함 추가로 100번 하려면 100개 필요함 6. What is Airflow? 데이터 파이프라인 만드는 오픈소스 (공짜) - 파이썬 스케쥴링 모니터링 가능함 스케이러블 함 = 많은 태스크 다루기 가능 UI 괜찮음 익스텐스성 높음 7. Core Components 웹서버 스케쥴러 메타데이터베이스 스토어 트리거 - executor = - Queue - Worker 8. Core Con.. 2023. 1. 3. 이전 1 다음 반응형
