본문 바로가기
[Python] Pandas: 한 셀의 데이터를 여러 행으로 나누기 https://ohgyun.com/768 Pandas: 한 셀의 데이터를 여러 행으로 나누기 df = pd.DataFrame({'foo': ['a,b,c,d,e', 'd,e,f', 'h,i']}) df 위와 같이 한 셀에 들어있는 문자열을 컴마로 구분해서 한 글자씩 여러 행으로 나누고 싶다. 해결책: 문자열을 split 해 각 행을 여러 컬럼으로 나눈 후 병합하는 방법으로 구현할 수 있다. 먼저, 각 foo 컬럼의 문자열을 배열로 나눈다. split = df.foo.str.split(',') split 각 배열이 Series를 리턴하게 apply를 적용하면, Series -> DataFrame으로 변환할 수 있다. split = split.apply(lambda x: pd.Series(x)) split .. 2023. 1. 6.
[Python] Python에서 youtube 불러오기 from IPython.display import YouTubeVideo YouTubeVideo('url주소 뒷자리 ', width=600, height=400) ​ 600 400은 크기 YouTubeVideo 라이브러리를 사용한다. ​ ​ 2023. 1. 6.
비전공자 ADSP(데이터분석준전문가) 2일 취득 후기 저는 비전공자지만 부트캠프에서 데이터 관련하여 통계지식을 어느정도 쌓아서 완전 노베이스라고는 못합니다 ㅎㅎ 하지만 R은 한번도 안써봤기 때문에 거의 못하는거나 마찬가지라고 생각합니다. 사실은 이틀 공부하고 가서 떨어질 것을 예상했으나 생각보다 기출문제가 그대로 많이 나오기도 했고 주관식이 어렵지 않아서 합격한듯 싶습니다 공부 방법은 이렇습니다 . 먼저 책은 http://book.interpark.com/product/BookDisplay.do?_method=detail&sc.prdNo=345525932&gclid=Cj0KCQjwgtWDBhDZARIsADEKwgML-y6d4gYQM-XYXLoEFTUGroEjKSNYoXU-4w51lATrecjkyEEXYHgaAs9WEALw_wcB 싸니까 믿으니까 인터파크도서.. 2023. 1. 6.
18. [SQL] SQL에서 ACID는 무엇일까 ? ACID(Atomicity, Consistency, Isolation, Durability)은 데이터베이스 트랜잭션의 속성을 정의하는 약속된 용어입니다. Atomicity(원자성): 트랜잭션은 여러개의 작업들을 하나의 단위로 묶어서 처리합니다. 이는 트랜잭션의 작업들이 전부 성공했을 경우에만 적용되고, 그렇지 않을 경우에는 전부 취소됩니다. 데이터베이스 트랜잭션은 여러개의 작업들을 하나의 단위로 묶어서 처리합니다. 이를 원자적(Atomic) 작업이라고 합니다. 원자적 작업은 전부 성공했을 경우에만 적용되고, 그렇지 않을 경우에는 전부 취소됩니다. 이를 원자성(Atomicity)이라고 합니다. Consistency(일관성): 트랜잭션이 완료된 후에는 일관성 있는 데이터 상태가 유지됩니다. 이는 데이터베이스.. 2023. 1. 5.
[Python] 왜 For 문 옆에는 : 을 붙여야 할까? 파이썬 구문을 작성하던 도중 For 문에서 : 를 붙이지 않는 실수를 반복 하고 있다는 사실을 깨달았다. 비단 for문 뿐만 아니라 while 문에서도 : 를 붙여야 하는데 그럼 왜 'For문'이나 'while문'에서 : 를 붙여야 하는 걸까 ??? 약 10분간의 구글링을 통해서 검색 할 수 있었다. 구글 검색어는 why use colon in python for 파이썬 프로그래밍 언어의 구문에서 콜론의 역할은 코드 블록이 바로 뒤 따르고 있다는 시각적 표시기를 제공하는 것 콜론은 코드 블록이 바로 뒤따를 것이라는 명확한 알림을 제공 == 파이썬 코드를 훨 씬 더 쉽 게 읽을 수 있다,!!! 끝 https://www.quora.com/What-is-the-role-of-a-colon-in-the-prog.. 2023. 1. 5.
데이터 분석 방법론 - AAARR AARRR 이란? 스타트업이나 그로스 해킹에 관심이 있는 사람이라면 AARRR이라는 용어를 한 번쯤은 들어봤을 것이다. AARRR은 미국의 스타트업 엑셀러레이터인 500 Startups의 설립자인 데이브 맥클루어Dave McClure)가 개발한 분석 프레임 워크로 Acquisition(획득) , Activation(활동), Retention(재방문), Referral(공유), Revenue(수익) 각 단계별 알파벳 첫 글자를 의미한다. AARRR 분석 프레임 워크는 시장 진입 단계에 맞는 특정 지표를 기준으로 우리 서비스의 상태를 가늠한다. 수많은 데이터 중 현시점에서 가장 핵심적인 지표에 집중할 수 있게 함으로써, 분석할 리소스(인력이나 시간 등)가 충분하지 않은 스타트업에게 매력적인 프레임워크로 활용.. 2023. 1. 5.
17. [SQL] 정규화(Normalization) [ 정규화 ] 정규화: 이상현상이 발생하는 릴레이션을 분해하여 이상현상을 없애는 과정 이상현상이 있는 릴레이션은 이상현상을 일으키는 함수 종속성의 유형에 따라 등급을 구분가능 릴레이션은 정규형 개념으로 구분하며, 정규형이 높을수록 이상현상은 줄어듬. 정규화(Normalization)의 기본 목표는 테이블 간에 중복된 데이타를 허용하지 않는다는 것 >> 무결성(Integrity)를 유지할 수 있으며, DB의 저장 용량 역시 줄일 수 있다. 즉 데이터를 쪼개서 , 최대한 중복을 줄일수 있게 설계해보는 것 >> 불필요한 데이터(data redundancy)를 제거한다. 불필요한 정보를 제외하며, JOIN을 통해서 원하는 정보를 가져올 수 있다는 의미 데이터의 정확성, 일관성, 유효성이 유지되는 것 = 무결성 .. 2023. 1. 4.
[Airflow] Airflow 설치법(LOCAL) - 도커랑 vs code 필요 Airflow 설치법(LOCAL) - 도커랑 vs code 필요 [Practice] Installing Apache Airflow Installing Apache Airflow Prerequisites First, make sure you have installed Docker Desktop and Visual Studio. If not, take a look at these links: Get Docker ㄷ Get Visual Studio Code Docker needs privilege rights to work, make sure you have them. Follow the documentation first If you have troubles to install these tools, her.. 2023. 1. 4.
[Airflow] The Complete Hands-On Introduction to Apache Airflow Learn to author, schedule and monitor data pipelines through practical examples using Apache Airflow 5. Why Airflow? ETL 할때 에어플로우 안쓰면 10시에 배치가 돈다고 가정했을때 API 필요하고 스노우플레이크 필요하고 Dbt 실수안해야함 추가로 100번 하려면 100개 필요함 6. What is Airflow? 데이터 파이프라인 만드는 오픈소스 (공짜) - 파이썬 스케쥴링 모니터링 가능함 스케이러블 함 = 많은 태스크 다루기 가능 UI 괜찮음 익스텐스성 높음 7. Core Components 웹서버 스케쥴러 메타데이터베이스 스토어 트리거 - executor = - Queue - Worker 8. Core Con.. 2023. 1. 3.
16. Create table - Online SQL Generator / Table 만드는 SQL문 생성하는 사이트 (Mysql) 바로여기 - 가끔 create 문을 치려고 보면 너무 뭔가 더 간편한 방법이 없을까 싶다 - .... 설정하나하나 하는것도 체크체크 해야한다 ... - 테이블명이랑 이것저것 ,,,,자동으로 클릭 한방에 설정해서 딱 SQL 나오게 해주는 사이트 없나 ?? 찾아봤더니 있다!!! https://wtools.io/generate-sql-create-table Create table - Online MySQL Generator | WTOOLS Do you find this tool useful? Then share it with your friends or colleagues. This will help us to make our free web tools better. wtools.io Engine = 디폴트 .. 2023. 1. 2.
반응형