본문 바로가기

전체 글

 (73)
[Airflow] airflow 띄워보기 with/without 도커! Run Airflow in Python Environment기본적으로 윈도우 환경에서는 VSC에서 리눅스 커맨드 사용 어려움 => 그래서 WSL 활용함.globalman, globalman패키지 충돌 방지 및 프로젝트를 가상으로 독립적으로 관리하기 위해 python의 venv를 활용함.이 가상환경에 들어가려면 source py_env/bin/activate 커맨드로 입장하면 됨.이 가상환경에서 나가려면 deactivate 커맨드로 퇴장하면 됨.Apache Airflow를 로컬환경에 다운로드받음. 시간이 꽤나 걸림. 대략 5분 소요됨.pip install 'apache-airflow==2.10.4' \ --constraint "https://raw.githubusercontent.com/apache/air..
[Airflow] Airflow가 뭘까-요? What is Airflow?Apache Airflow는 워크플로(Workflow)와 데이터 파이프라인을 자동화하고 스케줄링하는 도구.즉, 데이터가 이동하는 과정을 정의하고, 실행 순서를 조정하고, 모니터링하는 역할을 함.  Why Airflow?1 Workflow Organization: 태스크들이 순서에 맞게 진행되게끔 도와줌2 Visibility: 동시다발적으로 여러개의 워크플로우가 있을 때, 전체를 다 파악하고 문제를 해결하기 용이.3 Flexibility and Scalability: 동시에 여러개의 data source와 툴에 연결 가능하고, 필요에 의해 점진적으로 DB 쿼리, AI 모델, 데이터 퀄리티 체크, API 갖다쓰기 등의 확장 및 개진이 가능함. 또한, python based라 진입..
[보이저 X] 소프트웨어 엔지니어 인턴십 지원 후기 Prelude 1/13취준을 하면서, 한국의 알짜배기 기업들에 대해 좀 들어보게 됐다. 이 기업들은 프로세스가 빡세서, 합/불합과 무관하게, 지원하는 과정에서 타이트하게 준비를 하면서 내가 원하는 기업을 위한 매우 효과적인 매개로 쓸 수 있다. 물론 합격을 한다면 추가적인 고려가 가능하기도 하다. 그 중에는 보이저X라는 회사가 있었다. 서류 전형 1/13공고도 매우 특이한 점이, 특정한 질문들을 미리 공개했다.  질문들은 일반적으로 Computer Science를 전공했다면 알만한 개념들이 많았다. [ ] PNG와 JPG의 차이점은?[ ] Dynamic Programming이란?[ ] Virtual Memory란?[ ] Semaphore란?[ ] Cache란?[ ] Garbage Collection이란?..
[삼성전자] 소프트웨어 엔지니어(DX) 인턴십 지원 후기 ※ 블로그를 옮기면서 해당 포스트도 옮겨왔습니다 매년 1~2월 쯤 링크드인을 통해 삼성전자 인사팀에서 연락이 온다. 올해도 마찬가지. 1월 쯤에 한 번, 2월 쯤에 한 번 두 분의 인사담당자 분을 통해 연락을 받았다. 글로벌 인턴십은 해외 대학교 재(휴)학생을 위한 과정이다. 그래서 공식 홈페이지에 정식 공고로 뜬 것은 한 번도 못 봤다. 리크루터 분이 초대하는 식으로 진행이 되는 것 같다. 물론 알음알음 커뮤니티를 통해서 공고를 보고 지원할 수도 있다.​[링크드인 캡쳐]​삼성전자는 매력적인 회사다. SW 개발자로서 최고의 회사인지에 대해서는 이견이 있을 수 있겠으나, 복지나 회사의 영향력, 입사했을 때의 심리적 안정감은 두말할 것 없이 업계 최고 수준이다. 빅테크에 지원한 경험이 아예 전무한 나는, 그..
[에이블리] 데이터 엔지니어 인턴십 지원 후기+ 데이터 엔지니어로 피봇팅 Prelude 12/15 2024년 연말, 꾸준히 백엔드 엔지니어를 지망한다고 했지만 마음속 한편으로는 "내가 더 끌리는 직군이 분명 있지 않을까" 하는 흑심을 품고 오랜 기간 방황하던 내게, 이 공고가 눈에 들어온다. 애초에 이 공고를 읽을 때까지는 백엔드 관련이 아닌 공고들은 다 스킵하던 때였다. 그런데 이 공고를 보고, 이상하게 멈칫, 하게 되면서 내가 생각하는 여러가지 조건에 부합할 수도 있겠다라는 생각이 문득 들었다. 우선 ably라는 회사. 이미 몇주 전에 취준과 별개로 그냥 기사를 읽다가 "에이블리 3조 몸값, 알리바바서 1000억 투자 유치 성공" 과 같은 기사를 접했고, 그래서 궁금함에 이것저것 찾아보면서 대단한 회사구나, 하는 생각을 가지고 있었다. 이 투자 불경기에 시리즈 C 후반기를..
[견고한] Chapter 2: 데이터 엔지니어링 수명 주기 + 데이터 아키텍쳐 ※ 조 라이스와 맷 하우슬리가 공동으로 집필한 '견고한 데이터 엔지니어링'을 공부하면서, 중요한 내용들을 기록해둔 공간입니다. 데이터 엔지니어로써 중요하다고 생각되는 개념들에 대해 자체적으로 공부하며 정리한 글입니다. 데이터 엔지니어링 수명 주기 기본적으로 "데이터 엔지니어링"이라는 분야 자체가 하는 일은, 데이터분석가 혹은 데이터 사이언티스트 등을 위시한 사내의 다른 소비계층이 활용할만한 데이터를 추출하고, 소비자의 입맛에 맞게 가공하고, 적재하여 서빙(넘겨주는 것)하기까지를 일컫는다. 그러니까 데이터 엔지니어링 수명 주기라 함은, 생성 - 추출 - 가공 - 적재 - 서빙의 다섯 단계를 기본적으로 지난다. 각 단계의 위치가 바뀔수도, 생략될 수도 있다. 실무에서는 이게 꼬이고, 반복되고, 겹치거나 혹은..
[SQL] 프로그래머스 고득점 kit - JOIN 특정 기간동안 대여 가능한 자동차들의 대여비용 구하기SQL의 실행 순서에 따라, FROM - JOIN - WHERE - GROUP BY - HAVING - SELECT - ORDER BY에서select보다 앞에 있으면 별칭을 쓸 수가 없음. 그러나 having은 모종의 이유로 쓸 수 있음. order by 도 당연히 가능.with discount_rates as ( select car_type, discount_rate from car_rental_company_discount_plan where car_type in ('SUV', '세단') and duration_type = '30일 이상'),unavailable_ones as (select distinct car_id from car_r..
[견고한] Chapter 1: 데이터 엔지니어링 상세 (및 용어정리) ※ 조 라이스와 맷 하우슬리가 공동으로 집필한 '견고한 데이터 엔지니어링'을 공부하면서, 중요한 내용들을 기록해둔 공간입니다. 데이터 엔지니어로써 중요하다고 생각되는 개념들에 대해 자체적으로 공부하며 정리한 글입니다. 데이터 엔지니어링이란?데이터 엔지니어링은 간단히 정리하면, 시중에 나와있는 정보를 뽑아와서 (추출 - extract), 우리가 필요한 형태로 조작해서 (가공 - transform), 데이터 분석가 혹은 데이터 과학자가 활용할 수 있게 전달 (저장 - load) 하는 직군이다. 데이터 과학의 업스트림에 위치하며, 이 일련의 과정을 ETL이라고 부르기도 한다. 그래서 원천 시스템에서 데이터를 가져오는 것부터 시작해 분석 또는 머신러닝과 같은 사용 사례에 데이터를 제공하는 것까지를 해당 데이터의..

티스토리툴바