본문 바로가기

전체 글

 (73)
[면접 준비 FINAL] 운영체제 운영체제란?하드웨어와 소프트웨어 사이에서 중재자 역할로, 시스템 자원을 효율적으로 관리하고, 사용자에게 일관된 실행환경을 제공하는 소프트웨어.  운영체제가 필요한 이유?앱이 하드웨어와 직접 통신해야 하는데, 복잡하고, 충돌 많고, 재사용 불가함.OS가 자원 관리, 추상화, 인터페이스를 제공하기 때문에 효율적이고 안정적인 실행 가능.  운영체제의 커널의 핵심 역할 5가지?1 프로세스 관리: 프로그램 생성/ 종료/ 스케줄링 - 스레드 수 관리, 컨텍스트 스위칭, 병렬성 제어2 메모리 관리: 물리/ 가상 메모리 관리, 페이지 교체 - 메모리 누수 방지와 성능 튜닝    => RAM(휘발) 대상, 프로세스의 안정적 실행을 위해 힘씀. 가상 메모리, 페이지 교체, 세그멘테이션, 페이징 등.3 파일 시스템 관리: ..
[취준 관련] 3월 회고 🚧 좋은 데이터 엔지니어가 되기 위해 매일 노력을 더해가고 있다. 1, 2월을 어떻게 보냈는지에 대한 회고는 https://globalman96.tistory.com/91 에 있다. 우선 3월에 있었던 일들은 다음과 같다. 꽤나 일들이 많았어서 이게 다 3월이라는 게 신기할 따름이다. * SQLD 시험 응시* 각종 기업들 최종면접* 가고싶은 기업들 서류, 코딩테스트 전형* CS 리뷰* 프로젝트 시작과 완성 및 1차 최적화 완료                      ★ ★ ★ ★ ★* 예비군,,, SQLD 시험의 경우 어렵지 않은 시험이다. 나는 전공자지만 학교에서 DB를 수강 안했기 때문에 어느정도 공부할 필요가 있었다. 그래서 노랭이 책을 사서 한 3일 꼬박 공부한 것 같다. 원래 자격증 취득은 기정사실화..
[프로젝트] 📈주식 데이터 분석 파이프라인 구축하기 LOGS 파이프라인 구축 시 고려할 점    환경 설정 config✔ github에 리포지토리 만들고 내 작업환경인 VSC에서 로컬 폴더 열고 연동시켜줌.✔ .gitignore 파일 생성해서 불필요한 파일은 git에서 제외해줌.✔ API 데이터를 가져오고, dataframe을 활용하기 위해 requests와 pandas 각각 설치 완료.✔ Docker 환경 설정 docker-compose.yml 작성 및 컨테이너 띄우기까지 완료 지난 경험에서 로컬에서 작업할 때는 독립적인 환경을 확보하기 위해서 python 가상환경을 활용하기로 했기 때문에 가상환경 활성화해줌. bash에서는 그 커맨드가 아래와 같다. activate 하면 (venv)가 뜨고, 그럼 잘 실행된 것.source venv/Scripts/activat..
[알고리즘] 다익스트라 & 프림 최최최최종 복습하기 그래프 상에서 노드 간의 탐색 비용을 최소화하는 알고리즘인 최단 거리 알고리즘...맨날 쓰고 까먹고 쓰고 까먹고의 반복. 이번이 "최최최최종"이 되길. 1 Dijkstra + 우선순위 큐2 Bellman-Ford3 Floyd-Warshall MST 구하는 알고리즘 4 Prim - 정점 기준 + 우선순위 큐5 Kruskal - 간선 기준  1 다익스트라 알고리즘특정 하나의 노드에서 다른 모든 노드까지의 최단거리를 구하는 알고리즘.Greedy + DP 형태. 음의 가중치가 있다면 사용 못함. 중요한 건 뭐냐면, 최적화 안된 형태의 다익스트라는 시간복잡도가 벨만포드보다 빠르다고 할 수 없다.우리가 말하는 다익스트라가 빠르다는 건 그러니까, heap을 활용해서 우선순위 큐를 쓰는 최적화된 버전에 대한 설명인 것..
[미래에셋증권] AI/ IT,Digital 채용연계형 인턴(신입사원) 지원 후기 1 서류 단계그냥 있는대로 작성했다.  2 코딩테스트 단계 알고리즘 2문제, SQL 2문제 알고리즘 1: 전기 요금표 주고 최종 전기료 계산하는 기본 문제.알고리즘 2: 배달 시간, 배달 팁 있는 2D 리스트를 돌면서 최대 팁 얻는 문제.                    dfs로 푸는 문제. 재귀로 품. 다만 최적화가 중요한데, 이 문제에서는 해당사항 없음.                    시간 많이 잡아먹은 부분은 table의 얕은 복사 문제. 이 문제를 찾고 해결하기까지 좀 걸림.                    새로운 list 만들어서 해결. SQL 1: 기본적인 where 조건문 활용 문제.SQL 2: 기본적인 query 동작 +             count max인 사람들은 모두 한 줄..
[SQLD] SQL 스킬을 업그레이드하자! - 자격증은 덤이지 과목 I - 데이터 모델링의 이해 🧠  데이터 모델링의 목적 유연성, 일관성 유지, 중복 제거  데이터 모델링이란? '현실 세계'를 단순화하여 표현하는 기법. 추상화: 상위 개념화. 데이터 모델에서 중요한 정보만 남기고, 나머지 세부사항을 제거하는 과정.             => ERD에서 엔티티 간의 관계를 일반화할 때 사용.             => "운전하는 법"을 배울 때, 차종별 차이를 생략하는것.단순화: 추상화보다 더 실용적이고 직관적인 개선 과정.             => 정규화 진행, 릴레이션의 복잡성을 줄이기 위해 테이블 병합 혹은 분할.             => 자동차 기능 중 창문 연다처럼 쉽게 설명하는 것.명확화: 데이터를 사용할 사람들이 같은 의미로 해석할 수 있도록 용어..
[취준 관련] 1, 2월 회고 🚧 지난해 12월부터 결심하고 1월부터 본격적으로 준비한 데이터 엔지니어로써의 과정은 지금껏 나쁘지 않게 왔다.그간 진행한 것들은, 1 SQL: DML 위주로 공부하고 프로그래머스 수준은 상회하기2 견고한 데이터 엔지니어링을 읽으면서 데이터 엔지니어링 전반에 대해 이해하고, 3 공고 분석하면서 취업공학적 관점에서 내가 집중할 부분 정하기4 Apache Airflow에 대해서 공부하고, 더불어 약간의 실습하기 with Udemy5 Apache Spark에 대해서 공부하고, 더불어 약간의 실습하기 with Udemy 이 정도 진행해왔다. 두달 약간 안 되는 기간 나쁘지 않게 했다고 생각한다. 우선 그 부분 스스로 칭찬하고 싶다 👏돌아봤을 때 방향 자체는 잘 잡았다고 판단되고, 드문드문 채용 공고들도 올라오기 ..
[데이터 엔지니어링] 데이터 웨어하우스, 레이크, 마트와 데이터 모델링 💫 => 분석을 위한 데이터베이스가 DWH고, OLTP를 위한 데이터베이스는 DWH가 아닌 그냥 OLTP DB라고 부름.   => 보통 DWH는 ETL, DL은 ELT임.   DWH vs DM  데이터 모델링에 대한 더 자세한 팩트: 데이터 마트와 데이터 웨어하우스의 쓸모가 서로 다르므로, 당연히 저장하는 방식도 서로 다름. DWH는 기본적으로 무결성을 지키면서 저장하는 것, 그리고 모든 값들을 통합적으로 관리하는 것이 중요하므로 정규화도 하고, 그 계열의 스타, 스노우플레이크 스키마 등을 통해 모델링하지만, 데이터 마트는 분석 직전의 저장소이므로 분석을 위해 최적화, 즉 비정규화를 통해 조인을 최소화하고 사전 집계를 해서 빠른 분석 성능을 제공함.

티스토리툴바