본문 바로가기

분류 전체보기

 (71)
Spark를 활용한 Data Engineering 입문 실습 후기 안녕하세요, 최근 "Spark를 활용한 Data Engineering 입문 실습 강의"를 마무리하며 느낀 점과 배운 내용을 공유하려고 합니다. 이 강의는 네카라쿠배 현직자가 진행하는 실무 중심 강의로, 데이터 엔지니어링에 대해 깊이 있는 학습을 제공했습니다.강의 후반부 후기ETL 파이프라인 설계 및 최적화후반부에는 실무에서 자주 사용되는 ETL(Extract, Transform, Load) 파이프라인을 설계하고 실행하는 실습이 중심이었습니다. Spark의 강력한 처리 속도를 활용해 대규모 데이터를 효율적으로 처리하는 방법을 익혔습니다. 특히, 실시간 스트리밍 데이터를 처리하는 Spark Streaming 활용법이 매우 유익했습니다.Spark 최적화와 실무 팁강사님의 실무 경험을 바탕으로 한 최적화 전략은..
Spark를 활용한 Data Engineering 입문 실습 후기 안녕하세요, 최근 "Spark를 활용한 Data Engineering 입문 실습 강의"를 수강하며 느낀 점과 공부한 내용을 공유하려고 합니다. 이 강의는 네카라쿠배 현직자가 진행하는 강의로, Spark의 기초부터 실무적인 활용 방법까지 배우기에 최적화된 커리큘럼을 제공합니다.강의 주요 내용Spark 기본 개념Spark의 아키텍처(Driver, Executor, Cluster Manager)와 특징에 대해 배웠습니다. 분산 처리의 강점과 다양한 데이터 포맷(CSV, Parquet 등)을 효율적으로 다룰 수 있는 Spark의 기능이 흥미로웠습니다.데이터 로드 및 전처리실습을 통해 실제 데이터를 불러오고 변환하는 과정을 직접 경험했습니다. 특히 DataFrame과 Dataset의 차이를 이해하고, Spark ..
생성형 AI 입문강의ㅣStable Diffusion 실습 + Prompt Engineering 챕터 4 종강 https://mcode.co.kr/ 메타코드Mmcode.co.krAnimateDiff 실습 AnimateDiff는 일종의 움짤을 만드는 기술이다. 지금까지 공부했던 AI 영상 기술은 다수의 이미지를 만들어 연속 재생하는 것이었는데 이것은 하나의 파일로 생성된다는 점에서 차이가 있다.AnimateDiff 설치 Extensions - Available에서 'animated' 검색 후, 가장 stars가 많은 것을 설치한다.AnimateDiff 설치 완료 설치가 이상없이 마무리되면 text2img에 AnimateDiff라는 박스가 만들어진다. 강의에서는 realistic ckpt를 활용해 구름을 만들었고 이 구름을 가지고 자동차에서 연기가 나오는 것을 표현하고자 했다. 따라서 프롬프트창에 마음에 드는 연기를..
생성형 AI 입문강의ㅣStable Diffusion 실습 + Prompt Engineering 챕터 3. 생성 AI 실습 . https://mcode.co.kr/  메타코드M mcode.co.kr메타코드로부터 제공받은 강의를 바탕으로 후기를 작성합니다. Dreambooth와 LoRA의 차이점  Dreambooth와 LoRA 실습 강의에서 딸기우유를 사례로 들은 적이 있다. Dreambooth는 딸기 (학습 이미지)를 믹서 (드림부스)에 넣어 우유 (AI)와 함께 갈아서 딸기 우유를 만드는 것이고, LoRA는 우유에 딸기 시럽 (LoRA)을 넣은 것이라는 설명이었다. 정리하자면, 전자는 직접 이미지를 넣어 가공하고, 후자는 기완성된 일종의 필터를 넣어 이미지를 만들어낸다는 차이가 있다는 것이다.  위의 비유로 이해하기 어렵다고 생각하기에 보다 자세한 설명을 덧붙인다. Dreambooth는 다음의 특성을 지닌다. 이미 학습된 ..
생성형 AI 입문강의ㅣStable Diffusion 실습 + Prompt Engineering 챕터 2. 이론 및 기능 활용법 알아보기(계속) . https://mcode.co.kr/ 메타코드M mcode.co.kr메타코드로부터 제공받은 강의를 바탕으로 후기를 작성합니다. Text To Image  프롬프트창에서 단어를 조합하여 원하는 이미지를 만들 수 있는 것은 대부분 알고 있을 것이다. 그런데 여기서 그치지 않고 프롬프트를 일일이 입력하지 않고 이미지의 동작을 설정하는 효율적인 방법이 있어 소개하고자 한다. 바로 ControlNet이다. ControlNet 설치스테이블 디퓨전 프롬프트창 위에 txt2img 탭이 선택되어 있을 텐데 가장 오른쪽에 있는 Extensions 탭을 클릭하여 이동한다.Extensions 화면에서 Install from URL로 이동한 다음, 첫번째 빈칸에 https://github.com/Mikubill/sd-web..
생성형 AI 입문 완성강의ㅣ스테이블 디퓨전 프로젝트 실습 + 프롬프트 엔지니어링 Skills-챕터 1. 오리엔테이션 챕터 2. 이론 및 기능 활용법 알아보기 https://mcode.co.kr/ 메타코드M빅데이터 , AI 강의 플랫폼 & IT 현직자 모임 플랫폼ㅣ메타코드 커뮤니티 일원이 되시기 바랍니다.mcode.co.kr메타코드로부터 제공받은 강의를 바탕으로 후기를 작성합니다.  1강. 오리엔테이션딥러닝 기초 및 생성 AI 소개  OT에서는 딥러닝의 개념과 기본적 이론을 소개하는 것으로 시작한다. 이미지 분류를 위해 적용되는 Convoltion, Activation Function, Pooling 등을 설명한다. 이에 대해서는 과거에 작성한 '빅데이터 모델링' 중 CNN에서 찾아볼 수 있다.생성 AI의 종류  익숙한 생성 AI로는 달리, 미드저니, 스테이블 디퓨전이 있다. 본 강의에 따르면 다음과 같은 차이가 있다고 한다. DALL-E: 프롬프트 이해력 높..
. .
웹 크롤링 기초 강의ㅣ뉴스, 기차 예매, 여행 사이트 실습(4강 : 관광상품 리뷰 데이터 크롤링 및 분석 프로젝트 - 딕셔너리를 활용한 데이터 크롤링과 저장) - 페이지네이션으로 2000개 데이터 10분만에 크롤링하기, 수집한 데이터 시각화 및 분석해보기 https://mcode.co.kr/video/list2?viewMode=view&idx=92 메타코드M빅데이터 , AI 강의 플랫폼 & IT 현직자 모임 플랫폼ㅣ메타코드 커뮤니티 일원이 되시기 바랍니다.mcode.co.kr메타코드로부터 제공받은 강의를 바탕으로 후기를 작성하고 있습니다.    URL 분석페이지네이션된 URL의 패턴을 분석하는 것은 웹 크롤링에서 매우 중요합니다. 대부분의 웹사이트는 페이지 번호를 URL의 파라미터로 사용합니다. 예를 들어, ?page=2와 같이 페이지 번호를 나타내는 경우가 많습니다. 이러한 패턴을 파악함으로써, 크롤러가 자동으로 다음 페이지로 이동할 수 있도록 설정할 수 있습니다. URL 구조가 복잡한 사이트의 경우, 개발자 도구를 통해 네트워크 요청을 분석하여 페이지..

티스토리툴바