몽글하다

정리하는 인간이 되자.

몽글이2 — Fri, 5 Jun 2026 10:10:41 +0900

평소 사진 찍는 것을 좋아하지도 않고 인스타 그램을 비롯한 SNS도 즐기지 않았다.

문득 시간이 흐르고 보니 내가 무엇을 하고 살고 있는지에 대한 기록이 부재하다는 생각이 들었다.

나에 대한 기록을 남기기 위한 약간의 노력은 해보았지만,

인스타 부계정 운영은 뭔가 사진 위주이다 보니 나의 생각을 정리하기에는 부족했다.

네이버 블로그는 뭔가 UI랑 안맞는 건지 복잡다단한 느낌이 들었고,

일기는 수첩을 다쓰면 연속성이 깨지는 느낌이 들었다.

그래서!

나름 깔끔한 UI가 마음에 들기도 하고 아무도 모르게 내 일상과 생각들을 정리할 수 있는 블로깅을 아주 꾸준히 꾸주우우운히 작성해보려고 한다.

이전에 블로깅을 작성할 때 글을 재미있게 쓰고 싶다거나 글을 있어보이게 쓰고 싶다거나, 생각을 많이 하다보니 글을 쓰기가 싫어졌었다.

그래서 그냥 의식의 흐름대로,, 간결하게 대신 꾸준하게 글을 써보려고 한다.

더군다나 글로 정리해 두는 일이 필요하다고 느꼈던 적은 일상을 기록하는 일 말고도 다양하다.

프로젝트를 진행할 때도 프로젝트가 끝나고 나서 했던 일을 정리하려고 하면 'OOO을 했다.'는 1차원적인 내용만 기억이 날뿐 상황이 어떠해서 필요한 방법을 찾다보니 이러한 방법을 실행했고, 어느 부분까지 고민했었는지에 대한 정리가 안된다.

프로젝트를 진행하는 와중에도 노션 페이지를 통해서 자료들을 정리하긴 하지만, 정보들이 쌓일 수록 중구난방이 된다. 책을 읽거나, 공부를 하거나, 강의를 듣거나 하는 것들도 그 당시에는 치열하게 고민하고 생각했던 내용들을 정리해 두지 않으니 단발성으로 끝이다. 매우 비효율적이고 낭비라는 생각이 들었다.

또, 글을 써야하는 상황이 오거나 생각을 정리해야 하는 상황이 왔을 때 글을 쓰는 감각이 사고의 힘이 되는지 좀 더 수훨하다는 느낌을 받았다.

이뿐만이 아니다.

성격상 벌리는 일이 많다. 하고싶은 것도 많다. 무작성 시작만 하고 쌓아나가는 힘이 부족하다.

고민해본 결과 쌓아나가는 힘은 투자하는 절대적인 시간과 비례하는 듯 하다.

'정리'라는 습관을 가지면 시작한 일을 정리하면서 더 시간을 쓰게 될 것 같다.

한편으로는 '정리'라는 의무는 어떤 일을 시작하는 반감을 일으킬 수 있으니 한정된 시간을 새롭게 시작하는 일들로 낭비되는 일을 예방할 수 있을 것 같다.

아무튼 추억, 지식, 에너지 관리, 직무 능력 등등 다방면에서 정리하는 습관은 불꽃놀이를 계속해야 하는 인생을 좀 더 뜨뜻한 화덕불같은 인생으로 바꿔주지 않을까. 이표현이 맞는지 모르겠다만

앞으로 정리하는 인간이 되겠다.

화이팅

[SDV] SDV가 도대체 뭔데

몽글이2 — Wed, 29 Apr 2026 16:19:31 +0900

사설

컴퓨터학과 학도로

차량 환경을 HW에서 SW로 전환하는 SDV 기술에 관심을 가지게 되었다.

SDV 개발을 위한 배경지식을 넓히려고 보니, 낯선 용어와 내용들이 많아 시간을 들여 공부해 보기 했다.

* 공부하는 입장이라 단정적으로 말하지 못하지만,, 앞으로 지속적으로 리뷰하면서 수정할 예정이다.

그럼 시작,,,

SDV 개발이 무엇인가?라는 질문에 답을 해보자.

Software Defined Vehicle의 약자로, 차량 시스템을 HW에서 SW로 전환하는 전과정을 통칭하는 듯하다.

AI에게도 SDV가 무엇인지 물어보았다.

"SDV(소프트웨어 정의 차량)는 소프트웨어 업데이트(OTA)로 차량의 기능과 성능을 개선하는 챠량으로,

수십 개의 분산된 ECU를 소수의 고성능 컴퓨터로 통합하는 중앙집중형 전자 아키텍처 전환이 핵심입니다. "

라고 한다.

그럼 SW로의 전환이라는 의미는 뭘까?

소프트웨어가 핵심가치를 결정하는 구조로의 패러다임 변화라고 한다.

물리적인 HW자체의 가치보다 소프트웨어 아키텍처를 적용하여 창출되는 가치가 더 중요해는 것.

즉, 휴대폰이 스마트폰이 되면서 전화하는 기능을 가진 폰 자체보다 다양한 앱을 활용하며 광범위한 서비스를 사용할 수 있게된 것과 유사하다.

패러다임이 변화되면, 시스템 업데이트를 통해 새로운 기능과 성능 및 안전향상을 지속적으로 할 수 있다.

시스템 자체의 기능을 높이는 것과 더불어, 개개인의 데이터가 축적되면 개인화된 서비스로 고도화된다.

마지막으로, SW전환을 어떻게 할 수 있을까?

먼저, 자동차 내부의 독립적인 전자 제어 장치, ECU를 줄이거나 없애며 통합해야한다.

ECU가 무엇인지 찾아보면 ECU 자체적으로 데이터를 분석하고 처리하는 일종의 컴퓨터 시스템 같다.

[ECU 칩 사진]

위키백과의 내용을 참고하면 ECU에 내부에 CPU와 메모리 각종 센서 컨트롤러가 있다는 것으로 보아,

일종의 임베디드 시스템인가보다.

즉, 여러개의 제어장치를 하나의 강력한 중앙집중 컴퓨터로 대체하여 시스템 통합 인프라를 구축하는 것이다.

이는 E/E 아키텍처를 Zone/Central-based로 변환시켜 차세대 E/E아키텍처를 완성하는 것이라고 정리할 수도 있다.

E/E아키텍처는 차량 내 제어기, 센서, 배선 등 전자기 시스템의 통합 구조를 의미함으로

전체 차량 시스템을 중앙 컴퓨터와 구역 컨트롤 기능으로 통합하여 하드웨어 복잡도를 낮추는 것이다.

다음으로, ECU를 줄이고 통합하기 위해서는 여러 ECU간의 네트워킹이 원활하도록 네트워크 인프라를 구축해야한다.

차량 ECU 네트워킹을 위한 프로토콜을 CAN이라고 하는데, 여러 ECU를 동시에 실시간으로 네트워킹하기 위한 고성능 Multi-CAN 환경을 구축해야 한다.

이후는 정확하진 않지만, 유저 데이터와 로그 데이터들을 활용하여 서비스를 개발하고 서비스를 베포하는 일반적인 SW 플랫폼 운영 과정과 유사하지 않을까 싶다.

예를 들면, 네트워킹을 통해 전체 제어장치가 연동되었다면, 환경은 갖추어졌으니 기능개발을 해야한다.

기능개발은 데이터엔지니어링 -> AI 적용 -> 전체 시스템 베포 , MLops 전 과정을 접목하는 것이다.

데이터를 어떻게 수집할지, 대규모 데이터를 서버에서 어떻게 저장할지, 데이터 활용을 위해 어떻게 가공을 할지 고민하고

전체 파이프라인을 통합하여 데이터, AI, 컨테이너 각 부문별로 오케스트레이션한다.

마무리하며,,

정리하다보니,

SDV 전환? HW에서 SW 전환! 수준에서 사고가 멈추었었는데

구체적으로 SDV 전환을 통해 얻으려는 가치가 무엇인지 구체화된다.

또, 전환을 위한 전체 프로세스가 조금이나마 구조적으로 눈에 그려진다.

앞으로 정확하지 않은 플랫폼 운영 방법론들을 서치해보고,

현재 사업이 인프라 구축, 엔지니어링 환경, AI 등 각 부문에서 어느수준에 이르렀는지 정리해보아야겠다.

[SDV 관련 용어]

(1) ECU

(2)CAN/Multi-CAN1

(3) SDV

(4) E/E architecture

[reference]

1. https://namu.wiki/w/ECU

ECU

파일:ECU.jpg 전자제어유닛(Electronic Control Unit) 의 약자다. 이 가운데 순수하게 엔진

namu.wiki

2. https://www.hyundai-kefico.com/ko/future-tech/modular-architecture/content.do

E/E아키텍처

아키텍처 기반 시스템 솔루션을 제공합니다.

www.hyundai-kefico.com

[Python] 인터프리터 문제, 빌트인 모듈 간섭 문제

몽글이2 — Wed, 16 Aug 2023 14:07:59 +0900

The file 'private_repo/private/code/ml/decorator.py' seems to be overriding built in modules and interfering with the startup of the kernel. Consider renaming the file and starting the kernel again.Click here for more info.

문제 상황 :

decorator 실습을 위해 decorator를 활용하여 로그를 남기는 python file 생성후 python 파일 실행

python decorator.py

실행 이후 주피터 노트북 파일을 실행하니 위의 오류로 kernel이 실행되지 않는 문제

원인:

python의 built in module중 decorator와 겹치는 파일이 있어 문제가 되는 것으로 보임

해결 방법:

decorator.py 파일 이름을 decorator_example.py로 변경 후 문제 해결

refer :

(1) chat-gpt.. ^^

(2) Failure to start Kernel due to built in modules being overridden by user code · microsoft/vscode-jupyter Wiki (github.com)

Failure to start Kernel due to built in modules being overridden by user code

VS Code Jupyter extension. Contribute to microsoft/vscode-jupyter development by creating an account on GitHub.

github.com

[Recsys] 추천시스템 주요 논문 리스트 정리

몽글이2 — Sun, 30 Apr 2023 03:18:09 +0900

논문 리스트

[Bayesian]

BPR: Bayesian Personalized Ranking from Implicit Feedback
VBPR: visual bayesian personalized ranking from implicit feedback

[CF]

Collaborative Filtering for Implicit Feedback Datasets
Collaborative Topic Modeling for Recommending Scientific ArticlesItem-Based Collaborative Filtering Recommendation Algoruthms
AutoRec: Autoencoders Meet Collaborative Filtering

[neural network]

Deep Neural Networks for Youtube Recommendations
7. Neural Collaborative Filtering
Session-based recommendation machine based neural network for CTR prediction
ITEM2VEC: Neural Item Embedding for Collaborative Filtering
Neural Gragh Collaborative Filtering
LightGCN : Simplifying and powering Graph Convolution Network for Recommendation

[FM]

Factorization Machines
DeepFM: A Factorization-Machine based Neural Network for CTR Prediction
Field-aware Factorization Machines for CTR Prediction

[기타]

Self-attentive sequential recommendation
BERT4Rec: Sequential recommendation with bidirectional encoder representations from transformer
Transformers4Rec: Bridging the Gap between NLP and Sequential/Session-Based Recommendation
Collaborative Denoising Auto-Encoders for Top-N Recommender Systems

참고하기

1. 추천시스템 모델이 활용하는 데이터의 종류

에는 user 자체의 데이터, item 자체의 데이터, user-item feedback데이터가 있습니다.

user 데이터란, 사용자의 이름, 주소, 나이, 전화번호 등에 해당합니다.

item 데이터란, 상품의 이름, 제조년도, 제조회사, 상품 사진 등에 해당합니다.

user-item feedback 데이터란,

유저가 상품에 대한 기호를 나타내는 데이터로

유저가 상품에 대한 기호를 직접적으로 평가한 explicit feedback과

유저가 상품에 대한 기호를 간접적으로 평가한 implicit feedback이 존재합니다.

간접적인 평가란,

예를들어 유튜브 유저가 어떠한 동영상을 처음부터 끝까지 페이지를 나가지 않고 시청했다면

그 동영상을 재미있게 시청했다고 유추해볼 수 있고, 동영상을 끝까지 시청하지 않고 중간에 나왔다면

그 동영상을 지루하다고 느꼈음을 유추해볼 수 있는 것 처럼

유저의 행동 정보를 통해 아이템에 대한 간접적인 평가를 유추해볼 수 있습니다.

2. 추천시스템의 경우 user-item간의 다양한 interaction에 대한 data 확보가 어렵기 때문에

데이터간의 interaction을 여러 layer로 생성하는 딥러닝 모델을 활용할 경우 과적합이 발생할 가능성이 높아집니다.

이러한 이유로 추천시스템에서는 다른 도메인(CV,NLP)분야에 비해서 딥러닝 모델이 비교적 적게 사용되고

머신러닝 기법이 많이 사용되어왔다고 합니다.

또한, 이러한 문제를 해결하기 위해 데이터의 특성을 고려하여 특성에 맞는 머신러닝모델과 딥러닝모델을 결합한 모델을 활용하는 등의 방법을 모색할 수 있습니다. ex) FM + DCN

정리하기

추천시스템의 경우 전통적인 아이디어인 Collaborative Filtering를 발전시킨 다양한 모델과 관련된 논문들이 있습니다.
attention, BPR, Autoencoder, gragh구조 등 추천시스템이라는 도메인을 떠나서 중요 topic이 활용됨을 알 수 있습니다.
NLP의 Word2vec 아이디어를 활용한 ITEM2VEC, BERT4Rec, Denoising 등 다른 도메인에서 효과적인 모델의 아이디어를 활용함을 알 수 있습니다.
user-item의 feedback data만을 활용하는 CF 모델의 한계를 보완하기 위해, 다양한 feature또는 문맥을 고려하는 FM계열의 모델을 확인할 수 있습니다.

아래 링크를 참고하였고, 아래링크는 해당 논문들을 다운받을 수 있는 경로를 제공합니다.

참고링크 : https://blog.naver.com/boostcamp_official/222942213787

[Recsys] 추천시스템 Task란?

몽글이2 — Sun, 30 Apr 2023 02:49:18 +0900

주요 추천 시스템 분류

함께 구매한 아이템 추천 : 해당 아이템을 구매한 유저들이 함께 구매한 아이템을 추천해당 테스크는 동일한 아이템을
유사한 아이템 추천 : 아이템의 정보들을 임베딩(Embedding)하여, 전체 아이템 중 유사한 아이템을 추천
인기도기반 아이템 추천 : 가장 많은 인터렉션이 발생한 아이템을 추천
개인화 추천: 아이템, 유저, 상호작용 데이터를 활용하여 딥러닝 모델을 통해 개인화된 추천 결과 제공

더 생각해 보기

1. 함께 구매한 아이템 추천

해당 아이디어는 "동일한 아이템을 구매했다는 이유 하나만으로 유사한 선호도를 가진 유저일 수 있다"는 가정에서 시작한다. 이는 단일 원인만 고려한 것으로 예측의 정확도를 보장하기 어려울 확률이 높다.

예를 들어, A유저와 B유저가 동일하게 a상품을 구매했고 이때 A유저가 b상품을 함께 구매했다면, 해당 알고리즘 원리에 의해 B유저에게 b상품을 추천한다.

하지만, A유저가 b아이템을 구매한 이유가 가족이 판매하는 상품이라서 구매했다면 B유저에게는 엉뚱한 상품을 추천하게된다. 이렇듯 기호에 의한 선택으로 보기 어려운 요인들은 추천의 정확도를 떨어뜨린다.

이런 경우, 추천 참고 대상을 A한사람이 아닌 집단으로 변경하는 아이디어로 예측 성능을 높일 수 있다.

a상품을 구매한 B유저에게 추천할 상품을 a상품을 구매한 A한사람이 아니라, a상품을 구매한 집단중에서 또다시 동일하게 구매한 횟수가 높은 상품을 추천함으로써 정확도를 높이는 것이다.

2. 유사한 아이템 추천 :

아이템의 정보들을 임베딩(Embedding)하여, 전체 아이템 중 유사한 아이템을 추천

→ 유저가 상품을 구매한 데이터가 부족한 Cold start 상황에서 활용가능

3.인기도기반 아이템 추천 :

가장 많은 인터렉션이 발생한 아이템을 추천

→ 인기도가 높은 몇몇 소수의 상품만을 활용하는 한계가 있다.

때문에 기업입장에서는 차별성을 가지고 다양한 상품을 개인화된 선호에 맞게 추천해주는 개인화 추천 시스템이 필요하다.

4.개인화 추천:

아이템, 유저, 상호작용(Feedback) 데이터를 활용하여 딥러닝 모델을 통해 개인화된 추천 결과 제공한다.

아래와 같이 추천 모델에는 다양한 모델과 이론들있다!

General Recommendation: BPR, ItemKNN,ConvNCF,NGCF,RecVAE…
Sequential Recommendation: RepeatNet, GRU4Rec, SASRecF, BERT4Rec, FDSA,…
Context-Aware Recommendation : WideDeep, DeepFM, FFM,Autoint,PNN,FM…
Knowledge-Aware Recommendation : CKE, CFKG, RippleNet, KGAT…

위의 내용은 부스트캠프 블로그 글의 내용을 일부 참고하였습니다!

참고링크 : https://blog.naver.com/boostcamp_official/222942213787

[Topic] 로버스트 리딩(Robust Reading)/ 광학문자인식(OCR)

몽글이2 — Mon, 24 Apr 2023 23:08:18 +0900

韓 AI 스타트업 일냈다…업스테이지, 국제 AI 경진대회 4부문 석권 (naver.com)

韓 AI 스타트업 일냈다…업스테이지, 국제 AI 경진대회 4부문 석권

인공지능(AI) 광학문자인식(OCR) 세계 최고 권위 대회 ‘ICDAR 로버스트 리딩 컴페티션’에서 업스테이지가 4개 부문을 석권하며 글로벌 톱 AI기술력을 뽐냈다. 업스테이지는 지난 21일 국제패턴인

n.news.naver.com

오늘 4월 24일 AI 스타트업 회사인 업스테이지(upstage)가 ICDAR(International Conference on Document Analysis & Recognition) 대회에서 4개부문을 석권했다고 합니다.

해당 대회는 디지털 이미지와 비디오 상에서 텍스트를 감지,인식하는 로버스트 리딩 분야에서 가장 권위 있는 국제경연대회라고 합니다.

기사에 따르면,

첫번째, Upstage는 OCR의 문자 검출 기술과 인식기술 모두에서 아마조느 엔비디아, 등등 글로벌 빅테크 기업들과의 경쟁에서 높은 점수를 기록했다고 합니다.

또한, "단순OCR기술만으로 좋은 평가를 받을 수 없는 VQAonBD 종목에서도 업스테이지는 2위와 엄청난 점수 차이로 글로벌 톱의 성적을 거뒀다" 라고 합니다.

위의 내용을 좀 더 이해해 보기 위해 로버스트 리딩(Robust Reading)과 광학문자인식(OCR) 분야의 대략적인 정보를 정리해보았습니다.

OCR

1. 광학문자인식(OCR)이란?

OCR은 이미지와 동영상과 같은 비정형 데이터에서 텍스트를 추출하여 기계가 읽을 수 있는 텍스트 포맷으로 변환하는 과정으로 대개 인쇄된 문서나 손글씨와 같은 텍스트 데이터를 인식하는데 사용됩니다.

비즈니스 업무 중에는, 인쇄된 문서를 매체로 정보를 수신하는 경우가 다수 존재합니다.

때문에, 문서를 스캔하고 스캔된 이미지를 텍스트로 변환하여 저장할 수 있는 것은

스캔 받은 법률 문서, 인쇄된 계약서등과 같은 중요하지만 쉽게 분석하고 저장하기 어려운 문서들의 저장, 분석, 운영을 자동화 하여 생산성을 높이도록 도와줍니다.

OCR의 유형으로는 문자의 위치를 찾는 검출 기술과 문자가 무엇인지 알아내는 인식 기술로 나뉜고

인식 기술에는 단순 문자 인식, 지능형 문자 인식, 지능형 단어 인식, 마크 인식이 있습니다.

2. OCR의 작동 방식

이미지 획득 → 전처리 → 텍스트 인식(패턴매칭,특징 추출) → 후처리

이미지 획득

: 스캐너를 통해 문서를 읽어들여 이진 데이터로 변환 (밝은부분: 배경/어두운부분 :텍스트)

전처리

: 기울기 보정, 정렬문제 해결, 얼룩제거, 가장자리 정리 등을 수행하여 오류를 제거하고 읽을 수 있도록 준비

텍스트 인식

: 패턴인식 - 저장된 글리프(문자 이미지)가입력된 글리프와 비슷한 폰트 및 크기를 가진 경우에 인식됩니다.

: 특징추출 - 글리프를 선, 닫힌 고리, 선 방향 및 선 교차와 같은 특징으로 나누거나 분리하고 저장된 글리프 가운데 추출한 글리프와

가장 유사한, 가까운 글리프를 찾아냅니다.

후처리

: 분석이 끝나면 시스템은 추출된 텍스트 데이터를 컴퓨터 파일로 변환합니다.

3. OCR은 CV도메인인가 NLP 도메인 인가?

OCR 작업 자체는 이미지나 동영상과 같은 비정형 데이터에서 텍스트를 추출하는 것으로 CV 도메인에 속하며, OCR이 추출한 텍스트를 가지고 할 수 있는 NLP 작업(텍스트 분류, 감성 분석, 기계 번역 등)은 NLP 도메인에 속합니다.

Robust Reading

4. Robust Reading 분야와 OCR 분야의 차이가 뭐야?

OCR은 이미지나 동영상과 같은 비정형 데이터에서 텍스트를 추출하여 인식하는 작업을 의미합니다. OCR은 대개 인쇄된 문서나 손글씨와 같은 텍스트 데이터를 인식하는 데 사용됩니다.

반면에 Robust Reading은 OCR과 관련이 있지만, OCR보다 더 넓은 범위를 다룹니다. Robust Reading은 대용량 데이터에서 정확하고 효과적으로 텍스트를 추출하는 것 뿐만 아니라, 다양한 글꼴, 불명확한 문자, 배경 노이즈 등과 같은 다양한 환경에서 텍스트를 인식하는 것을 목표로 합니다. 이는 OCR 기술을 넘어서서 텍스트 인식에 관련된 전반적인 문제를 해결하는 데 초점을 맞추고 있습니다.

따라서, OCR분야는 특정한 유형의 문서에 초점을 맞춘 텍스트 인식 기술을 개발하는 분야라고 볼 수 있으며,

Robust Reading은 OCR의 한계를 넘어 다양한 조건에서 텍스트를 인식하는 기술을 개발하는 것을 목표로 하고 있습니다.

참고:OCR이란 무엇인가요? - 광학 문자 인식 설명 - AWS (amazon.com)

[성능 최적화]_EDA

몽글이2 — Tue, 18 Apr 2023 04:50:36 +0900

1. 데이터 구조 분석

판다스 기본 매서드/어트리뷰트를 활용한 데이터 구조 분석 ⇾ 결측값, 중복값, 카디널리티, 노이즈, 데이터 타입 등 확인

- shape , info() , head() : 데이터의 크기, 데이터의 타입, 데이터의 내용을 확인합니다.

- df.isna().sum(), df.isna().mean() : 결측치의 갯수와 결측치의 비율을 확인합니다.

- df.duplicated().sum() : 중복되는 행의 갯수를 확인합니다.

- df.describe() : 수치형 데이터의 컬럼별 갯수, mean, std, min, max, 4분위수를 확인합니다.

- df.nunique(): 데이터의 컬럼별 고유값의 갯수를 확인합니다.

2. 데이터 정제

- object 타입의 경우 대/소문자의 의미 차이가 없는 경우 모두 소문자로 통일해 줍니다. ⇾ apply()

이때, 'id'와 같이 고유값 컬럼의 경우 건드리지 않습니다.

- 정규표현식을 활용하여 데이터의 노이즈를 제거해줍니다. ⇾ re.sub(r'[^a-zA-Z,]', '', data))

- 빈칸 제거하기 ⇾ strip()

- 결측값 채우기 ⇾ 방법론에 대한 다양한 고민이 필요했습니다.

apply, df.sub(남길것 정규표현식, 대체할 내용, 대상), split(), strip(), replace()

방법론

: 결측값을 대체할 대체값을 찾을 때, 결측치를 채워야 하는 A컬럼에 대한 다른 컬럼값의 편차의 평균을 구해봅니다.

편차가 적은 경우 해당 컬럼을 기준으로 대체값을 설정했을때 오차가 줄어든다는 아이디어 입니다.

A컬럼에 대해 다른 컬럼을 참조할 때, 참조하는 컬럼의 갯수를 1개에서 그치지 않고, 2개까지 참조해볼 수 있습니다.

⇾ 2개의 컬럼을 참조할 때 표준편차가 가장 작은 경우를 1순위

⇾ 2개의 컬럼을 참조할 때 표준편차가 두번째로 작은 경우를 2순위

⇾ 1개의 컬럼을 참조할 때 표준편차가 첫번째로 작은 경우를 3순위

3. 데이터의 모델 피딩을 통해 데이터 특성 파악하기

- 1차로 정제된 데이터를 모델에 피딩하여 성능 확인하기

- 성능 확인 :

⇾ cv = StratifiedKFold(n_splits=n_splits, random_state=42, shuffle=True)

⇾ cross_val_score(creg, X, y, cv = cv, scoring = make_scorer(rmse))

: 성능지표 = rmse / cross-validation = StratifiedKFold

- feature importance 확인

⇾ get_feature_importance()

3. 결론 도출

- feature importance가 높은 data 확인 ⇾ 추가적인 EDA 필요성 확인, EDA 필요 부분 확인

- 데이터 특성 상어떤 모델을 사용하는 것이 강점이 있을지 확인

apply

몽글이2 — Tue, 18 Apr 2023 04:14:32 +0900

def age_group(age):
    if age < 30:
        return '20s'
    elif age < 40:
        return '30s'
    else:
        return '40s+'

df['age_group'] = df.apply(lambda row: age_group(row['age']), axis=1)

apply는 pandas에서 제공하는 메서드(Method)입니다.

메서드는 객체의 속성(attribue)를 조작하거나 객체 내부의 상태를 변경하는데 사용됩니다.

기본적으로 데이터프레임이나 시리즈의 column에 함수를 적용하며,

axis를 설정하여 row방향으로 함수를 적용할 수도 있습니다.

[열에 함수 적용하기]

def capitalize_name(name):
    return name.capitalize()

df['name'] = df['name'].apply(capitalize_name)

일반적으로 column 별로 함수를 적용합니다.

위와 같이 capitalize 함수를 커스터마이징 하여 생성한 함수를 apply에 적용할 수 있습니다.

[행에 함수 적용하기]

def age_group(age):
    if age < 30:
        return '20s'
    elif age < 40:
        return '30s'
    else:
        return '40s+'

#df['age_group'] = df['age'].apply(age_group)
df['age_group'] = df.apply(lambda row: age_group(row['age']), axis=1)

axis를 사용하여 행별로 apply를 적용한 예시 입니다.

하지만 저는 df['age'].apply를 적용하는 코드 형식이 결과는 동일한데 더 편한 것 같습니다.

정보 링크(23.08.03)

몽글이2 — Tue, 18 Apr 2023 04:07:16 +0900

re.sub

https://ponyozzang.tistory.com/335

Python 정규 표현식(re.sub)을 이용한 문자열 치환 방법 및 예제

파이썬에서 문자열을 치환해주는 메서드로 replace가 있습니다. 이번에는 replace 메서드로 문자열을 치환하는 방법이 아닌 정규 표현식을 이용하여 문자열을 치환해보도록 하겠습니다. 정규 표현

ponyozzang.tistory.com

*args와 **kwargs

https://brunch.co.kr/@princox/180

[나름 중급 파이썬1] *args와 **kwargs

항상 헷갈리는 두 가지 다시 한번 살펴보자 | 이 글은 파이썬의 문법을 모르면 이해하기 어렵습니다. python의 함수 작성 요령, 인자(argument)와 파라미터를 이해한다면 도움이 되는 내용입니다. 아

brunch.co.kr

간단히 하면 *args는 튜플 값 **kwarg는 딕셔너리 값을 받는 것

[성능 최적화]_개요

몽글이2 — Tue, 18 Apr 2023 03:02:23 +0900

<방법>

1. 데이터를 사용한 성능 최적화

2. 알고리즘을 이용한 성능 최적화

3. 알고리즘 튜닝을 이용한 성능 최적화

4. 앙상블을 이용한 성능 최적화

5. 하이퍼파라미터를 이용한 성능 최적화

<흐름>

1. 데이터 EDA를 통해 결측값, 노이즈 제거, 이상치 확인, Cardinality조정

2. 데이터에서 얻은 인사이트를 토대로 알고리즘에 적용해보기

3. 알고리즘 튜닝을 통해 성능 향상하기

- 과적합 여부 확인(네트워크 구조 변경, 에포크 수 조정) / 가중치 조절 / 학습률 조절

- 배치와 에포크 조정, 활성화 함수와 손실함수 변경(주의필요)

4. 데이터별 상황별 상이한 모델을 앙상블

5. optuna를 활용한 최적의 하이퍼파라미터 찾기