FGAN Proj - Docker compose up with submodules as CICD
clone proj from gitlab
clone proj from gitlab
git stash
git credential๋ก ์ํธํค ๋งค๋ฒ ์ ๋ ฅ์ํด๋ ์จ๊ธด์ํ์์ git clone ๊ฐ๋ฅํ๊ฒ ํ ์ ์๋ค.
Build web api with fast api framework on top of python with Celery distributed queue and RabbitMQ.
Coco Annotator ์ค์น
K-Fashion Dataset Preprocessing To-do list json: coco format์ผ๋ก json ๋ง๋ค์ด ์ค์ผ ํจ mv: data root ์ฌ์ค์ rename: ํ์ผ์ด๋ฆ์ ๊ณต๋ฐฑ๊ณผ ๊ดํธ ๋ฑ์ด ์กด์ฌ
Detectron
Appendix Reference https://medium.datadriveninvestor.com/review-on-fast-rcnn-202c9eadd23b 2021 Lecture 15 Detection and Segmentation http://cs231n.stanfor...
ML ๋ชจ๋ธ ์ดํด๋ฅผ ์ํ ํ ๋ณต์กํ ML ๋ชจ๋ธ์ ์ดํดํ๊ธฐ ์ํด์ ๋ค์๊ณผ ๊ฐ์ ์์๋ฅผ ๋ฐ๋ผ๊ฐ ๊ฒ ์ด ๋ชจ๋ธ์ด ํ๋ ค๊ณ ํ๋ ๋ฌธ์ ๋ ๋ฌด์์ธ๊ฐ ์ถ๋ก ๋จ๊ณ๋ฅผ ๋จผ์ ์ดํด. โํ์ตโ๋ ๋ชจ๋ธ์ด ์ด๋ค โ์ ๋ ฅโ์ ๋ฐ์์ด ์ด๋ค โ์ถ๋ ฅโ์ ๊ณ์ฐํ๋์ง ํ์ ํ ๊ฒ ...
1๋ฒ๋ฌธ์ : https://direction-f.tistory.com/29 2๋ฒ๋ฌธ์ : http://yonghee.io/word-embedding-pytorchword2vec/
3๋ฑ ์๋ฃจ์ ์์ DetectoRS ๋ฅผ ์ด ์ด์ ?(์ถ์ธก) instance-segmentation์์ ๊ทธ ๋น์ SOTA ์๊ธฐ ๋๋ฌธ์ https://paperswithcode.com/sota/instance-segmentation-on-coco
Word Embedding ๋จ์ด์ ์๋ฏธ๋ฅผ ์ด๋ป๊ฒ ๋ํ๋ผ ๊ฒ์ธ๊ฐ ์ข์ ํํ ๋ฐฉ์: ๋จ์ด๊ฐ์ ๊ด๊ณ๋ฅผ ์ ํํํ ์ ์์ด์ผ ํจ
docker run with bind_mount and assign name to the container docker run -d -v `pwd`:/whale_test -it --name docker123456 mydocker
๋ฌธ์ ๋ถ๋ฅ (Text Classification) ๋ฌธ์ ๋ถ๋ฅ๋ ์ ๋ ฅ์ผ๋ก ๋ฐ์, ํ ์คํธ๊ฐ ์ด๋ค ์ข ๋ฅ์ ๋ฒ์ฃผ์ ์ํ๋์ง๋ฅผ ๊ตฌ๋ถํ๋ ์์ ๋ค์ํ ๋ฌธ์ ๋ถ๋ฅ ๋ฌธ์ ๋ฌธ์์ ๋ฒ์ฃผ, ์ฃผ์ ๋ถ๋ฅ ์ด๋ฉ์ผ ์คํธ ๋ถ๋ฅ ๊ฐ์ฑ ๋ถ๋ฅ ์ธ์ด ๋ถ๋ฅ ...
๐ Reference: https://www.daleseo.com/docker-volumes-bind-mounts/
Build Docker Image & run, start, stop and exit container by using shell command $ bash docker/build.sh
์ธ์ด๋ชจ๋ธ ๋ค์ ๋ฌธ์ฅ ๋ค์์ ์ด์ด์ง ๋จ์ด๋? Please turn your homework in or the ? ๋ค์ ๋ ๋ฌธ์ฅ ์ค ๋ํ๋ ํ๋ฅ ์ด ๋ ๋์ ๊ฒ์? ...
Intro ์์ฐ์ด์ ์๋ฏธ๋ฅผ ์ปดํจํฐ๋ก ๋ถ์ํด์ ํน์ ์์ ์ ์ํด ์ฌ์ฉํ ์ ์๋๋ก ํ๋ ๊ฒ ์์ฉ๋ถ์ผ ๊ธฐ๊ณ๋ฒ์ญ ๊ฐ์ฑ๋ถ์ ๋ฌธ์๋ถ๋ฅ ์ง์์๋ต์์คํ ์ฑ๋ด ์ธ์ด์์ฑ ์์ฑ์ธ์ ์ถ์ฒ์์คํ ...
Spark MLlib ๋ชจ๋ธ ํ๋ ์๊ฐ Spark MLlib ๋ชจ๋ธ ํ๋ ์ต์ ์ ํ์ดํผ ํ๋ผ๋ฏธํฐ ์ ํ ์ต์ ์ ๋ชจ๋ธ ํน์ ๋ชจ๋ธ์ ํ๋ผ๋ฏธํฐ๋ฅผ ์ฐพ๋ ๊ฒ์ด ์์ฃผ ์ค์ ํ๋์ฉ ํ ์คํธํด๋ณด๋ ๊ฒ vs. ๋ค์๋ฅผ ๋์ ํ ์คํธ ํ๋ ๊ฒ ๋ชจ๋ธ ์ ํ์ ์ค์ํ ...
Spark ์ด๋ Pandas์ ์คํ ๋ก์ด๋ ๋ฒ์ + SQL + Scikit-learn + Streaming
Spark MLlib ์๊ฐ ๋จธ์ ๋ฌ๋ ๊ด๋ จ ๋ค์ํ ์๊ณ ๋ฆฌ์ฆ, ์ ํธ๋ฆฌํฐ๋ก ๊ตฌ์ฑ๋ ๋ผ์ด๋ธ๋ฌ๋ฆฌ Classification, Regression, Clustering, Collaborative Filtering, Dimensionality Reduction, โฆ ...
์ปค๋ฆฌ์ด ์ด์ผ๊ธฐ ๋จ๊ณผ ๋น๊ตํ์ง ๋ง๊ณ ์์ผ๋ก 20-30๋ ์ ๋ณด๊ธฐ ํ๋๋ฅผ ํ๊ธฐ๋ก ํ์ผ๋ฉด ์ ์ด๋ 6๊ฐ์์ ํ๊ณ ๋ค๊ธฐ ๋๋ฌด ๋นจ๋ฆฌ ํฌ๊ธฐํ์ง ์๊ธฐ ๋ญ๊ฐ ์ ์๋๋ฉด ์๋๋ฅด๊ธฐ ๋ณด๋ค๋ ์คํ๋ ค ์ฒ์ฒํ ๊ฐ๊ธฐ ๊ณต๋ถ๋ฅผ ์ํ ๊ณต๋ถ๋ฅผ ํ๊ธฐ ๋ณด๋ค๋ ์ผ์ ...
๋น ๋ฐ์ดํฐ ๊ธฐ์ ์ด๋ Spark ์๊ฐ ํ๋ค์ค์ ๋น๊ต Spark ์ค์ต
๋ฐ์ดํฐ ํ์ ์ญํ ๋ฐ์ดํฐ ํ์ ๋ฏธ์ ์ ๋ขฐํ ์ ์๋ ๋ฐ์ดํฐ๋ฅผ ๋ฐํ์ผ๋ก ๋ถ๊ฐ๊ฐ์น ์์ฑ
Get started Recommender Environment conda conda conda create -n fashion python=3.8 install pytorch c...
Live Session ์ปค๋ฆฌ์ด ์ด๋ค ๊ธฐ์ ์ ์๋๋๊ฐ ์๋ ๊ฒฐ๊ณผ๋ฅผ ๋ด๋๋ฐ ์ด์
์์ 1 ๋ฆฌ๋ทฐ ์ฌ์ฉ์๋ณ๋ก ์ฒ์ ์ฑ๋๊ณผ ๋ง์ง๋ง ์ฑ๋ ์์๋ด๊ธฐ ROW_NUMBER vs. FIRST_VALUE/LAST_VALUE ์ฌ์ฉ์ 251๋ฒ์ ์๊ฐ์์ผ๋ก ๋ดค์ ๋ ์ฒซ ๋ฒ์งธ ์ฑ๋๊ณผ ๋ง์ง๋ง ์ฑ๋์ ๋ฌด์์ธ๊ฐ? ์๋ ์ฟผ๋ฆฌ๋ฅผ ์คํํด์ ์ฒ์๊ณผ ๋ง์ง๋ง ์ฑ๋์ ๋ณด๋ฉด ...
JOIN SQL ์กฐ์ธ์ ๋ ๊ฐ ํน์ ๊ทธ ์ด์์ ํ ์ด๋ธ๋ค์ ๊ณตํต ํ๋๋ฅผ ๊ฐ์ง๊ณ MERGE ํ๋๋ฐ ์ฌ์ฉ๋จ. ์ด๋ ์คํ ์คํค๋ง๋ก ๊ตฌ์ฑ๋ ํ ์ด๋ธ๋ค๋ก ๋ถ์ฐ๋์ด ์๋ ์ ๋ณด๋ฅผ ํตํฉํ๋ ๋ฐ ์ฌ์ฉ. JOIN์ ๊ฒฐ๊ณผ๋ ๋ฐฉ์์ ์๊ด์์ด ์์ชฝ์ ํ๋๋ฅผ ๋ชจ๋ ๊ฐ์ง ์๋ก์ด ํ ์ด๋ธ์ ๋ง๋ค์ด๋ด๊ฒ ๋จ. ์กฐ...
GROUP BY์ AGGREGATE ํจ์ ํ ์ด๋ธ์ ๋ ์ฝ๋๋ฅผ ๊ทธ๋ฃนํํ์ฌ ๊ทธ๋ฃน๋ณ๋ก ๋ค์ํ ์ ๋ณด๋ฅผ ๊ณ์ฐ ์ด๋ ๋ ๋จ๊ณ๋ก ์ด๋ฃจ์ด์ง ๊ทธ๋ฃนํ์ ํ ํ๋๋ฅผ ๊ฒฐ์ (ํ๋ ์ด์์ ํ๋๊ฐ ๋ ์ ์์) GROUP BY๋ก ์ง์ (ํ๋ ์ด๋ฆ...
Redshift ๋ก ์น ๋ฐ๋ชจ ์์ ํ ์ด๋ธ ์๊ฐ ์ฌ์ฉ์ ID: ์น์๋น์ค์์ ๋ฑ๋ก๋ ์ฌ์ฉ์๋ง๋ค ๋ถ์ฌํ๋ ์ ์ผํ ID ์ธ์ ID: ์ธ์ ๋ง๋ค ๋ถ์ฌ๋๋ ID ์ธ์ : ์ฌ์ฉ์์ ๋ฐฉ๋ฌธ์ ๋ ผ๋ฆฌ์ ์ธ ๋จ์๋ก ๋๋ ๊ฒ ์ฌ์ฉ์๊ฐ ๋ฐฉ๋ฌธ ํ 30๋ถ...
SQL์ ์ค์์ฑ ๋ฐ์ดํฐ ๊ด๋ จ 3๊ฐ์ ์ง๊ตฐ ๋ฐ์ดํฐ ์์ง๋์ด Python, Java/Scalar SQL, DB ETL/ELT(airflow, DBT) Spark, Hadoop ๋ฐ์ดํฐ ๋ถ์๊ฐ ...
Sequential Data ํํ ๋ฒกํฐ์ ๋ฒกํฐ \(\boldsymbol{x} = (\boldsymbol{x}^{(1)}, \boldsymbol{x}^{(2)},\ldots ,\boldsymbol{x}^{(T)})^{T}\). ์ฌ์ ...
Objective Function Objective Funtion Vs. Loss Function(alias: Cost Function) โThe function we want to minimize or maximize is called the objective function, ...
1. ์์ ๋ฐ๋ผํ๊ณ , ๊ฐ์ธ Github ์ ๋ฆฌํ๊ธฐ CNN
GAP (Global Average Pooling) import torch.nn.functional as F x = F.adaptive_avg_pool2d(x, (1, 1))
Computer Visionโs Difficulties ๊ด์ ์ ๋ณํ๋ก ์ธํด ๊ฐ์ ๋์์ด๋ผ๋ ํฝ์ ๊ฐ์ด ๋ค๋ฆ. ๋ฐฐ๊ฒฝ๊ณผ ํผ์ฌ์ฒด์ ๊ตฌ๋ถ์ด ์ด๋ ค์. ์กฐ๋ช ์ ๋ฐ๋ฅธ ๋ณํ ๋์์ ๊ธฐํ์ ํํ ๊ฐ๋ ค์ง ํํ ๊ฐ์ ํด๋์ค์์์์ ๋ณํ๊ฐ ํผ
ํผ์ ํธ๋ก ํผ์ ํธ๋ก ์ ๋์ ๋ด์ ์ ์ํ ์ ํ๊ณผ ํ์ฑํจ์์ ์ํ ๋น์ ํ์ ์ํด ์๋ฏธ๋ฅผ ๊ตฌ๋ถ. ๊ฒฐ๊ตญ์ ๊ณต๊ฐ์ ๋ถํ ์ ๋ง๋ ๋ค. ์ ํ๋์์์ w๋ผ๋ ๊ฐ์ค์น์ input์ ๋ด์ ํ๊ณ w์ projectionํ์๋, ๊ทธ ๊ฐ์ด 0์ด๋ฉด ์ง๊ตํ๋ ๊ฒ์ด๊ณ , 0์ ๊ธฐ์ค์ผ๋ก ๋น์ ํ์ ์์๋ก +1, -1๋ก ...
To do ํธ๋ฏธ๋ถ (partial derivative)
To do Gradient Boost XGBoost
CS & Calculus background
์ ํ๋ถ๋ฅ์ ๋ชฉํ์ ๋ฐฉ๋ฒ๋ค
์ ํ ๊ธฐ์ ํจ์ ๋ชจ๋ธ ๊ฐ์ฅ ๋จ์ํ ํํ์ ์ ํ๋ชจ๋ธ
Underprediction \(t_{i}\): target label(i-th sample) \(y_{i}\): modelโs prediction
This assignment basically comes from cs231n. https://cs231n.github.io/assignments2021/assignment1/#q1-k-nearest-neighbor-classifier
๊ฐ์ฐ์์ ๋ถํฌ (Gaussian Distribution)
๋ฐ๋์ถ์ (Density Estimation) \(N\)๊ฐ์ ๊ด์ฐฐ๋ฐ์ดํฐ(observations) \(\mathbf{x}_1,\ldots\mathbf{x}_N\)๊ฐ ์ฃผ์ด์ก์ ๋ ๋ถํฌํจ์ \(p(\mathbf{x})\)๋ฅผ ์ฐพ๋ ๊ฒ
Live Session with ๊ฐ์ฐฝ์ฑ ๋ฐ์ฌ๋
Appendix Reference https://vivek-singh.medium.com/an-introduction-to-gradient-descent-54775b55ba4f https://jermwatt.github.io/machine_learning_refined/not...
์ ์ ํ๋์๋ฅผ ์์์ผ ํ๋๊ฐ?
Deep Learning Modelโs Outcome is the Probability of the Variable X
Dataset ย Restaurant Location Cuisines AverageCost MinimumOrder Rating Votes Reviews De...
Deep Learning Modelโs Outcome is the Probability of the Variable X
Deep Learning Modelโs Outcome is the Probability of the Variable X
1. Add chart.js and jquery (layouts.html) This is currently located at head, but later Iโve to move those scripts down to the end of the body tag. <!-- ...
Deploy Django Wep app - Pyhonanywhere
Django VScode Extension While I work with django-html files, everytime I had to type curly brackets and percentage sign. I found most popular django html ext...
Django Static & Debug Mode Keep in mind. If Debug = False, even though you correctly impletmented your static files, Django do not load any of your stati...
Basic Setting make project: $ django-admin startproject webproj
Model Django can have ORM (Object Relational DB) and sql.
MVT Pattern
Flask run as debug mode $ export FLASK_ENV=development $ flask run if not set as dev mode, need to keep restart flask like: $ flask run
Flask and SQLAlchemy - RESTful APIs - connect to DB Flask Shell - create db fist Run Flask Shell on conda env or venv: flask shell ```flask f...
Plotting ๊ณผ์ pushํ๋ค๊ฐ 100MB ๋๋ ํ์ผ์ pushํ๋ ค๊ณ ํ๋ error๊ฐ ๋ฌ๋ค. 100MB ์ด์ ํ์ผ ์ฌ๋ฆฌ๋ ค๋ฉด Git LFS(Large File Storage)๋ฅผ ์ฌ์ฉํด์ผ ํ๋ค๋๋ฐ ๊ตณ์ด ์ฌ๋ฆฌ์ง ์์๋ ๋๋ค๋ฉด, ์๋ฌ๋ง ํด๊ฒฐํ๊ณ ๋ค์ PUSH ํ๊ณ ์ถ๋ค๋ฉด ์๋ ๋งํฌ๋ฅผ...
Git Pull Request ๋ค ์ ๊ณ ๋ณด๋ ๋๋ฌด ์์ธํ๊ฒ ์ ์ ๊ฒ ๊ฐ๊ธฐ๋ ํ๋ค.
Numpy
Numpy Array Broadcasting
Backtracking ๋ํ ๋ฌธ์ Backtracking ๋ํ์ ๋ฌธ์ ๋ผ๊ณ ํ๋ค.
In Linear Algebra Course, SVD is one of matrix decomposition methods. (such as LU, QR)
Entropy
์ ๋ฆฌํ ๊ฒ
Autoencoder
Get started Recommender Environment conda conda conda create -n fashion python=3.8 install pytorch c...
์์ 1 ๋ฆฌ๋ทฐ ์ฌ์ฉ์๋ณ๋ก ์ฒ์ ์ฑ๋๊ณผ ๋ง์ง๋ง ์ฑ๋ ์์๋ด๊ธฐ ROW_NUMBER vs. FIRST_VALUE/LAST_VALUE ์ฌ์ฉ์ 251๋ฒ์ ์๊ฐ์์ผ๋ก ๋ดค์ ๋ ์ฒซ ๋ฒ์งธ ์ฑ๋๊ณผ ๋ง์ง๋ง ์ฑ๋์ ๋ฌด์์ธ๊ฐ? ์๋ ์ฟผ๋ฆฌ๋ฅผ ์คํํด์ ์ฒ์๊ณผ ๋ง์ง๋ง ์ฑ๋์ ๋ณด๋ฉด ...
JOIN SQL ์กฐ์ธ์ ๋ ๊ฐ ํน์ ๊ทธ ์ด์์ ํ ์ด๋ธ๋ค์ ๊ณตํต ํ๋๋ฅผ ๊ฐ์ง๊ณ MERGE ํ๋๋ฐ ์ฌ์ฉ๋จ. ์ด๋ ์คํ ์คํค๋ง๋ก ๊ตฌ์ฑ๋ ํ ์ด๋ธ๋ค๋ก ๋ถ์ฐ๋์ด ์๋ ์ ๋ณด๋ฅผ ํตํฉํ๋ ๋ฐ ์ฌ์ฉ. JOIN์ ๊ฒฐ๊ณผ๋ ๋ฐฉ์์ ์๊ด์์ด ์์ชฝ์ ํ๋๋ฅผ ๋ชจ๋ ๊ฐ์ง ์๋ก์ด ํ ์ด๋ธ์ ๋ง๋ค์ด๋ด๊ฒ ๋จ. ์กฐ...
GROUP BY์ AGGREGATE ํจ์ ํ ์ด๋ธ์ ๋ ์ฝ๋๋ฅผ ๊ทธ๋ฃนํํ์ฌ ๊ทธ๋ฃน๋ณ๋ก ๋ค์ํ ์ ๋ณด๋ฅผ ๊ณ์ฐ ์ด๋ ๋ ๋จ๊ณ๋ก ์ด๋ฃจ์ด์ง ๊ทธ๋ฃนํ์ ํ ํ๋๋ฅผ ๊ฒฐ์ (ํ๋ ์ด์์ ํ๋๊ฐ ๋ ์ ์์) GROUP BY๋ก ์ง์ (ํ๋ ์ด๋ฆ...
Redshift ๋ก ์น ๋ฐ๋ชจ ์์ ํ ์ด๋ธ ์๊ฐ ์ฌ์ฉ์ ID: ์น์๋น์ค์์ ๋ฑ๋ก๋ ์ฌ์ฉ์๋ง๋ค ๋ถ์ฌํ๋ ์ ์ผํ ID ์ธ์ ID: ์ธ์ ๋ง๋ค ๋ถ์ฌ๋๋ ID ์ธ์ : ์ฌ์ฉ์์ ๋ฐฉ๋ฌธ์ ๋ ผ๋ฆฌ์ ์ธ ๋จ์๋ก ๋๋ ๊ฒ ์ฌ์ฉ์๊ฐ ๋ฐฉ๋ฌธ ํ 30๋ถ...
SQL์ ์ค์์ฑ ๋ฐ์ดํฐ ๊ด๋ จ 3๊ฐ์ ์ง๊ตฐ ๋ฐ์ดํฐ ์์ง๋์ด Python, Java/Scalar SQL, DB ETL/ELT(airflow, DBT) Spark, Hadoop ๋ฐ์ดํฐ ๋ถ์๊ฐ ...
Sequential Data ํํ ๋ฒกํฐ์ ๋ฒกํฐ \(\boldsymbol{x} = (\boldsymbol{x}^{(1)}, \boldsymbol{x}^{(2)},\ldots ,\boldsymbol{x}^{(T)})^{T}\). ์ฌ์ ...
Objective Function Objective Funtion Vs. Loss Function(alias: Cost Function) โThe function we want to minimize or maximize is called the objective function, ...
1. ์์ ๋ฐ๋ผํ๊ณ , ๊ฐ์ธ Github ์ ๋ฆฌํ๊ธฐ CNN
Computer Visionโs Difficulties ๊ด์ ์ ๋ณํ๋ก ์ธํด ๊ฐ์ ๋์์ด๋ผ๋ ํฝ์ ๊ฐ์ด ๋ค๋ฆ. ๋ฐฐ๊ฒฝ๊ณผ ํผ์ฌ์ฒด์ ๊ตฌ๋ถ์ด ์ด๋ ค์. ์กฐ๋ช ์ ๋ฐ๋ฅธ ๋ณํ ๋์์ ๊ธฐํ์ ํํ ๊ฐ๋ ค์ง ํํ ๊ฐ์ ํด๋์ค์์์์ ๋ณํ๊ฐ ํผ
ํผ์ ํธ๋ก ํผ์ ํธ๋ก ์ ๋์ ๋ด์ ์ ์ํ ์ ํ๊ณผ ํ์ฑํจ์์ ์ํ ๋น์ ํ์ ์ํด ์๋ฏธ๋ฅผ ๊ตฌ๋ถ. ๊ฒฐ๊ตญ์ ๊ณต๊ฐ์ ๋ถํ ์ ๋ง๋ ๋ค. ์ ํ๋์์์ w๋ผ๋ ๊ฐ์ค์น์ input์ ๋ด์ ํ๊ณ w์ projectionํ์๋, ๊ทธ ๊ฐ์ด 0์ด๋ฉด ์ง๊ตํ๋ ๊ฒ์ด๊ณ , 0์ ๊ธฐ์ค์ผ๋ก ๋น์ ํ์ ์์๋ก +1, -1๋ก ...
To do ํธ๋ฏธ๋ถ (partial derivative)
To do Gradient Boost XGBoost
์ ํ๋ถ๋ฅ์ ๋ชฉํ์ ๋ฐฉ๋ฒ๋ค
์ ํ ๊ธฐ์ ํจ์ ๋ชจ๋ธ ๊ฐ์ฅ ๋จ์ํ ํํ์ ์ ํ๋ชจ๋ธ
This assignment basically comes from cs231n. https://cs231n.github.io/assignments2021/assignment1/#q1-k-nearest-neighbor-classifier
๊ฐ์ฐ์์ ๋ถํฌ (Gaussian Distribution)
๋ฐ๋์ถ์ (Density Estimation) \(N\)๊ฐ์ ๊ด์ฐฐ๋ฐ์ดํฐ(observations) \(\mathbf{x}_1,\ldots\mathbf{x}_N\)๊ฐ ์ฃผ์ด์ก์ ๋ ๋ถํฌํจ์ \(p(\mathbf{x})\)๋ฅผ ์ฐพ๋ ๊ฒ
Appendix Reference https://vivek-singh.medium.com/an-introduction-to-gradient-descent-54775b55ba4f https://jermwatt.github.io/machine_learning_refined/not...
์ ์ ํ๋์๋ฅผ ์์์ผ ํ๋๊ฐ?
Deep Learning Modelโs Outcome is the Probability of the Variable X
Dataset ย Restaurant Location Cuisines AverageCost MinimumOrder Rating Votes Reviews De...
Deep Learning Modelโs Outcome is the Probability of the Variable X
Deep Learning Modelโs Outcome is the Probability of the Variable X
Align Equations in mathjax format \(\begin{align} \sqrt{37} & = \sqrt{\frac{73^2-1}{12^2}} \\ & = \sqrt{\frac{73^2}{12^2}\cdot\frac{73^2-1}{73^2}} \...
clone proj from gitlab
https://www.44bits.io/ko/post/running-docker-registry-and-using-s3-storage
Redis with Docker get redis image from docker hub Docker image pull redis redis-cli์ ๊ฐ์ด ๊ตฌ๋ํด์ผ ๋จ. ๋ ์ปจํ ์ด๋๋ฅผ ์ฐ๊ฒฐ...
create pipeline write bitbucket-pipelines.yml commit pipelines.yml file run docker at local (test runners in local env) ...
Docker Orchestration Tool: Portainer (Web UI)
Build web api with fast api framework on top of python with Celery distributed queue and RabbitMQ.
Coco Annotator ์ค์น
Dockerhub์ Push ๊น์ง ํ๋ ๊ฒฝ์ฐ private repository๋ ํ๊ฐ๊น์ง๋ง ๊ฐ๋ฅํ๊ณ ๋ ์ฐ๋ ค๋ฉด ์ ๋ฃ ํ๋์ ๊ฐ์ ํด์ผ ํ๋ค.
ํ๊ฒฝ local์์ server์ ์๋ docker container์์ jupyter lab์ผ๋ก ์ ์
Error Message: RuntimeError: DataLoader worker (pid 4301) is killed by signal: Bus error. It is possible that dataloader's workers are out of shared memory. ...
์๋ฒ์ ์๋ docker container์ vscode๋ก ์ ์ํ๋ ๋ฐฉ๋ฒ์ด๋ค.
3๋ฑ ์๋ฃจ์ ์์ DetectoRS ๋ฅผ ์ด ์ด์ ?(์ถ์ธก) instance-segmentation์์ ๊ทธ ๋น์ SOTA ์๊ธฐ ๋๋ฌธ์ https://paperswithcode.com/sota/instance-segmentation-on-coco
๋์ปค์์ Container ํฌํธ์ Host ํฌํธ์ ๊ฐ๋
docker run with bind_mount and assign name to the container docker run -d -v `pwd`:/whale_test -it --name docker123456 mydocker
๐ Reference: https://www.daleseo.com/docker-volumes-bind-mounts/
Build Docker Image & run, start, stop and exit container by using shell command $ bash docker/build.sh
git repo https://github.com/dacon-ai/K-Fashion-3rd
Setup the docker via Repository 1. Update the apt package index and install packages to allow apt to use a repository over HTTPS: $ sudo apt-get update $ sud...
์ ๋ฆฌํ ๊ฒ
์ ํ๋ถ๋ฅ์ ๋ชฉํ์ ๋ฐฉ๋ฒ๋ค
์ ํ ๊ธฐ์ ํจ์ ๋ชจ๋ธ ๊ฐ์ฅ ๋จ์ํ ํํ์ ์ ํ๋ชจ๋ธ
๊ฐ์ฐ์์ ๋ถํฌ (Gaussian Distribution)
๋ฐ๋์ถ์ (Density Estimation) \(N\)๊ฐ์ ๊ด์ฐฐ๋ฐ์ดํฐ(observations) \(\mathbf{x}_1,\ldots\mathbf{x}_N\)๊ฐ ์ฃผ์ด์ก์ ๋ ๋ถํฌํจ์ \(p(\mathbf{x})\)๋ฅผ ์ฐพ๋ ๊ฒ
Appendix Reference https://vivek-singh.medium.com/an-introduction-to-gradient-descent-54775b55ba4f https://jermwatt.github.io/machine_learning_refined/not...
์ ์ ํ๋์๋ฅผ ์์์ผ ํ๋๊ฐ?
Deep Learning Modelโs Outcome is the Probability of the Variable X
Dataset ย Restaurant Location Cuisines AverageCost MinimumOrder Rating Votes Reviews De...
Deep Learning Modelโs Outcome is the Probability of the Variable X
Deep Learning Modelโs Outcome is the Probability of the Variable X
Sorting
Book - Python Algorithms by Magnus Lie Hetland
Book - Python Algorithms by Magnus Lie Hetland
Book - Python Algorithms by Magnus Lie Hetland
Book - Python Algorithms by Magnus Lie Hetland
Book - Python Algorithms by Magnus Lie Hetland
Book - Python Algorithms by Magnus Lie Hetland
Book - Python Algorithms by Magnus Lie Hetland
Book - Python Algorithms by Magnus Lie Hetland
Book - Python Algorithms by Magnus Lie Hetland
Utterances ์ค์นํด์ ๋๊ธ ๊ธฐ๋ฅ ์ถ๊ฐํ๊ธฐ
Problem After unexpectedly reload vscode for updating vscode, as I served jekyll from local host by bundle exec jekyll serve, jekyll 3.9.1 | Error: Address ...
Failed so far.. with Jupyter Lab
```markdown go to header 1 go to header 2 go to header 3
Reference https://masunii.github.io/blog_custom/top_button/
Minimal-Mistakes Style Sheet Structure Got a hint from: https://github.com/mmistakes/minimal-mistakes/issues/1583 ![](/images/image.jpg){: .align-right .wid...
While writing django code snippet, I found that it hides double curly brackets( {{}} ). Since Jekyll uses the Liquid templating language to process templates...
Align Equations in mathjax format \(\begin{align} \sqrt{37} & = \sqrt{\frac{73^2-1}{12^2}} \\ & = \sqrt{\frac{73^2}{12^2}\cdot\frac{73^2-1}{73^2}} \...
์๋ฌด ์๊ฐ ์์ด ์ด๋ฏธ์ง๋ฅผ _site/assets/images ์ ์ด๋ฏธ์ง๋ฅผ ์๋ก ์ฝ์ ํ๋ ค๊ณ ํ๋ ์๊พธ ์ด๋ฏธ์ง๊ฐ ์ญ์ ๋๋ ๊ฒ์ด์๋คโฆ vscode remote connection์ด ๋ฌธ์ ์ธ๊ฐ ์ถ์ด server ๊ฐ์ dir์๋ค ๋ฃ์ด๋ ๋ณด๊ณ connection๋ ๋ค์ ํด๋ดค์ง๋ง ๊ณ์ ์ญ์ ๋๊ธธ๋
if name == โmainโ: To better understand why and how this matters, we need to take a step back to understand how Python initializes scripts and how this inter...
Python GMP
https://inmoonlight.github.io/2021/02/21/PyTorch-IterableDataset/
```py import time data = [] start = time.time() from concurrent.futures import ThreadPoolExecutor import concurrent.futures
4-1. ์ธ๋๋ฐ๊ฐ ์์ ํ๋ ๋ถ์ ๊ฒฝ์ฐ (ex: _variable) ์ด ๊ฒฝ์ฐ๋ ๋ชจ๋ ๋ด์์๋ง ํด๋น ๋ณ์/ํจ์๋ฅผ ์ฌ์ฉํ๊ฒ ๋ค๋ ์๋ฏธ์ ๋๋ค.(private) ํนํ ํ์ ์ ํ ๋ ๋ค๋ฅธ ํ์์๊ฒ โ์ด ๋ณ์/ํจ์๋ ์ด ๋ชจ๋ ๋ด๋ถ์์๋ง ์ฌ์ฉํ ๊ฑฐ๋คโ๋ผ๊ณ ๋ช ์์ ์ผ๋ก ํํธ๋ฅผ ์ค ์ ์์ต๋๋ค.
urllib.parse.unquote(string, encoding=โutf-8โ, errors=โreplaceโ) Replace %xx escapes with their single-character equivalent. The optional encoding and err...
Coroutines and Tasks
Regex ์์ฃผ ์ฌ์ฉํ๋ ๋ฌธ์ ํด๋์ค
```py import os def changeName(path, cName): i = 1 for filename in os.listdir(path): print(path+filename, โ=>โ, path+str(cName)+str(i)+โ....
clone proj from gitlab
Coco Annotator ์ค์น
K-Fashion Dataset Preprocessing To-do list json: coco format์ผ๋ก json ๋ง๋ค์ด ์ค์ผ ํจ mv: data root ์ฌ์ค์ rename: ํ์ผ์ด๋ฆ์ ๊ณต๋ฐฑ๊ณผ ๊ดํธ ๋ฑ์ด ์กด์ฌ
3๋ฑ ์๋ฃจ์ ์์ DetectoRS ๋ฅผ ์ด ์ด์ ?(์ถ์ธก) instance-segmentation์์ ๊ทธ ๋น์ SOTA ์๊ธฐ ๋๋ฌธ์ https://paperswithcode.com/sota/instance-segmentation-on-coco
git repo https://github.com/dacon-ai/K-Fashion-3rd
Get started Recommender Environment conda conda conda create -n fashion python=3.8 install pytorch c...
Overall Entered around 2 weeks before the competition ends. Get used to implementing Detectron2 with custom data First Instance Segmentation Task
Detection Metrics Dice Coefficient \[Dice = \frac{2 |AโฉB|}{(|A|+|B|)} = \frac{2 TP}{(2 TP + FP + FN)}\]
Task: Object Detection of Small Intesine Lesion
Task: Semantic Segmentation of Body labels are come from DensePose. Using these body labels, inference body parts.
conda ๋ก ํ๊ฒฝ ๋ง๋ค์ด์ torch install์ conda๋ก ํ๋๋ cuda False๊ฐ ๋๋ฒ๋ ค์ ๋ฒ์ ๋ฌธ์ ์ธ์ค ์์๋๋ pip install ๋ก ํ๋ ๋ฌธ์ ์์ด cuda ์ฌ์ฉ ๊ฐ๋ฅํ๊ฒ ๋์๋ค.
OpenSlide lib ์ฌ์ฉ๋ฐฉ๋ฒ
๋ํ๋ง๋ค ํจํค์ง ๋ฒ์ ์ด์๊ฐ ์์ ์ ์๊ธฐ ๋๋ฌธ์ ๋ํ ์ฐธ์ฌํ ๋๋ง๋ค ๋ค๋ฅธ conda ํ๊ฒฝ์ ๋ง๋ค์ด์ฃผ๊ณ ์์ํ๋๊ฒ ์ข๋ค๊ณ ์๊ฐํ๋ค.
์๋ฃ ๋ํ์์ container๋ก ์งํํ๋ค๋ณด๋ ํ์ํ ํ์ผ๋ค์ ๊ฐ์ํ๊ฒฝ์ฒ๋ผ ์ค์นํ ํ ์ปจํ ์ด๋ ์ฌ์์์ ํ๋ฉด ๋ค ๋ ์๊ฐ ๋ฒ๋ฆฐ๋ค. ์ด์ ๋ฐ๋ผ ๋ง์ดํธ ๋ backup directory์ ์ค์น ๋ฐ ์ ์ฅ ํ ์ฌ์ฉํด์ผ ํ๋๋ฐ
1. Add chart.js and jquery (layouts.html) This is currently located at head, but later Iโve to move those scripts down to the end of the body tag. <!-- ...
Deploy Django Wep app - Pyhonanywhere
Django VScode Extension While I work with django-html files, everytime I had to type curly brackets and percentage sign. I found most popular django html ext...
Django Static & Debug Mode Keep in mind. If Debug = False, even though you correctly impletmented your static files, Django do not load any of your stati...
Basic Setting make project: $ django-admin startproject webproj
Model Django can have ORM (Object Relational DB) and sql.
MVT Pattern
1. Add chart.js and jquery (layouts.html) This is currently located at head, but later Iโve to move those scripts down to the end of the body tag. <!-- ...
Deploy Django Wep app - Pyhonanywhere
Django VScode Extension While I work with django-html files, everytime I had to type curly brackets and percentage sign. I found most popular django html ext...
Django Static & Debug Mode Keep in mind. If Debug = False, even though you correctly impletmented your static files, Django do not load any of your stati...
Basic Setting make project: $ django-admin startproject webproj
Model Django can have ORM (Object Relational DB) and sql.
MVT Pattern
์ ๋ฆฌํ ๊ฒ
Autoencoder
Get started Recommender Environment conda conda conda create -n fashion python=3.8 install pytorch c...
Sequential Data ํํ ๋ฒกํฐ์ ๋ฒกํฐ \(\boldsymbol{x} = (\boldsymbol{x}^{(1)}, \boldsymbol{x}^{(2)},\ldots ,\boldsymbol{x}^{(T)})^{T}\). ์ฌ์ ...
Objective Function Objective Funtion Vs. Loss Function(alias: Cost Function) โThe function we want to minimize or maximize is called the objective function, ...
Computer Visionโs Difficulties ๊ด์ ์ ๋ณํ๋ก ์ธํด ๊ฐ์ ๋์์ด๋ผ๋ ํฝ์ ๊ฐ์ด ๋ค๋ฆ. ๋ฐฐ๊ฒฝ๊ณผ ํผ์ฌ์ฒด์ ๊ตฌ๋ถ์ด ์ด๋ ค์. ์กฐ๋ช ์ ๋ฐ๋ฅธ ๋ณํ ๋์์ ๊ธฐํ์ ํํ ๊ฐ๋ ค์ง ํํ ๊ฐ์ ํด๋์ค์์์์ ๋ณํ๊ฐ ํผ
Code Snippet
Sequential Data ํํ ๋ฒกํฐ์ ๋ฒกํฐ \(\boldsymbol{x} = (\boldsymbol{x}^{(1)}, \boldsymbol{x}^{(2)},\ldots ,\boldsymbol{x}^{(T)})^{T}\). ์ฌ์ ...
Objective Function Objective Funtion Vs. Loss Function(alias: Cost Function) โThe function we want to minimize or maximize is called the objective function, ...
1. ์์ ๋ฐ๋ผํ๊ณ , ๊ฐ์ธ Github ์ ๋ฆฌํ๊ธฐ CNN
Computer Visionโs Difficulties ๊ด์ ์ ๋ณํ๋ก ์ธํด ๊ฐ์ ๋์์ด๋ผ๋ ํฝ์ ๊ฐ์ด ๋ค๋ฆ. ๋ฐฐ๊ฒฝ๊ณผ ํผ์ฌ์ฒด์ ๊ตฌ๋ถ์ด ์ด๋ ค์. ์กฐ๋ช ์ ๋ฐ๋ฅธ ๋ณํ ๋์์ ๊ธฐํ์ ํํ ๊ฐ๋ ค์ง ํํ ๊ฐ์ ํด๋์ค์์์์ ๋ณํ๊ฐ ํผ
ํผ์ ํธ๋ก ํผ์ ํธ๋ก ์ ๋์ ๋ด์ ์ ์ํ ์ ํ๊ณผ ํ์ฑํจ์์ ์ํ ๋น์ ํ์ ์ํด ์๋ฏธ๋ฅผ ๊ตฌ๋ถ. ๊ฒฐ๊ตญ์ ๊ณต๊ฐ์ ๋ถํ ์ ๋ง๋ ๋ค. ์ ํ๋์์์ w๋ผ๋ ๊ฐ์ค์น์ input์ ๋ด์ ํ๊ณ w์ projectionํ์๋, ๊ทธ ๊ฐ์ด 0์ด๋ฉด ์ง๊ตํ๋ ๊ฒ์ด๊ณ , 0์ ๊ธฐ์ค์ผ๋ก ๋น์ ํ์ ์์๋ก +1, -1๋ก ...
To do ํธ๋ฏธ๋ถ (partial derivative)
To do Gradient Boost XGBoost
Appendix Reference https://medium.datadriveninvestor.com/review-on-fast-rcnn-202c9eadd23b 2021 Lecture 15 Detection and Segmentation http://cs231n.stanfor...
ML ๋ชจ๋ธ ์ดํด๋ฅผ ์ํ ํ ๋ณต์กํ ML ๋ชจ๋ธ์ ์ดํดํ๊ธฐ ์ํด์ ๋ค์๊ณผ ๊ฐ์ ์์๋ฅผ ๋ฐ๋ผ๊ฐ ๊ฒ ์ด ๋ชจ๋ธ์ด ํ๋ ค๊ณ ํ๋ ๋ฌธ์ ๋ ๋ฌด์์ธ๊ฐ ์ถ๋ก ๋จ๊ณ๋ฅผ ๋จผ์ ์ดํด. โํ์ตโ๋ ๋ชจ๋ธ์ด ์ด๋ค โ์ ๋ ฅโ์ ๋ฐ์์ด ์ด๋ค โ์ถ๋ ฅโ์ ๊ณ์ฐํ๋์ง ํ์ ํ ๊ฒ ...
1๋ฒ๋ฌธ์ : https://direction-f.tistory.com/29 2๋ฒ๋ฌธ์ : http://yonghee.io/word-embedding-pytorchword2vec/
Word Embedding ๋จ์ด์ ์๋ฏธ๋ฅผ ์ด๋ป๊ฒ ๋ํ๋ผ ๊ฒ์ธ๊ฐ ์ข์ ํํ ๋ฐฉ์: ๋จ์ด๊ฐ์ ๊ด๊ณ๋ฅผ ์ ํํํ ์ ์์ด์ผ ํจ
๋ฌธ์ ๋ถ๋ฅ (Text Classification) ๋ฌธ์ ๋ถ๋ฅ๋ ์ ๋ ฅ์ผ๋ก ๋ฐ์, ํ ์คํธ๊ฐ ์ด๋ค ์ข ๋ฅ์ ๋ฒ์ฃผ์ ์ํ๋์ง๋ฅผ ๊ตฌ๋ถํ๋ ์์ ๋ค์ํ ๋ฌธ์ ๋ถ๋ฅ ๋ฌธ์ ๋ฌธ์์ ๋ฒ์ฃผ, ์ฃผ์ ๋ถ๋ฅ ์ด๋ฉ์ผ ์คํธ ๋ถ๋ฅ ๊ฐ์ฑ ๋ถ๋ฅ ์ธ์ด ๋ถ๋ฅ ...
์ธ์ด๋ชจ๋ธ ๋ค์ ๋ฌธ์ฅ ๋ค์์ ์ด์ด์ง ๋จ์ด๋? Please turn your homework in or the ? ๋ค์ ๋ ๋ฌธ์ฅ ์ค ๋ํ๋ ํ๋ฅ ์ด ๋ ๋์ ๊ฒ์? ...
Intro ์์ฐ์ด์ ์๋ฏธ๋ฅผ ์ปดํจํฐ๋ก ๋ถ์ํด์ ํน์ ์์ ์ ์ํด ์ฌ์ฉํ ์ ์๋๋ก ํ๋ ๊ฒ ์์ฉ๋ถ์ผ ๊ธฐ๊ณ๋ฒ์ญ ๊ฐ์ฑ๋ถ์ ๋ฌธ์๋ถ๋ฅ ์ง์์๋ต์์คํ ์ฑ๋ด ์ธ์ด์์ฑ ์์ฑ์ธ์ ์ถ์ฒ์์คํ ...
Embedded system
programming In programming language design, a first-class citizen (also type, object, entity, or value) in a given programming language is an entity which su...
python -m ipykernel install --user --name AI_hub_pre --display-name AI_hub_kernel
https://deeplearning.lipingyang.org/2018/03/29/run-jupyter-notebook-from-terminal-with-tmux/
extract tar
remote ssh์ remote container๋ก ์์ ํ๋ค๋ณด๋
Wget ๋งํฌ ์์ฑ(๋งํฌ๊ฐ ์๋ ๋ชจ๋ ์ฌ์ฉ์์๊ฒ ๊ณต๊ฐ) wget ์ฟ ํค ์ค์ ์ผ๋ก ๋ค์ด๋ก๋ wget --load-cookies ~/cookies.txt "https://docs.google.com/uc?export=download&confirm=$(wget -...
Week 2 - Understand the power of data Data-driven: Data-inspired: Explores different data sources to find out what they have in common. Algorithm: An algorit...
Week 1 - Problem-solving and effective questioning Structured thinking is the process of recognizing the current problem or situation, organizing available i...
Week 5 - The importance of fair business decisions
Week 4 - SQL What is a query?
Week 3 - Follow the data life cycle The life cycle of data is plan, capture, manage, analyze, archive and destroy.
Week 2 - Embrace your data analyst skills Curiosity Curiosity is all about wanting to learn something. Curious people usually seek out new chal...
TOC of 8 weeks course Foundations: Data, Data, Everywhere (this course) Ask Questions to Make Data-Driven Decisions Prepare Data for Exploration Pro...
Week 2 - Understand the power of data Data-driven: Data-inspired: Explores different data sources to find out what they have in common. Algorithm: An algorit...
Week 1 - Problem-solving and effective questioning Structured thinking is the process of recognizing the current problem or situation, organizing available i...
Week 5 - The importance of fair business decisions
Week 4 - SQL What is a query?
Week 3 - Follow the data life cycle The life cycle of data is plan, capture, manage, analyze, archive and destroy.
Week 2 - Embrace your data analyst skills Curiosity Curiosity is all about wanting to learn something. Curious people usually seek out new chal...
TOC of 8 weeks course Foundations: Data, Data, Everywhere (this course) Ask Questions to Make Data-Driven Decisions Prepare Data for Exploration Pro...
Week 2 - Understand the power of data Data-driven: Data-inspired: Explores different data sources to find out what they have in common. Algorithm: An algorit...
Week 1 - Problem-solving and effective questioning Structured thinking is the process of recognizing the current problem or situation, organizing available i...
Week 5 - The importance of fair business decisions
Week 4 - SQL What is a query?
Week 3 - Follow the data life cycle The life cycle of data is plan, capture, manage, analyze, archive and destroy.
Week 2 - Embrace your data analyst skills Curiosity Curiosity is all about wanting to learn something. Curious people usually seek out new chal...
TOC of 8 weeks course Foundations: Data, Data, Everywhere (this course) Ask Questions to Make Data-Driven Decisions Prepare Data for Exploration Pro...
Overall Entered around 2 weeks before the competition ends. Get used to implementing Detectron2 with custom data First Instance Segmentation Task
Detection Metrics Dice Coefficient \[Dice = \frac{2 |AโฉB|}{(|A|+|B|)} = \frac{2 TP}{(2 TP + FP + FN)}\]
Task: Semantic Segmentation of Body labels are come from DensePose. Using these body labels, inference body parts.
conda ๋ก ํ๊ฒฝ ๋ง๋ค์ด์ torch install์ conda๋ก ํ๋๋ cuda False๊ฐ ๋๋ฒ๋ ค์ ๋ฒ์ ๋ฌธ์ ์ธ์ค ์์๋๋ pip install ๋ก ํ๋ ๋ฌธ์ ์์ด cuda ์ฌ์ฉ ๊ฐ๋ฅํ๊ฒ ๋์๋ค.
OpenSlide lib ์ฌ์ฉ๋ฐฉ๋ฒ
๋ํ๋ง๋ค ํจํค์ง ๋ฒ์ ์ด์๊ฐ ์์ ์ ์๊ธฐ ๋๋ฌธ์ ๋ํ ์ฐธ์ฌํ ๋๋ง๋ค ๋ค๋ฅธ conda ํ๊ฒฝ์ ๋ง๋ค์ด์ฃผ๊ณ ์์ํ๋๊ฒ ์ข๋ค๊ณ ์๊ฐํ๋ค.
์๋ฃ ๋ํ์์ container๋ก ์งํํ๋ค๋ณด๋ ํ์ํ ํ์ผ๋ค์ ๊ฐ์ํ๊ฒฝ์ฒ๋ผ ์ค์นํ ํ ์ปจํ ์ด๋ ์ฌ์์์ ํ๋ฉด ๋ค ๋ ์๊ฐ ๋ฒ๋ฆฐ๋ค. ์ด์ ๋ฐ๋ผ ๋ง์ดํธ ๋ backup directory์ ์ค์น ๋ฐ ์ ์ฅ ํ ์ฌ์ฉํด์ผ ํ๋๋ฐ
Spark ์ด๋ Pandas์ ์คํ ๋ก์ด๋ ๋ฒ์ + SQL + Scikit-learn + Streaming
Live Session ์ปค๋ฆฌ์ด ์ด๋ค ๊ธฐ์ ์ ์๋๋๊ฐ ์๋ ๊ฒฐ๊ณผ๋ฅผ ๋ด๋๋ฐ ์ด์
GAP (Global Average Pooling) import torch.nn.functional as F x = F.adaptive_avg_pool2d(x, (1, 1))
CS & Calculus background
Underprediction \(t_{i}\): target label(i-th sample) \(y_{i}\): modelโs prediction
Live Session with ๊ฐ์ฐฝ์ฑ ๋ฐ์ฌ๋
Sequential Data ํํ ๋ฒกํฐ์ ๋ฒกํฐ \(\boldsymbol{x} = (\boldsymbol{x}^{(1)}, \boldsymbol{x}^{(2)},\ldots ,\boldsymbol{x}^{(T)})^{T}\). ์ฌ์ ...
Objective Function Objective Funtion Vs. Loss Function(alias: Cost Function) โThe function we want to minimize or maximize is called the objective function, ...
Computer Visionโs Difficulties ๊ด์ ์ ๋ณํ๋ก ์ธํด ๊ฐ์ ๋์์ด๋ผ๋ ํฝ์ ๊ฐ์ด ๋ค๋ฆ. ๋ฐฐ๊ฒฝ๊ณผ ํผ์ฌ์ฒด์ ๊ตฌ๋ถ์ด ์ด๋ ค์. ์กฐ๋ช ์ ๋ฐ๋ฅธ ๋ณํ ๋์์ ๊ธฐํ์ ํํ ๊ฐ๋ ค์ง ํํ ๊ฐ์ ํด๋์ค์์์์ ๋ณํ๊ฐ ํผ
ํผ์ ํธ๋ก ํผ์ ํธ๋ก ์ ๋์ ๋ด์ ์ ์ํ ์ ํ๊ณผ ํ์ฑํจ์์ ์ํ ๋น์ ํ์ ์ํด ์๋ฏธ๋ฅผ ๊ตฌ๋ถ. ๊ฒฐ๊ตญ์ ๊ณต๊ฐ์ ๋ถํ ์ ๋ง๋ ๋ค. ์ ํ๋์์์ w๋ผ๋ ๊ฐ์ค์น์ input์ ๋ด์ ํ๊ณ w์ projectionํ์๋, ๊ทธ ๊ฐ์ด 0์ด๋ฉด ์ง๊ตํ๋ ๊ฒ์ด๊ณ , 0์ ๊ธฐ์ค์ผ๋ก ๋น์ ํ์ ์์๋ก +1, -1๋ก ...
To do ํธ๋ฏธ๋ถ (partial derivative)
To do Gradient Boost XGBoost
Task: Object Detection of Small Intesine Lesion
Detectron
Appendix Reference https://medium.datadriveninvestor.com/review-on-fast-rcnn-202c9eadd23b 2021 Lecture 15 Detection and Segmentation http://cs231n.stanfor...
ML ๋ชจ๋ธ ์ดํด๋ฅผ ์ํ ํ ๋ณต์กํ ML ๋ชจ๋ธ์ ์ดํดํ๊ธฐ ์ํด์ ๋ค์๊ณผ ๊ฐ์ ์์๋ฅผ ๋ฐ๋ผ๊ฐ ๊ฒ ์ด ๋ชจ๋ธ์ด ํ๋ ค๊ณ ํ๋ ๋ฌธ์ ๋ ๋ฌด์์ธ๊ฐ ์ถ๋ก ๋จ๊ณ๋ฅผ ๋จผ์ ์ดํด. โํ์ตโ๋ ๋ชจ๋ธ์ด ์ด๋ค โ์ ๋ ฅโ์ ๋ฐ์์ด ์ด๋ค โ์ถ๋ ฅโ์ ๊ณ์ฐํ๋์ง ํ์ ํ ๊ฒ ...
1๋ฒ๋ฌธ์ : https://direction-f.tistory.com/29 2๋ฒ๋ฌธ์ : http://yonghee.io/word-embedding-pytorchword2vec/
Word Embedding ๋จ์ด์ ์๋ฏธ๋ฅผ ์ด๋ป๊ฒ ๋ํ๋ผ ๊ฒ์ธ๊ฐ ์ข์ ํํ ๋ฐฉ์: ๋จ์ด๊ฐ์ ๊ด๊ณ๋ฅผ ์ ํํํ ์ ์์ด์ผ ํจ
๋ฌธ์ ๋ถ๋ฅ (Text Classification) ๋ฌธ์ ๋ถ๋ฅ๋ ์ ๋ ฅ์ผ๋ก ๋ฐ์, ํ ์คํธ๊ฐ ์ด๋ค ์ข ๋ฅ์ ๋ฒ์ฃผ์ ์ํ๋์ง๋ฅผ ๊ตฌ๋ถํ๋ ์์ ๋ค์ํ ๋ฌธ์ ๋ถ๋ฅ ๋ฌธ์ ๋ฌธ์์ ๋ฒ์ฃผ, ์ฃผ์ ๋ถ๋ฅ ์ด๋ฉ์ผ ์คํธ ๋ถ๋ฅ ๊ฐ์ฑ ๋ถ๋ฅ ์ธ์ด ๋ถ๋ฅ ...
์ธ์ด๋ชจ๋ธ ๋ค์ ๋ฌธ์ฅ ๋ค์์ ์ด์ด์ง ๋จ์ด๋? Please turn your homework in or the ? ๋ค์ ๋ ๋ฌธ์ฅ ์ค ๋ํ๋ ํ๋ฅ ์ด ๋ ๋์ ๊ฒ์? ...
Intro ์์ฐ์ด์ ์๋ฏธ๋ฅผ ์ปดํจํฐ๋ก ๋ถ์ํด์ ํน์ ์์ ์ ์ํด ์ฌ์ฉํ ์ ์๋๋ก ํ๋ ๊ฒ ์์ฉ๋ถ์ผ ๊ธฐ๊ณ๋ฒ์ญ ๊ฐ์ฑ๋ถ์ ๋ฌธ์๋ถ๋ฅ ์ง์์๋ต์์คํ ์ฑ๋ด ์ธ์ด์์ฑ ์์ฑ์ธ์ ์ถ์ฒ์์คํ ...
์ฝ๋ ๊ตฌํ ์์น ์๋์ฝ๋๋ณด๊ณ ๊ตฌํ ์คํจ์, ์ฝ๋๋ณด๊ณ ์ฝ๋ฉํธ ๋ฌ๊ณ ์์ฑํด๋ณด๊ธฐ ์ฌ๊ท๋ก ๊ตฌํ ์์ฑ iterative version ๊ตฌํํ๊ธฐ
Pseudo Code
Pseudo Code ๊ธฐ์ค์ (pivot)์ ์ ํ๋ค. (4๊ฐ์ง ๋ฐฉ๋ฒ ์กด์ฌ) Always pick first element as pivot. Always pick last element as pivot (implemented below) ...
Pseudo Code adjacent elements ๋ผ๋ฆฌ ๋น๊ตํ๋ค. ์ด๋ป๊ฒ sorted๊ฐ ๋์๋์ง ํ๋จํ๋๊ฐ(์ข ๋ฃ์กฐ๊ฑด) 2-1. ์ฒซ pass๋ฅผ ํต๊ณผํ๋ฉด ๋ง์ง๋ง ์์๋ ๋ฌด์กฐ๊ฑด ๊ฐ์ฅ ํฐ ์์๊ฐ ๋จ 2-2. ๋ฐ๋ผ์ pass ํ ๋๋ง๋ค ๋ค์์๋ถํฐ ์ ๋ ฌ์ด ๋๋ ์๊ณ ๋ฆฌ์ฆ 2-...
Backtracking ๋ํ ๋ฌธ์ Backtracking ๋ํ์ ๋ฌธ์ ๋ผ๊ณ ํ๋ค.
commit์ resetํด์ ์ด์ commit ์ง์ ์ผ๋ก ๋์๊ฐ ํ์๊ฐ ์๋ ๊ฒฝ์ฐ๊ฐ ์กด์ฌํ๋ค.
๋ค๋ฅธ branch๋ก checkout ํ ๋ submodule ์ด ์์ ๊ฒฝ์ฐ submodule init์ ํด์ฃผ๊ณ update โrecursive๋ฅผ ํด์ค์ผ ํจ.
ํน์ commit์ผ๋ก ๋ถํฐ ์๋ก์ด ๋ธ๋์น๋ฅผ checkout ํ๋ cmd
git credential๋ก ์ํธํค ๋งค๋ฒ ์ ๋ ฅ์ํด๋ ์จ๊ธด์ํ์์ git clone ๊ฐ๋ฅํ๊ฒ ํ ์ ์๋ค.
Git Pull Request ๋ค ์ ๊ณ ๋ณด๋ ๋๋ฌด ์์ธํ๊ฒ ์ ์ ๊ฒ ๊ฐ๊ธฐ๋ ํ๋ค.
์์ 1 ๋ฆฌ๋ทฐ ์ฌ์ฉ์๋ณ๋ก ์ฒ์ ์ฑ๋๊ณผ ๋ง์ง๋ง ์ฑ๋ ์์๋ด๊ธฐ ROW_NUMBER vs. FIRST_VALUE/LAST_VALUE ์ฌ์ฉ์ 251๋ฒ์ ์๊ฐ์์ผ๋ก ๋ดค์ ๋ ์ฒซ ๋ฒ์งธ ์ฑ๋๊ณผ ๋ง์ง๋ง ์ฑ๋์ ๋ฌด์์ธ๊ฐ? ์๋ ์ฟผ๋ฆฌ๋ฅผ ์คํํด์ ์ฒ์๊ณผ ๋ง์ง๋ง ์ฑ๋์ ๋ณด๋ฉด ...
JOIN SQL ์กฐ์ธ์ ๋ ๊ฐ ํน์ ๊ทธ ์ด์์ ํ ์ด๋ธ๋ค์ ๊ณตํต ํ๋๋ฅผ ๊ฐ์ง๊ณ MERGE ํ๋๋ฐ ์ฌ์ฉ๋จ. ์ด๋ ์คํ ์คํค๋ง๋ก ๊ตฌ์ฑ๋ ํ ์ด๋ธ๋ค๋ก ๋ถ์ฐ๋์ด ์๋ ์ ๋ณด๋ฅผ ํตํฉํ๋ ๋ฐ ์ฌ์ฉ. JOIN์ ๊ฒฐ๊ณผ๋ ๋ฐฉ์์ ์๊ด์์ด ์์ชฝ์ ํ๋๋ฅผ ๋ชจ๋ ๊ฐ์ง ์๋ก์ด ํ ์ด๋ธ์ ๋ง๋ค์ด๋ด๊ฒ ๋จ. ์กฐ...
GROUP BY์ AGGREGATE ํจ์ ํ ์ด๋ธ์ ๋ ์ฝ๋๋ฅผ ๊ทธ๋ฃนํํ์ฌ ๊ทธ๋ฃน๋ณ๋ก ๋ค์ํ ์ ๋ณด๋ฅผ ๊ณ์ฐ ์ด๋ ๋ ๋จ๊ณ๋ก ์ด๋ฃจ์ด์ง ๊ทธ๋ฃนํ์ ํ ํ๋๋ฅผ ๊ฒฐ์ (ํ๋ ์ด์์ ํ๋๊ฐ ๋ ์ ์์) GROUP BY๋ก ์ง์ (ํ๋ ์ด๋ฆ...
Redshift ๋ก ์น ๋ฐ๋ชจ ์์ ํ ์ด๋ธ ์๊ฐ ์ฌ์ฉ์ ID: ์น์๋น์ค์์ ๋ฑ๋ก๋ ์ฌ์ฉ์๋ง๋ค ๋ถ์ฌํ๋ ์ ์ผํ ID ์ธ์ ID: ์ธ์ ๋ง๋ค ๋ถ์ฌ๋๋ ID ์ธ์ : ์ฌ์ฉ์์ ๋ฐฉ๋ฌธ์ ๋ ผ๋ฆฌ์ ์ธ ๋จ์๋ก ๋๋ ๊ฒ ์ฌ์ฉ์๊ฐ ๋ฐฉ๋ฌธ ํ 30๋ถ...
SQL์ ์ค์์ฑ ๋ฐ์ดํฐ ๊ด๋ จ 3๊ฐ์ ์ง๊ตฐ ๋ฐ์ดํฐ ์์ง๋์ด Python, Java/Scalar SQL, DB ETL/ELT(airflow, DBT) Spark, Hadoop ๋ฐ์ดํฐ ๋ถ์๊ฐ ...
์์ 1 ๋ฆฌ๋ทฐ ์ฌ์ฉ์๋ณ๋ก ์ฒ์ ์ฑ๋๊ณผ ๋ง์ง๋ง ์ฑ๋ ์์๋ด๊ธฐ ROW_NUMBER vs. FIRST_VALUE/LAST_VALUE ์ฌ์ฉ์ 251๋ฒ์ ์๊ฐ์์ผ๋ก ๋ดค์ ๋ ์ฒซ ๋ฒ์งธ ์ฑ๋๊ณผ ๋ง์ง๋ง ์ฑ๋์ ๋ฌด์์ธ๊ฐ? ์๋ ์ฟผ๋ฆฌ๋ฅผ ์คํํด์ ์ฒ์๊ณผ ๋ง์ง๋ง ์ฑ๋์ ๋ณด๋ฉด ...
JOIN SQL ์กฐ์ธ์ ๋ ๊ฐ ํน์ ๊ทธ ์ด์์ ํ ์ด๋ธ๋ค์ ๊ณตํต ํ๋๋ฅผ ๊ฐ์ง๊ณ MERGE ํ๋๋ฐ ์ฌ์ฉ๋จ. ์ด๋ ์คํ ์คํค๋ง๋ก ๊ตฌ์ฑ๋ ํ ์ด๋ธ๋ค๋ก ๋ถ์ฐ๋์ด ์๋ ์ ๋ณด๋ฅผ ํตํฉํ๋ ๋ฐ ์ฌ์ฉ. JOIN์ ๊ฒฐ๊ณผ๋ ๋ฐฉ์์ ์๊ด์์ด ์์ชฝ์ ํ๋๋ฅผ ๋ชจ๋ ๊ฐ์ง ์๋ก์ด ํ ์ด๋ธ์ ๋ง๋ค์ด๋ด๊ฒ ๋จ. ์กฐ...
GROUP BY์ AGGREGATE ํจ์ ํ ์ด๋ธ์ ๋ ์ฝ๋๋ฅผ ๊ทธ๋ฃนํํ์ฌ ๊ทธ๋ฃน๋ณ๋ก ๋ค์ํ ์ ๋ณด๋ฅผ ๊ณ์ฐ ์ด๋ ๋ ๋จ๊ณ๋ก ์ด๋ฃจ์ด์ง ๊ทธ๋ฃนํ์ ํ ํ๋๋ฅผ ๊ฒฐ์ (ํ๋ ์ด์์ ํ๋๊ฐ ๋ ์ ์์) GROUP BY๋ก ์ง์ (ํ๋ ์ด๋ฆ...
Redshift ๋ก ์น ๋ฐ๋ชจ ์์ ํ ์ด๋ธ ์๊ฐ ์ฌ์ฉ์ ID: ์น์๋น์ค์์ ๋ฑ๋ก๋ ์ฌ์ฉ์๋ง๋ค ๋ถ์ฌํ๋ ์ ์ผํ ID ์ธ์ ID: ์ธ์ ๋ง๋ค ๋ถ์ฌ๋๋ ID ์ธ์ : ์ฌ์ฉ์์ ๋ฐฉ๋ฌธ์ ๋ ผ๋ฆฌ์ ์ธ ๋จ์๋ก ๋๋ ๊ฒ ์ฌ์ฉ์๊ฐ ๋ฐฉ๋ฌธ ํ 30๋ถ...
SQL์ ์ค์์ฑ ๋ฐ์ดํฐ ๊ด๋ จ 3๊ฐ์ ์ง๊ตฐ ๋ฐ์ดํฐ ์์ง๋์ด Python, Java/Scalar SQL, DB ETL/ELT(airflow, DBT) Spark, Hadoop ๋ฐ์ดํฐ ๋ถ์๊ฐ ...
Spark MLlib ๋ชจ๋ธ ํ๋ ์๊ฐ Spark MLlib ๋ชจ๋ธ ํ๋ ์ต์ ์ ํ์ดํผ ํ๋ผ๋ฏธํฐ ์ ํ ์ต์ ์ ๋ชจ๋ธ ํน์ ๋ชจ๋ธ์ ํ๋ผ๋ฏธํฐ๋ฅผ ์ฐพ๋ ๊ฒ์ด ์์ฃผ ์ค์ ํ๋์ฉ ํ ์คํธํด๋ณด๋ ๊ฒ vs. ๋ค์๋ฅผ ๋์ ํ ์คํธ ํ๋ ๊ฒ ๋ชจ๋ธ ์ ํ์ ์ค์ํ ...
Spark MLlib ์๊ฐ ๋จธ์ ๋ฌ๋ ๊ด๋ จ ๋ค์ํ ์๊ณ ๋ฆฌ์ฆ, ์ ํธ๋ฆฌํฐ๋ก ๊ตฌ์ฑ๋ ๋ผ์ด๋ธ๋ฌ๋ฆฌ Classification, Regression, Clustering, Collaborative Filtering, Dimensionality Reduction, โฆ ...
์ปค๋ฆฌ์ด ์ด์ผ๊ธฐ ๋จ๊ณผ ๋น๊ตํ์ง ๋ง๊ณ ์์ผ๋ก 20-30๋ ์ ๋ณด๊ธฐ ํ๋๋ฅผ ํ๊ธฐ๋ก ํ์ผ๋ฉด ์ ์ด๋ 6๊ฐ์์ ํ๊ณ ๋ค๊ธฐ ๋๋ฌด ๋นจ๋ฆฌ ํฌ๊ธฐํ์ง ์๊ธฐ ๋ญ๊ฐ ์ ์๋๋ฉด ์๋๋ฅด๊ธฐ ๋ณด๋ค๋ ์คํ๋ ค ์ฒ์ฒํ ๊ฐ๊ธฐ ๊ณต๋ถ๋ฅผ ์ํ ๊ณต๋ถ๋ฅผ ํ๊ธฐ ๋ณด๋ค๋ ์ผ์ ...
๋น ๋ฐ์ดํฐ ๊ธฐ์ ์ด๋ Spark ์๊ฐ ํ๋ค์ค์ ๋น๊ต Spark ์ค์ต
๋ฐ์ดํฐ ํ์ ์ญํ ๋ฐ์ดํฐ ํ์ ๋ฏธ์ ์ ๋ขฐํ ์ ์๋ ๋ฐ์ดํฐ๋ฅผ ๋ฐํ์ผ๋ก ๋ถ๊ฐ๊ฐ์น ์์ฑ
Spark MLlib ๋ชจ๋ธ ํ๋ ์๊ฐ Spark MLlib ๋ชจ๋ธ ํ๋ ์ต์ ์ ํ์ดํผ ํ๋ผ๋ฏธํฐ ์ ํ ์ต์ ์ ๋ชจ๋ธ ํน์ ๋ชจ๋ธ์ ํ๋ผ๋ฏธํฐ๋ฅผ ์ฐพ๋ ๊ฒ์ด ์์ฃผ ์ค์ ํ๋์ฉ ํ ์คํธํด๋ณด๋ ๊ฒ vs. ๋ค์๋ฅผ ๋์ ํ ์คํธ ํ๋ ๊ฒ ๋ชจ๋ธ ์ ํ์ ์ค์ํ ...
Spark MLlib ์๊ฐ ๋จธ์ ๋ฌ๋ ๊ด๋ จ ๋ค์ํ ์๊ณ ๋ฆฌ์ฆ, ์ ํธ๋ฆฌํฐ๋ก ๊ตฌ์ฑ๋ ๋ผ์ด๋ธ๋ฌ๋ฆฌ Classification, Regression, Clustering, Collaborative Filtering, Dimensionality Reduction, โฆ ...
์ปค๋ฆฌ์ด ์ด์ผ๊ธฐ ๋จ๊ณผ ๋น๊ตํ์ง ๋ง๊ณ ์์ผ๋ก 20-30๋ ์ ๋ณด๊ธฐ ํ๋๋ฅผ ํ๊ธฐ๋ก ํ์ผ๋ฉด ์ ์ด๋ 6๊ฐ์์ ํ๊ณ ๋ค๊ธฐ ๋๋ฌด ๋นจ๋ฆฌ ํฌ๊ธฐํ์ง ์๊ธฐ ๋ญ๊ฐ ์ ์๋๋ฉด ์๋๋ฅด๊ธฐ ๋ณด๋ค๋ ์คํ๋ ค ์ฒ์ฒํ ๊ฐ๊ธฐ ๊ณต๋ถ๋ฅผ ์ํ ๊ณต๋ถ๋ฅผ ํ๊ธฐ ๋ณด๋ค๋ ์ผ์ ...
๋น ๋ฐ์ดํฐ ๊ธฐ์ ์ด๋ Spark ์๊ฐ ํ๋ค์ค์ ๋น๊ต Spark ์ค์ต
๋ฐ์ดํฐ ํ์ ์ญํ ๋ฐ์ดํฐ ํ์ ๋ฏธ์ ์ ๋ขฐํ ์ ์๋ ๋ฐ์ดํฐ๋ฅผ ๋ฐํ์ผ๋ก ๋ถ๊ฐ๊ฐ์น ์์ฑ
Spark MLlib ๋ชจ๋ธ ํ๋ ์๊ฐ Spark MLlib ๋ชจ๋ธ ํ๋ ์ต์ ์ ํ์ดํผ ํ๋ผ๋ฏธํฐ ์ ํ ์ต์ ์ ๋ชจ๋ธ ํน์ ๋ชจ๋ธ์ ํ๋ผ๋ฏธํฐ๋ฅผ ์ฐพ๋ ๊ฒ์ด ์์ฃผ ์ค์ ํ๋์ฉ ํ ์คํธํด๋ณด๋ ๊ฒ vs. ๋ค์๋ฅผ ๋์ ํ ์คํธ ํ๋ ๊ฒ ๋ชจ๋ธ ์ ํ์ ์ค์ํ ...
Spark MLlib ์๊ฐ ๋จธ์ ๋ฌ๋ ๊ด๋ จ ๋ค์ํ ์๊ณ ๋ฆฌ์ฆ, ์ ํธ๋ฆฌํฐ๋ก ๊ตฌ์ฑ๋ ๋ผ์ด๋ธ๋ฌ๋ฆฌ Classification, Regression, Clustering, Collaborative Filtering, Dimensionality Reduction, โฆ ...
์ปค๋ฆฌ์ด ์ด์ผ๊ธฐ ๋จ๊ณผ ๋น๊ตํ์ง ๋ง๊ณ ์์ผ๋ก 20-30๋ ์ ๋ณด๊ธฐ ํ๋๋ฅผ ํ๊ธฐ๋ก ํ์ผ๋ฉด ์ ์ด๋ 6๊ฐ์์ ํ๊ณ ๋ค๊ธฐ ๋๋ฌด ๋นจ๋ฆฌ ํฌ๊ธฐํ์ง ์๊ธฐ ๋ญ๊ฐ ์ ์๋๋ฉด ์๋๋ฅด๊ธฐ ๋ณด๋ค๋ ์คํ๋ ค ์ฒ์ฒํ ๊ฐ๊ธฐ ๊ณต๋ถ๋ฅผ ์ํ ๊ณต๋ถ๋ฅผ ํ๊ธฐ ๋ณด๋ค๋ ์ผ์ ...
๋น ๋ฐ์ดํฐ ๊ธฐ์ ์ด๋ Spark ์๊ฐ ํ๋ค์ค์ ๋น๊ต Spark ์ค์ต
๋ฐ์ดํฐ ํ์ ์ญํ ๋ฐ์ดํฐ ํ์ ๋ฏธ์ ์ ๋ขฐํ ์ ์๋ ๋ฐ์ดํฐ๋ฅผ ๋ฐํ์ผ๋ก ๋ถ๊ฐ๊ฐ์น ์์ฑ
Sorting
์ฝ๋ ๊ตฌํ ์์น ์๋์ฝ๋๋ณด๊ณ ๊ตฌํ ์คํจ์, ์ฝ๋๋ณด๊ณ ์ฝ๋ฉํธ ๋ฌ๊ณ ์์ฑํด๋ณด๊ธฐ ์ฌ๊ท๋ก ๊ตฌํ ์์ฑ iterative version ๊ตฌํํ๊ธฐ
Pseudo Code
Pseudo Code ๊ธฐ์ค์ (pivot)์ ์ ํ๋ค. (4๊ฐ์ง ๋ฐฉ๋ฒ ์กด์ฌ) Always pick first element as pivot. Always pick last element as pivot (implemented below) ...
Pseudo Code adjacent elements ๋ผ๋ฆฌ ๋น๊ตํ๋ค. ์ด๋ป๊ฒ sorted๊ฐ ๋์๋์ง ํ๋จํ๋๊ฐ(์ข ๋ฃ์กฐ๊ฑด) 2-1. ์ฒซ pass๋ฅผ ํต๊ณผํ๋ฉด ๋ง์ง๋ง ์์๋ ๋ฌด์กฐ๊ฑด ๊ฐ์ฅ ํฐ ์์๊ฐ ๋จ 2-2. ๋ฐ๋ผ์ pass ํ ๋๋ง๋ค ๋ค์์๋ถํฐ ์ ๋ ฌ์ด ๋๋ ์๊ณ ๋ฆฌ์ฆ 2-...
Numpy
Numpy Array Broadcasting
In Linear Algebra Course, SVD is one of matrix decomposition methods. (such as LU, QR)
Entropy
du -bh --max-depth=1 | sort -hr | head
This study is based on the book Understanding Linux network internals.
extract tar
Check current default shell ps -p $$ # or echo $0 # in my case # /bin/bash
MLOps ๋ฐ๋ณต์ ์ธ ์์ ์ ํด์ํ ์ ์๋ ๋ฐฉ๋ฒ์ด๋ฉด ๋ค MLOps ์ ์์ญ์ผ๋ก ๊ฐ์ฃผํ๋ค.
clone proj from gitlab
Git lab runner๋ก ์ด์ฃผ ์์
https://docs.github.com/en/actions/hosting-your-own-runners/about-self-hosted-runners
make test_run.py to pass with python uniitest 1-1. make cicd variables in settings.
DIND
bitbucket ์ฉ์ผ๋ก ssh๋ฅผ ํ๋๋ง ์ฐ๋ค๊ฐ
Git lab runner๋ก ์ด์ฃผ ์์
Go to setting: ctrl + , search: workbench.editor.wrapTabs Turn to True(as checked)
sudo apt-get update sudo apt-get install code
Remote-ssh VScode install VSCODE press F1 Find Remote-SSH: Connect current window to Host (or Remote-SSH: Connect to Host) ๋ง์ฝ ์ต์ด config ๋ง๋ค์ด์ผ ๋๋ฉด 4-1...
Problem After unexpectedly reload vscode for updating vscode, as I served jekyll from local host by bundle exec jekyll serve, jekyll 3.9.1 | Error: Address ...
Failed so far.. with Jupyter Lab
While writing django code snippet, I found that it hides double curly brackets( {{}} ). Since Jekyll uses the Liquid templating language to process templates...
1. Add chart.js and jquery (layouts.html) This is currently located at head, but later Iโve to move those scripts down to the end of the body tag. <!-- ...
Deploy Django Wep app - Pyhonanywhere
Django VScode Extension While I work with django-html files, everytime I had to type curly brackets and percentage sign. I found most popular django html ext...
conda ๋ก ํ๊ฒฝ ๋ง๋ค์ด์ torch install์ conda๋ก ํ๋๋ cuda False๊ฐ ๋๋ฒ๋ ค์ ๋ฒ์ ๋ฌธ์ ์ธ์ค ์์๋๋ pip install ๋ก ํ๋ ๋ฌธ์ ์์ด cuda ์ฌ์ฉ ๊ฐ๋ฅํ๊ฒ ๋์๋ค.
OpenSlide lib ์ฌ์ฉ๋ฐฉ๋ฒ
์๋ฃ ๋ํ์์ container๋ก ์งํํ๋ค๋ณด๋ ํ์ํ ํ์ผ๋ค์ ๊ฐ์ํ๊ฒฝ์ฒ๋ผ ์ค์นํ ํ ์ปจํ ์ด๋ ์ฌ์์์ ํ๋ฉด ๋ค ๋ ์๊ฐ ๋ฒ๋ฆฐ๋ค. ์ด์ ๋ฐ๋ผ ๋ง์ดํธ ๋ backup directory์ ์ค์น ๋ฐ ์ ์ฅ ํ ์ฌ์ฉํด์ผ ํ๋๋ฐ
Flask run as debug mode $ export FLASK_ENV=development $ flask run if not set as dev mode, need to keep restart flask like: $ flask run
Flask and SQLAlchemy - RESTful APIs - connect to DB Flask Shell - create db fist Run Flask Shell on conda env or venv: flask shell ```flask f...
Flask run as debug mode $ export FLASK_ENV=development $ flask run if not set as dev mode, need to keep restart flask like: $ flask run
Flask and SQLAlchemy - RESTful APIs - connect to DB Flask Shell - create db fist Run Flask Shell on conda env or venv: flask shell ```flask f...
Deep Learning Modelโs Outcome is the Probability of the Variable X
Deep Learning Modelโs Outcome is the Probability of the Variable X
Appendix Reference https://vivek-singh.medium.com/an-introduction-to-gradient-descent-54775b55ba4f https://jermwatt.github.io/machine_learning_refined/not...
์ ์ ํ๋์๋ฅผ ์์์ผ ํ๋๊ฐ?
๊ฐ์ฐ์์ ๋ถํฌ (Gaussian Distribution)
๋ฐ๋์ถ์ (Density Estimation) \(N\)๊ฐ์ ๊ด์ฐฐ๋ฐ์ดํฐ(observations) \(\mathbf{x}_1,\ldots\mathbf{x}_N\)๊ฐ ์ฃผ์ด์ก์ ๋ ๋ถํฌํจ์ \(p(\mathbf{x})\)๋ฅผ ์ฐพ๋ ๊ฒ
1๋ฒ๋ฌธ์ : https://direction-f.tistory.com/29 2๋ฒ๋ฌธ์ : http://yonghee.io/word-embedding-pytorchword2vec/
This assignment basically comes from cs231n. https://cs231n.github.io/assignments2021/assignment1/#q1-k-nearest-neighbor-classifier
์ ํ๋ถ๋ฅ์ ๋ชฉํ์ ๋ฐฉ๋ฒ๋ค
Optimizers https://youtu.be/mdKjMPmcWjY
Autoencoder
Spark MLlib ๋ชจ๋ธ ํ๋ ์๊ฐ Spark MLlib ๋ชจ๋ธ ํ๋ ์ต์ ์ ํ์ดํผ ํ๋ผ๋ฏธํฐ ์ ํ ์ต์ ์ ๋ชจ๋ธ ํน์ ๋ชจ๋ธ์ ํ๋ผ๋ฏธํฐ๋ฅผ ์ฐพ๋ ๊ฒ์ด ์์ฃผ ์ค์ ํ๋์ฉ ํ ์คํธํด๋ณด๋ ๊ฒ vs. ๋ค์๋ฅผ ๋์ ํ ์คํธ ํ๋ ๊ฒ ๋ชจ๋ธ ์ ํ์ ์ค์ํ ...
Spark MLlib ์๊ฐ ๋จธ์ ๋ฌ๋ ๊ด๋ จ ๋ค์ํ ์๊ณ ๋ฆฌ์ฆ, ์ ํธ๋ฆฌํฐ๋ก ๊ตฌ์ฑ๋ ๋ผ์ด๋ธ๋ฌ๋ฆฌ Classification, Regression, Clustering, Collaborative Filtering, Dimensionality Reduction, โฆ ...
SSH key trouble shooting โbuild-arg ssh_prv_key=โ$(cat ~/.ssh/id_rsa)โ stargan
create pipeline write bitbucket-pipelines.yml commit pipelines.yml file run docker at local (test runners in local env) ...
python -m ipykernel install --user --name AI_hub_pre --display-name AI_hub_kernel
https://deeplearning.lipingyang.org/2018/03/29/run-jupyter-notebook-from-terminal-with-tmux/
make test_run.py to pass with python uniitest 1-1. make cicd variables in settings.
DIND
https://ansohxxn.github.io/blog/scrollbar/
https://ansohxxn.github.io/blog/category/
Python GMP
programming In programming language design, a first-class citizen (also type, object, entity, or value) in a given programming language is an entity which su...
Task: Semantic Segmentation of Body labels are come from DensePose. Using these body labels, inference body parts.
๋ํ๋ง๋ค ํจํค์ง ๋ฒ์ ์ด์๊ฐ ์์ ์ ์๊ธฐ ๋๋ฌธ์ ๋ํ ์ฐธ์ฌํ ๋๋ง๋ค ๋ค๋ฅธ conda ํ๊ฒฝ์ ๋ง๋ค์ด์ฃผ๊ณ ์์ํ๋๊ฒ ์ข๋ค๊ณ ์๊ฐํ๋ค.
Detection Metrics Dice Coefficient \[Dice = \frac{2 |AโฉB|}{(|A|+|B|)} = \frac{2 TP}{(2 TP + FP + FN)}\]
Task: Object Detection of Small Intesine Lesion
Go to conda.sh location such as C:\Users\{your_username}\anaconda3\etc\profile.d Open git bash here by right click as Git ...
conda env export > environment.yaml or
Backtracking ๋ํ ๋ฌธ์ Backtracking ๋ํ์ ๋ฌธ์ ๋ผ๊ณ ํ๋ค.
Remote-ssh VScode install VSCODE press F1 Find Remote-SSH: Connect current window to Host (or Remote-SSH: Connect to Host) ๋ง์ฝ ์ต์ด config ๋ง๋ค์ด์ผ ๋๋ฉด 4-1...
While writing django code snippet, I found that it hides double curly brackets( {{}} ). Since Jekyll uses the Liquid templating language to process templates...
Deploy Django Wep app - Pyhonanywhere
Minimal-Mistakes Style Sheet Structure Got a hint from: https://github.com/mmistakes/minimal-mistakes/issues/1583 ![](/images/image.jpg){: .align-right .wid...
Things to consider as an Interviewee
Things to consider as an Interviewee
Code Snippet
Deep Learning Modelโs Outcome is the Probability of the Variable X
Deep Learning Modelโs Outcome is the Probability of the Variable X
ํ์ด์๋: ๋ฐ์ฐ์ดํ์ธํธ: ๋ง๋ ์คํธ๋ ์ธ(ํ์์), ๋ง๋ ์ค์คํฌ์ธ (์ด๋์) ๊ฒ๋ดํธ๋ ์ธ
Reference https://masunii.github.io/blog_custom/top_button/
This assignment basically comes from cs231n. https://cs231n.github.io/assignments2021/assignment1/#q1-k-nearest-neighbor-classifier
์ ํ ๊ธฐ์ ํจ์ ๋ชจ๋ธ ๊ฐ์ฅ ๋จ์ํ ํํ์ ์ ํ๋ชจ๋ธ
```markdown go to header 1 go to header 2 go to header 3
Failed so far.. with Jupyter Lab
1. ์์ ๋ฐ๋ผํ๊ณ , ๊ฐ์ธ Github ์ ๋ฆฌํ๊ธฐ CNN
1. ์์ ๋ฐ๋ผํ๊ณ , ๊ฐ์ธ Github ์ ๋ฆฌํ๊ธฐ CNN
Sequential Data ํํ ๋ฒกํฐ์ ๋ฒกํฐ \(\boldsymbol{x} = (\boldsymbol{x}^{(1)}, \boldsymbol{x}^{(2)},\ldots ,\boldsymbol{x}^{(T)})^{T}\). ์ฌ์ ...
Wget ๋งํฌ ์์ฑ(๋งํฌ๊ฐ ์๋ ๋ชจ๋ ์ฌ์ฉ์์๊ฒ ๊ณต๊ฐ) wget ์ฟ ํค ์ค์ ์ผ๋ก ๋ค์ด๋ก๋ wget --load-cookies ~/cookies.txt "https://docs.google.com/uc?export=download&confirm=$(wget -...
remote ssh์ remote container๋ก ์์ ํ๋ค๋ณด๋
```py import os def changeName(path, cName): i = 1 for filename in os.listdir(path): print(path+filename, โ=>โ, path+str(cName)+str(i)+โ....
Regex ์์ฃผ ์ฌ์ฉํ๋ ๋ฌธ์ ํด๋์ค
Coco Annotator ์ค์น
Build web api with fast api framework on top of python with Celery distributed queue and RabbitMQ.
Build web api with fast api framework on top of python with Celery distributed queue and RabbitMQ.
Build web api with fast api framework on top of python with Celery distributed queue and RabbitMQ.
Redis with Docker get redis image from docker hub Docker image pull redis redis-cli์ ๊ฐ์ด ๊ตฌ๋ํด์ผ ๋จ. ๋ ์ปจํ ์ด๋๋ฅผ ์ฐ๊ฒฐ...
ํน์ commit์ผ๋ก ๋ถํฐ ์๋ก์ด ๋ธ๋์น๋ฅผ checkout ํ๋ cmd
ํน์ commit์ผ๋ก ๋ถํฐ ์๋ก์ด ๋ธ๋์น๋ฅผ checkout ํ๋ cmd
Coroutines and Tasks
Coroutines and Tasks
urllib.parse.unquote(string, encoding=โutf-8โ, errors=โreplaceโ) Replace %xx escapes with their single-character equivalent. The optional encoding and err...
urllib.parse.unquote(string, encoding=โutf-8โ, errors=โreplaceโ) Replace %xx escapes with their single-character equivalent. The optional encoding and err...
SSH key trouble shooting โbuild-arg ssh_prv_key=โ$(cat ~/.ssh/id_rsa)โ stargan
https://inmoonlight.github.io/2021/02/21/PyTorch-IterableDataset/
clone proj from gitlab
This study is based on the book Understanding Linux network internals.
Generative Adversarial Networks (GANs) Specialization offered by DeepLearning.AI
Generative Adversarial Networks (GANs) Specialization offered by DeepLearning.AI
Generative Adversarial Networks (GANs) Specialization offered by DeepLearning.AI
multiprocessing in Windows not working sinc
Embedded system
conda ๋ก ํ๊ฒฝ ๋ง๋ค์ด์ torch install์ conda๋ก ํ๋๋ cuda False๊ฐ ๋๋ฒ๋ ค์ ๋ฒ์ ๋ฌธ์ ์ธ์ค ์์๋๋ pip install ๋ก ํ๋ ๋ฌธ์ ์์ด cuda ์ฌ์ฉ ๊ฐ๋ฅํ๊ฒ ๋์๋ค.
conda env export > environment.yaml or
Overall Entered around 2 weeks before the competition ends. Get used to implementing Detectron2 with custom data First Instance Segmentation Task
Go to conda.sh location such as C:\Users\{your_username}\anaconda3\etc\profile.d Open git bash here by right click as Git ...
Go to conda.sh location such as C:\Users\{your_username}\anaconda3\etc\profile.d Open git bash here by right click as Git ...
Execute git bash by windows key command ssh-keygen Enter file in which to save the key (์์ฑ์์น ์ ํ๋ ํํธ) ๊ธฐ๋ณธ๊ฒฝ๋ก๋ก ํ ์์ ์ด๋ฏ๋ก ENTER ...
Execute git bash by windows key command ssh-keygen Enter file in which to save the key (์์ฑ์์น ์ ํ๋ ํํธ) ๊ธฐ๋ณธ๊ฒฝ๋ก๋ก ํ ์์ ์ด๋ฏ๋ก ENTER ...
Execute git bash by windows key command ssh-keygen Enter file in which to save the key (์์ฑ์์น ์ ํ๋ ํํธ) ๊ธฐ๋ณธ๊ฒฝ๋ก๋ก ํ ์์ ์ด๋ฏ๋ก ENTER ...
MLOps ๋ฐ๋ณต์ ์ธ ์์ ์ ํด์ํ ์ ์๋ ๋ฐฉ๋ฒ์ด๋ฉด ๋ค MLOps ์ ์์ญ์ผ๋ก ๊ฐ์ฃผํ๋ค.
์์ํ๊ฒ ๋ ์ด์ ๋์ฒด ๋ญ ์์ํ๋๋์ ๋ํ ๋ต์. ์๊ฐ์ ์ ๋ฆฌ ๋ฐ ์ด๋ฉด์ ๋๋ ์๊ฐ๋ค ๋ฐ ์ผํ๋ฉด์ ๋๊ผ๋ ๊ฒ์ ๋ํ ํ๊ณ ์ด๋ค. ์ ์์ํ๊ฒ ๋์๋๊ฐ. ์ผํ์ง 1๋ ์ด ์ง๋๊ณ ๋ด ๋ด์๋ ์ผํ๋ ํ๊ฒฝ๋ ํฌ๊ฒ ๋ฐ๋์ง ์์์ง๋ง, ์ข ์ ๊น์ง๋ ํผ์ ์ผํ๊ณ ์ฑ ์์ง๋ ํ๊ฒฝ์์ ์๋ง๋ ํ์๋ค์ ๊พธ...