분류 전체보기 (55) 썸네일형 리스트형 [논문리뷰] Regularization With Stochastic Transformation and Perturbations for Deep Semi-Supervised Learning 논문 링크 : https://proceedings.neurips.cc/paper/2016/hash/30ef30b64204a3088a26bc2e6ecf7602-Abstract.html Regularization With Stochastic Transformations and Perturbations for Deep Semi-Supervised Learning Requests for name changes in the electronic proceedings will be accepted with no questions asked. However name changes may cause bibliographic tracking issues. Authors are asked to consider this ca.. [논문리뷰] Federated Continual Learning with Weighted Inter-client Transfer 보호되어 있는 글입니다. [논문리뷰] Learning Without Forgetting(ECCV 2016) 해당 논문은 ECCV 2016에 실린 초창기 Continual learning에 관한 paper이다. 해당 논문은 새로운 task에 대해서 Continual한 상황에서 학습하는 방법을 제안한다. 이때 여러가지 방법을 사용할 수 있는데 기존의 method인 Fine-tuning, Feature Extraction, Joint Training과 논문에서 제안한 Learning without forgetting의 성능과 장단점을 비교한다. -Feature extraction 공유된 파라미터와 old task 파라미터는 건드리지 않고, 1개 또는 하나 이상의 output layer가 새로운 task에 대한 feature로써 사용되어진다. 이때, 새로운 task에 대해서 성능을 발휘하지 못하는데, 그 이유는 공유.. [강의정리] Lecture 6: Training Neural Networks, Part 1 -강의 영상 -Activation Fuctnion 강의에서 첫번째로 설명하는 Sigmoid는 가장 기본적인 activation function이다. 해당 비선형 함수는 간단하지만 몇가지 문제점을 가지고 있는데, 첫번째는 x값이 오른쪽과 왼쪽으로 조금만 가도 gradient값이 0이 되어서 gradient가 흐르지 않는 Saturated 문제가 발생한다. 두번째는 non-zero centered 문제인데, 해당 문제는 2번째 그림과 같이 gradient가 한쪽 방향만 가질 수 있어서 update가 느리게 된다. 해당 문제가 발생하는 원인은 local gradient X에 upstream gradient를 곱할경우, non-zero centered 이면, 이전 layer에서 넘어온 x값은 항상 양수 만을 가.. [강의정리] Lecture 5: Convolutional Neural Networks -강의 영상 - Introduction 강의 도입부에서는 CNN의 발전과정과 역사를 소개하고 간단한 application을 예로 들어준다. 해당 부분은 생략하며, 자세한 내용이 궁금할 경우 강의자료와 영상을 참고하면 된다. - Convolutional Neural Networks 앞선 강의들에서는 image를 처리할 때 32*32*3 크기의 input 이미지를 stretch 하여 3072*1로 변환하고 내적 연산을 수행했다. 이러한 연산을 Fully connected 연산이라 하는데, 이번 강의에서는 Convolution 연산을 수행하는 Convolution Layer에 대해서 소개한다. 해당 연산이 가지는 FC와의 차이점은 입력 차원의 구조를 그대로 보존시킨다는 것이다. 위를 보면 5*5*3 크기의 f.. [강의정리] Lecture 3: Loss Functions and Optimization - 강의 영상 -Linear classifier 강의에서는 Linear classifier를 통하여 현재 W가 좋은지, 구린지를 Loss function을 통해 정량적으로 수치화 시켜주는 방법을 소개하고, 이 때의 Loss function을 최소화 하는 W를 찾는 과정을 optimzation 과정이라 정의한다. 강의에서 정의한 Linear classifier는 들어온 입력 이미지 32*32*3 픽셀 크기의 이미지 벡터를 하나의 긴 벡터로 펼치고. 가중치 W벡터를 곱하여 최종 10개의 class score에 대한 값을 출력한다. 예시에서는 좀 더 simple한 상황을 고려하여 다음과 같이 3개의 class로 줄여서 예시를 든다. 위의 예시에서는 Loss function으로 "Hinge loss"를 사용하였.. 이전 1 2 3 4 5 6 7 8 ··· 10 다음
