DL (3) 썸네일형 리스트형 Grad-CAM 간단한 논문 리뷰 / 설명 가능한 AI 딥러닝의 가장 큰 문제점은 소위 말하는 '블랙박스'라는 점이다. 쉽게 말해 어떤 과정을 통해 이런 결과가 나왔는지 확인 할 수 없다는 것이다. 이러한 한계점으로 인해 딥러닝 사용을 꺼려하는 분야도 있다. 그래서 요즘 설명가능한 AI(XAI)가 주목을 받고 많은 연구들이 이뤄지고 있다. 그러한 연구 중 하나인 Grad-CAM을 소개해보고자 한다. 그래드 캠(Grad-CAM)은 CNN 모델에서 시각적으로 어떤 부분을 더 많이 봤는지 or 인식했는지를 시각적으로 확인 할 수 있는 획기적인 기법이다. 이전에 나왔던 CAM이라는 기법의 generalized 된 버전이라고 생각하면 될 것 같다. 하지만 CAM은 GAP(Global Average Pooling) 층이 있어야 했는데, 이는 GAP 층을 통과해 나온 가.. MobileNet1 논문 리뷰 / 딥러닝 경량화 ※ 모바일넷은 2017년 구글에서 제안하였으며, 성능보다는 효율성에 초점을 맞췄고 다양한 분야에 적용될 수 있다. 현재 약 6800건의 citation이 있으며 간단한 아이디어로 엄청난 파라미터의 절감을 보여줘 딥러닝의 경량화하면 먼저 떠올리게 되는 논문이다. 모바일넷의 아키텍처는 다음과 같다. 1. Depthwise Seperable Convolution Depthwise Seperable Convolution을 가장 잘 설명해주는 그림이 아닐까 싶다. Depthwise Seperable Convolution은 Depthwise Convolutions과 Pointwise Convolutions 두 개의 층으로 이루어져있다. 채널별로 3×3 필터를 사용하여 Depthwise Convolution을 진행한.. BERT / Transformer / Attention / Transformer Attention is all you need 설명 BERT를 설명하기 위해서는 Attention 과 Transformer에 대한 설명이 선행되어야 하기 때문에 Attention -> Transformer ->BERT 의 순서로 간단하게 설명해보겠습니다. 먼저 Transformer / Attention의 장점은 무엇일까요? 바로 RNN을 사용하지 않았다는 것입니다. RNN은 장기의존성 문제뿐 만 아니라 계산 속도가 느리다는 단점을 가지고 있습니다. 그렇다면 장기의존성 문제(long-term dependency problem)이란 무엇일까요? 다소 말이 안되는 문장일 수는 있지만,,ㅎㅎ 이 문장을 예로 설명해보자면 밑줄 친 부분에 대한 키워드를 생성하고자 할 때 사진찍기 보다는 딥러닝이라는 단어와의 거리가 더 가깝기 때문에 이미지가 아닌 텍스트 or 오디오.. 이전 1 다음
