- DNN 영상 모두 학습

- DNN을 이용한 MNIST FASHION 패션 분류기 생성 (notebook)

패션 분류기는 사실 상 코드 채워넣기에 가까웠다. 

아예 처음부터 새로 만들어보도록 하자

어제는 일이 너무 많아 아무것도 못했다. 죽을 맛이다..ㅋㅋㅋ

내일도 많겠지...

- 간단한 MNIST model

- overfitting에 대응하는 법들 (배치 정규화, learning rate 조절 등..)

대학원을 열심히 알아보고 있다... 머리가 아프다.

[공부한 것]

- boostcourse 파이토치로 시작하는 딥러닝 기초 8개 강의

[기억나는 것]

- Softmax는 전체합이 1이 되게한 probability의 표현이다.

- cross entropy는 -ylog(y')로 확률이 얼마나 비슷한지를 나타내는 척도이다. 보통 softmax와 사용한다.

- torch.nn의 CrossEntropyLoss은 softmax layer를 포함하고 있는 메소드이다.

- 만약 class 가 2개인 binary case인 경우에는 BCELoss를 사용하시는 것이 좋다.

- BCEWithLogitsLoss는 BCELoss에 sigmoid layer가 포함된 메소드이다.

pytorch zero to all 을 거진 들었지만, 강의수가 적었고 

파이토치를 좀 더 제대로 듣고자 + 한국어라서 새로운 강의를 빠르게 시작했다.

모르던 부분을 부분부분 알게되는 것 같기는한데... 강의력이 그리 좋지는 않은 것 같다.

학습 중간에 parameter를 확인하고 싶을 때가 있다.

class CustomModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.linear = nn.Linear(3,1)
        
    def forward(self, x):
        return self.linear(x)
        
        
model = CustomModel()

다음과 같은 간단한 linear form이 있을 때

params = list(model.parameters())

위와 같이 한다면

[Parameter containing:
 tensor([[1.1857, 0.3697, 0.5246]], requires_grad=True),
 Parameter containing:
 tensor([-0.0688], requires_grad=True)]

다음과 같은 결과를 얻을 수 있다.

paramters()는 iterator를 반환하기 때문에, list로 처리해주면 그 값을 확인해볼 수 있다.

모든 연산에서 dim = # 의 방향은 다음과 같다. 열, 행 .. 순이다.

1. view

reshape를 하는 함수이다.

{tensor}.view(dimension = []) 꼴로 shape를 바꿀 수 있다.

2. squeeze, unsqueeze

특정 위치(dim)에 1인 차원을 추가하거나 삭제한다. 데이터 모양 때문에 보통 사용한다.

3. In-place Operation

기존 함수들끝에 _를 붙이면 덮어쓰기 연산이 되는 것들이 몇 있다.

- 논문 읽어보기

논문을 읽어보았지만, 당최 무슨 말인지 이해를 못하고 있다... 

아직 기본적인 논문도 읽어보지 않은 상태에서 이해하는 것은 무리였던 것일까...

연초 좋은 일만 가득하면 좋겠지만, 집에 큰 사정이 생겨서 

근래 계속 일을 하고 있다. 피로감+왠지 모를 무력감에 참 힘든 날들이었다. TIL도 쓰지 않고 

뻩어있기 일수... 

알에서 깨어나자

- Otto Group Product Classification Challenge 코드 따라해보기

- Softmax MNIST 복습

어렵다... 코드를 그대로 보고 따라하는데도 당최 무슨 말인지

pandas도 공부해야하고, 데이터 자체에 대한 눈을 키우는 것도 중요해보인다

병원도 갔다오고, 근래 이래저래 잡스런 일들이 많다. 바쁘네

- Sung kim 교수의 Pytorch Zero to All 9강까지 수강

- multi layer logistic 만들어보기

심적으로 힘든 날