fxnnxc/hex

Bumjin Park

• 👯 Blog
• 🔭 Working : Statistical Articifial Intelligence Lab
• 🌱 Tags Multi-Obejctive Reinforcement Learning
• 📫 email: [email protected]

hex's Issues

Question on the CKA

Hi, @fxnnxc I have a question.

1. Hi, I found that CKA is used in layer wise manner.
   Could it be measured by channel wise manner?

2. Do you think it is better than PCA or t-SNE?

청웅님 잉그 base point 논문 됐는데 도움이 될 거 같아요.

https://www.tensorflow.org/tutorials/interpretability/integrated_gradients?hl=ko

Reading List 1월 셋째 주

TTT

Chcec

@CheongWoong Hi

1월의 주제

2월 1일날 발표

---

원준: ERROR 리전
다희: 디퓨전 레이튼트 분석하기
범진:
지현: L2 Attention 와 VQ-VAE 찍어보기
정민: IG 로 인풋에 찍어보기

브레인스토밍
트랜스포머 분석
프로토타입

• 타임시리즈 중요구간 하이라이트하는 시각화 해보기

• p-value 를 representation 에서 찍어보는 거 (이론적인 연결성)

• CHannel -> Stastic에 대한 분포를 찎어봐 --> 내가 넣은 샘플이 해당 분포에서 바깥쪽에 위치하는 지 확인 metric

• Global Average Pooling

• [Gaussian] -- [Gassuain + Image /2 ] -- - [Image]

• latent disentangle in diffusion space.

• Error region.

Attention Intervention 에 대한 질문입니다.

@CheongWoong

Attention Intervention에서 Correct Attention으로 바꾸는 것은 template 64개 중에서 일치하는 템플릿으로 바꾸는 건가요?
그럼 이 방식은 template attention bias를 줘서 attention이 템플릿에 대해서 올바른 방향으로 Align이 되도록 만드는 걸까요?