인공지능 공부하기

학교에서 인공지능 수업도 들었고 

 

FFighting 딥러닝 기초부터 최신 논문 리뷰까지, 인공지능과 딥러닝의 모든 것을 한눈에 살펴봅니다!

FFighting 딥러닝 기초부터 최신 논문 리뷰까지, 인공지능과 딥러닝의 모든 것을 한눈에 살펴봅니

 

여기서 인공지능관련 논문 리뷰를 보면서 공부하고 있다. 

 

이해가 안됐는데 생각 날때마다 보다보니 요즘에야 약간씩 이해가 되는 것 같은 착각이 든다.

 

신박Ai - YouTube

신박Ai

이 유튜브도 참 좋다. 나는 이해하려면 구체적으로 어떻게 작동하는지 알아야 이해하는 타입이라 위 채널에서 올라온 영상을 보면 이해가 잘 되는 것 같다.

 

학교에선 인공지능의 역사를 중점으로 배웠고 처음 듣는거라 이해가 잘 안됐다.

 

수업을 들은지 약 1년이 지났다.

 

이해가 안되지만 뉴스나 나의 실 생활에서는 인공지능을 자꾸 사용했고 원리가 궁금했다. 그래서 구글 검색과 유튜브, gpt 같은 걸로 생각 날 때마다 찾아봤다.

 

찾아 볼 때마다 이해가 안되는 부분도 있었지만 조금씩 이해되는 부분들이 생겼고 위의 2가지가 현재는 가장 도움이 된다.

 

아는게 별로 없지만 그냥 현재상태를 기록해야지.

 

언어모델에선 dnn에서 rnn , lstm 계속 단점을 개선하기 위해 seq2seq 모델 transformer가 등장하고 이를 바탕으로 pre trained방식으로 생성된 다양한 llm 그리고 llm을 효율적으로 튜닝하는 방법을 알게 됐다.

 

dnn은 인공 신경망(퍼셉트론)을 깊게 쌓은 모델

 

rnn은 순차 데이터에 대해서 n번째 input과 n-1번째 output를 넣어서 output을 계산하는 모델

 

lstm은 rnn이 순차 데이터 길이가 길 수록 나중 데이터 ( ex. 1번째 데이터)의 기억을 잃어버리니까 이를 개선하기 위해서 나온 모델 

 

seq2seq는 인코더 디코더 구조로 순차 데이터에서 추출할 정보가 순차 데이터의 길이와 다를 경우 발생하는 문제를 해결하기 위해서 나온 모델 (인코더에 데이터를 lstm이나 rnn처럼 반복적으로 넣고 최종적으로 나온 데이터를 디코더에 종결문이 나올때까지 lstm이나 rnn처럼 반복적으로 넣어서 출력을 생성)

 

seq2seq의 인코더 아웃풋의 데이터 크기가 정해져 있어서 정보의 압축이 일어나는데 정보 손실이 발생할 수 밖에 없어서 이를 해결하기 위해 나온것이 attention ( 인코더의 순차적인 output들을 디코더의 출력을 만들때 사용함) 

 

이를 발전시켜서 나온게 transformer 인코더도 lstm안쓰고 그냥 어텐션만 사용

 

gpt1은 transformer디코더 구조만 가져와서 다양한 텍스트 뭉텅이를 가져와서 다음단어를 예측하는 방식으로 pre train 시켜서 그걸 fine tuning 시켜서 사용한 모델

 

bert는 transformer 인코더 구조를 사용해서 문장 중에 단어 몇개를 가린걸 맞추는 방식으로 pre train 시켜서 fine tuning시켜서 사용한 모델

 

gpt3는 예시를 주면 모델 성능이 향상한다.

 

gpt3.5는 모델을 학습시키는 방법으로 RM(리워드모델)을 학습시켜서 RM의 피드백을 바탕으로 모델을 학습시키자.

 

gpt1 이랑 gpt 3.5는 인간 라벨링 비용을 줄이는 방법아이디어 같다.

 

LORA는 파인튜닝 할때 원래 파인튜닝 할 레이어 앞에 작은 행렬을 둬서 그 행렬들만 학습시키자는 아이디어

 

prefix-tuning은 모델 앞에 작은 모델 하나를 둬서 그 모델만을 학습시키자는 아이디어

 

chain of thought는 상식이나 계산같은 경우 프롬프트에 풀이 방법을 상세히 적으면 모델의 성능이 좋아진다는 것

 

RAG는 외부 데이터 사용하는 모델을 만드는 방법

 

Self Consistency는 상식이나 계산문제에 대해서 chain of thoght를 넣어주고 같은 질문에 대해 여러번 답변을 받아서 가장 많이 나온 답변 사용하면 정확도가 올라간다는 것

 

적으면서도 아직 이해가 덜 된 부분이 있는것 같다 

 

얼음모양은 학습시키지 않는것 불모양은 학습시키는 것