AI 산업 발달로 인해 사실상 폐기된 이론
작성자 정보
-
할라당 작성
- 작성일
컨텐츠 정보
- 250 조회
- 15 댓글
- 목록
본문
몇년전(이라고 해봤자 그리 멀지도 않음)에 AI는 학습을 해야 성능이 올라가는데 더이상 학습할 데이터가 없어서 AI 발전이 멈출거라는 공포가 한때 대두된적이 있었음.
여기에 AI가 출력한 데이터를 AI가 재 학습할 경우 모델의 성능이 하락하는 모델 붕괴 이론까지 겹쳐서 AI 산업의 발전이 멈출거라는 공포가 업계예 잠시 대두되었음.
여기까지는 맞음.실제로 그랬으니까.
그런데 사람들이 AI를 연구하다보니 깨달은 거임.AI가 출력하는 답변 그 자체가 모델 붕괴를 유발하는게 아니라 그저 AI 데이터중 헛소리 하는 데이터가 쎃이니 문제인거지 AI 출력 그자체가 문제가 아니라는걸 알아낸거임.그리고 헛소리,병신같은 데이터는 사실 사람이 만든거라도 해서 없는 게 아님.
그로 인한 결론은 "AI가 출력한 데이터를 사람이 직접 선별해서 재학습시키면 데이터셋 고갈문제도 해결하고 모델 붕괴도 일어나지않는다는 거임"
AI가 묘하게 생물학적 유사성이 있으니 비유하자면 '생물끼리 근친하면 유전병 확률이 기하급수적으로 올라간다.하지만 애초부터 유전병 인자를 제거해놓으면 아무리 근친시켜도 유전병 자체가 발병하지않는다'라는 사실을 생각해내면 됨.
오히려 AI가 출력한 고급데이터를 선별해 재학습시키면 더 가볍고 빠른 모델로도 우수한 성능을 낼수 있다는 사실이 밝혀지면서 너도나도 증류경쟁에 뛰어들고 있음.중국뿐 아니라 미국 AI 기업들도 프론티어가 아니라 무료 서비스등에 이용하는 가벼운 경량 모델은 프론티어 모델의 출력을 증류해서 만든거임.
LLM뿐 아니라 테슬라 FSD LITE같은 것도 증류 데이터를 사용함으로써 HW3의 낮은 스펙을 극복해냈음.
결론:AI 출력물을 재학습하는 것도 사람의 적절한 개입이 있으면 모델 붕괴가 일어나지않음.지식 업데이트 하자.
유용한 링크: 카지노가이드
관련자료
-
이전
-
다음
빅치트맨님의 댓글
-
빅치트맨 - 작성일
할라당님의 댓글
-
할라당
- 작성일
ravvit님의 댓글
-
ravvit - 작성일
사촌간불알빨기님의 댓글
-
사촌간불알빨기 - 작성일
겜신병자님의 댓글
-
겜신병자 - 작성일
할라당님의 댓글
-
할라당
- 작성일
북북춤님의 댓글
-
북북춤 - 작성일
할라당님의 댓글
-
할라당
- 작성일
ㄴㅓㄱㅔㅇㅣ님의 댓글
-
ㄴㅓㄱㅔㅇㅣ - 작성일
스펙트럼님의 댓글
-
스펙트럼
- 작성일
구르는돌님의 댓글
-
구르는돌 - 작성일
듀플로님의 댓글
-
듀플로
- 작성일
팡파루엣님의 댓글
-
팡파루엣 - 작성일
조강현님의 댓글
-
조강현 - 작성일
이거보인다면기분탓임님의 댓글
-
이거보인다면기분탓임
- 작성일
