[논문] AI에게 전문가가 되길 요구하는 게, 실제 성능을 향상시킬까.

https://arxiv.org/abs/2603.18507

흔히 LLM 모델을 사용할 때, AI에게 '당신은 특정 분야 전문가입니다.'

라는 식의 프롬프트를 쓰면 성능이 향상된다는 팁이 있다.

연구팀은 그 팁이 실제로 성능 향상으로 이어지는지 검증했다.

연구팀은 서로 다른 6종류의 LLM에게 준비된 프롬프트를 입력했다.

그 결과, 글쓰기, 사용자 지시에 따르는 추론에서는 성능 향상을 보여줬지만,

코딩, 수학 같은 분야에서는 오히려 성능 저하가 발생했다고 한다.

전문가가 되라는 프롬프트는 실제로 전문 지식을 부여하는 게 아니기 때문이다.

전문가가 되라는 지시로 인해, 사실이나 지식을 상기하는데 사용되어야할 능력을

사용자의 지시를 추종하는데 사용하면서 성능이 저하되는 것이라 추측된다.

하지만 반대로 사용자 지시를 추종하는데 보다 많은 자원을 쓰는 만큼,

비윤리적인 컨텐츠를 뽑아낼 수 있는가를 검증하는 테스트에서는

획기적인 성능 향상을 보여줬다고 한다.

즉, 사용하는 용도에 따라서는 AI를 전문가로 가정하는 프롬프트는

도움이 되지 않는다는 이야기.

너는 전문 프로그래머입니다, 라고 지시를 내리는 것 보다

프로젝트 요건을 세세하게 정리해서 전달하는 쪽이

사용자의 요건을 만족시킬 가능성이 높아진다는 것이다.

오 ㄳ 읽어봐야지 ㅊㅊ

노래 가사만 아는데 혹시 찾아줄래?이노래는 ~~~입니다.아니야 검색해보고 답변줄래?이노래는 ~~~이 맞습니다. 지시하신대로 두번 팩트체크 확인후 답변드립니다.하면 그떄부터 한10분정도 개썅욕을 쳐바르면 검색해서 찾아주더라

이거 진짜 ㅋㅋ 누구꺼 무슨 노래 가사 해석해줘 그럼 전혀 다른 노래 창작해서 해석하더라.

야이 씹년아 내가 다시물어보는게 이유가 있지 않겠냐 개버러지새끼야 말지어내지 말라고 팔백번은 말한거 같은데 매번 이지랄이네 식충이같은 새끼가 등등매번 개지랄 하는데 매번 틀림 ㅋㅋㅋㅋ

지시조건이 많으면 그거 지키느라 검열이 뚫린다는거임?

ㄴㄴ 내가 해보니까 저런거 보다는야 이 멍청한 새끼야 이것도 몰라? 가 나음

오 너는 전문가입니다 하면 비윤리적인 컨텐츠를 뽑아내준단말이지?정보 감사