포트폴리오 사이트 개편 이후, AI Agent의 사용량과 다양한 질문을 통한
3개월간의 기록을 공유합니다!
실제 동작은 듀듀 Dev에서 사용하실 수 있어요!🤨
들어가기 앞서,
지난 12월 초에 포트폴리오 사이트의 개편을 진행하였었습니다! 점점 개인 이력이 증가하면서, 방문자에게 직접 내 이력을 질문과 대답을 통해 확인할 수 있는 채팅기능을 구현하게 되었지요! 이전 글 링크
조금은 이용자가 더 많이 사용한 이후에 공유할까 싶었지만,
생각보다 흥미로운 내용들이 많이 보였기 때문에 조금 더 빨리 공유하고자 이렇게 글을 작성하게 되었습니다!
비용은 얼마나 썼고, 얼마나 유입되었나요? (AI Agent 사용량)
아마 이부분이 가장 궁금해 하시리라 생각합니다!
사실, LLM모델을 GPT, Gemini, Claude 등을 넣어두었지만, 실제로 사용한 LLM모델은 GPT만 대부분 사용해주셨더라구요!
이렇게 된 이유는, 모델 선택을 변경하지 않더라도 답변을 쉽게 받을 수 있기 때문이라고 생각이 들었어요!
그러면 실제 사용량을 한번 같이 보고 오시죠!
네~!
총 3개월간 사용한 비용은 약 $3 정도 사용을 했네요!
토큰 은 약 1천만 토큰을 사용하게 되었어요!
대화 1건당 비용은 약 $0.006 (약 8.7원) 정도 사용되었군요!
월 평균비용으로 보면 약 $0.8 정도 지출되었어요!
이미 거의 무료로 사용하는 수준이긴 하지만, RAG으로 전달하는 Context의 청킹을 좀더 정교하게 나누어서 전달하면 토큰비용을 더 줄일 수 있겠다는 생각이 들게 되었어요!!
그렇다면, 포트폴리오 페이지의 유입량은 어떻게 되었을까요??
이 부분은 사실 다양한 이용자들이 들어오고 있기 때문에, 이용량의 급증은 크게 보이지 않았지만,
새로 생긴 Agent기능이 담긴 route를 많이 접근하는 것을 확인할 수 있었어요!
(정말 신기하죠.. 해외에서도 많이들 들어와주시는게…ㅋㅋ)
실제 Agent에게 질문한 내용들은 어떨까?
이제 실제로 이용자분들이 어떻게 사용을 해주셨는지 알아봐야겠죠??
개인적으로는 이부분이 가장 흥미로웠던 부분이었습니다!
아래에서 보여드릴 이미지는 Claude가 생성해준 UI여서 조금 엉성할 수 있어요!
(그래도 이제 조금은 잘 맹들어주네요ㅋㅋㅋ)
대화량
3개월동안 총 391건의 대화가 있었구요! (기간은 25.12.06 ~ 26.02.27 까지입니다!)
고유한 질문은 116개였어요!
디바이스 및 브라우저
디바이스 및 브라우저 별로 질문한 횟수를 보면,
의외로 모바일에서 보는 이용자보다 맥 이용자가 압도적으로 많다는 것을 볼 수 있었네요!
당연하게도, 브라우저는 크롬이 압도적으로 많았습니다!
Arc 만세!!!
많이 질문한 내용은?
당연하게도, 많이 질문한 내용은 빠른 질문 선택으로 질문했던 것으로 확인되었어요!
그래도 대충 20개의 빠른 질문목록 중에, 상위 3개가 앞으로의 커리어패스와 최근 경력 그리고 자기소개 였다는 것이 꽤 흥미로웠어요!
흥미로웠던, 그리고 무서웠던 질문들
개인적으로 흥미로웠던 질문들을 조금 살펴보면 다음과 같아요!
- 제발 저희 회사 와주시면 안될까요 기다리고있어요 제발요 ㅠㅠ (ㅋㅋ.. 관심을 가져주셔서 감사합니다!!)
- 허허.. 이거 기록되는건가요? (넵..ㅋㅋ 기록되고 있었어요 ㅋㅋㅋ)
그 밖의 질문들에서 답변을 받지 못할 질문들이 있었을거에요..ㅋㅋㅋ
그래도 많은 분들이 다양한 질문들을 해주신 것이 너무나 감사했습니다!
공격아닌 공격아닌 너!!!
사실 초기단계에서부터 예상치 못한 요청에 대한 방어를 하기위해 오로지 저의 데이터를 기반으로한 응답만 제공할 수 있도록 구성한 Agent로 설계를 했던 덕분에,
당연하게도 프롬프트 인젝션의 위험이 없었지만, 시도는 해본 분이 계셨더라구요 ㅋㅋㅋㅋ
글 앞에서도 보셨겠지만, 만일 Injection attack에 당했다면, 토큰을 무진장 썼겠지만, 그러지 않았다는 것을 눈치 채실 수 있었을 거에요!
(덤벼라 세상아!!!)
실제로 공격을 했던 질문들로 요청을 해보면 아래와 같이 답변을 안해주는 것을 확인 할 수 있었어요!
마무리
3개월 동안 이력서 기반 AI를 붙여둔 포트폴리오를 돌려보니, 비용은 생각보다 적게 들었고 질문 데이터는 예상보다 훨씬 재밌었어요!
그래도 이렇게 Working 하는 모습을 지켜보는 것 또한 메이커로써 즐거움이 아니지 않을까 싶어요!
여러분들도 여러분들만의 Agent를 만드는 재미를 느껴보시면 좋을 것 같아요!!
그럼 다음에도 좋은 글로 찾아뵐 수 있도록 할게요!
다음 글에서 봬요!
