Anthropic Interviewer와 인터뷰한 후기
클로드를 켰더니 AI 인터뷰 창이 하나 떴다.
몇 달 전에도 클로드에서 아티팩트 기능 사용에 대한 AI 인터뷰 요청이 와서 진행했었는데, (아 그때 받은 아마존 바우처 10만원 써야하는데!) 이번엔 또 무슨 인터뷰인가 싶어 앤트로픽 블로그 글을 먼저 읽어봤다. 인상깊은 포인트가 많아서 정리해봤다.
Anthropic Interviewer 소개: 1,250명의 전문가들이 AI와 함께 일하는 것에 대해 말한 것들
이제 수백만 명의 사람들이 매일 AI를 사용하고 있습니다. AI 시스템을 개발하는 회사로서, 우리는 사람들이 어떻게, 왜 그렇게 하는지, 그리고 그것이 그들에게 어떤 영향을 미치는지 알고 싶습니다. 부분적으로는 사람들의 피드백을 사용해서 더 나은 제품을 개발하고 싶기 때문이기도 하지만, AI와 인간의 상호작용을 이해하는 것이 우리 시대의 중요한 사회학적 질문 중 하나이기 때문이기도 합니다.
우리는 최근 사용자의 프라이버시를 보호하면서 AI 사용 패턴을 조사하는 도구를 설계했습니다. 이를 통해 경제 전반의 AI 사용 패턴 변화를 분석할 수 있었습니다. 하지만 이 도구는 Claude와의 대화 내에서 일어나는 일만 이해할 수 있게 해줬습니다. 그 후에는 어떻게 될까요? 사람들은 실제로 Claude의 결과물을 어떻게 사용하고 있을까요? 그들은 그것에 대해 어떻게 느낄까요? 그들은 미래에 AI의 역할을 어떻게 상상할까요? AI가 사람들의 삶에서 변화하는 역할에 대한 종합적인 그림을 얻고, 모델 개발의 중심에 인간을 두고 싶다면, 우리는 사람들에게 직접 물어봐야 했습니다.
클로드에서 최근에 사용자 데이터를 수집한다고 해서, 살짝 거부감이 들었는데 (그동안은 클로드가 사용자의 데이터를 수집하지 않는다는 점이 매력 포인트였기 때문에) 사용자의 프라이버시를 보호하면서도 패턴을 조사하는 도구라고 언급하니 이에 대해서도 나중에 좀 더 살펴봐야겠다는 생각이 들었다. 어쨌든 클로드는 위의 목적으로 인해 인터뷰를 할 수 있는 ‘Claude로 구동되는 Anthropic Interviewer라는 인터뷰 도구’를 만들었다고 한다. Anthropic Interviewer는 전례 없는 규모로 자동으로 상세한 인터뷰를 진행하고, 그 결과를 인간 연구자에게 전달해서 분석할 수 있는 도구다. 앤트로픽은 이 도구를 모든 유저 대상으로 오픈하기 전에, 1250명의 다양한 분야의 전문가(일반 노동력 N=1,000, 과학자 N=125, 창작자 N=125)를 대상으로 우선 인터뷰를 진행했다고 한다. 인터뷰 분석에서 흥미로웠던 부분은, AI 사용에 불안을 표한 사람들 중 25% 정도가 경계 설정을 하고 있다는 점이었다. 이는 뒤이어 이어진 나의 AI인터뷰에서도 언급한 lazy thinking mode와 유사한 맥락의 접근이었다.
41%의 인터뷰 대상자가 자신의 업무에서 안전하다고 느끼고 인간 기술은 대체 불가능하다고 믿는 반면, 55%는 AI가 미래에 미칠 영향에 대한 불안을 표현했습니다. 불안을 표현한 그룹의 25%는 AI 사용에 대한 경계를 설정했다고 말했고 (예: 항상 스스로 수업 계획을 만드는 교육자), 25%는 직장 역할을 적응시켜 추가 책임을 맡거나 더 전문화된 작업을 추구했습니다.
이후 각 직업군 별로 감정 스펙트럼(좌절-희망)을 분석한 것도 흥미로웠다. 대체로 AI에 대한 신뢰도가 낮게 나온 것도 흥미로운 포인트였다. 사실 가장 인상깊었던 부분은 앤트로픽이 AI 모델을 만들고 제품을 만드는 일 바깥에서 하고 있는 활동에 대한 설명이었다. 이 블로그 글에서 소개한 Anthropic Interviewer 도구를 ‘AI 모델 개발에 대한 대화의 중심에 인간의 목소리를 두기 위한 우리의 최신 단계’라고 소개하면서, 앤트로픽이 창작자, 과학자, 교사들과 어떤 파트너십을 실제로 맺고 활동하고 있는지 소개했다. 그 중 교사 부분이 인상적이었다.
교사: 우리는 최근 American Federation of Teachers (AFT)와 파트너십을 맺어서 점점 더 능력 있는 AI 시대에 교사 훈련을 재구성했습니다. 이 프로그램은 400,000명의 교사를 AI 교육에서 지원하고 AI 시스템 개발에 그들의 관점을 도입하는 것을 목표로 합니다. 또한, 우리는 AI가 Anthropic에서 소프트웨어 엔지니어링을 어떻게 변화시키고 있는지에 대한 Anthropic Interviewer의 일부 발견을 미리 공개했습니다. 우리 자신의 직장 변화에 대한 질적 이야기를 공유하는 것은 소프트웨어 엔지니어와 교사 사이에서 많은 공통점을 찾게 했고, 우리가 실제로 원하는 AI 유도 업무 변화의 종류를 브레인스토밍하기 위해 모두를 같은 테이블에 모았습니다.
위 활동들은 좀 더 살펴보고 싶은 활동이고, 지지하고 싶은 활동이라 느껴졌다. 블로그 글을 다 읽은 후에, 나에게도 이 도구를 활용해 인터뷰를 하라는 창이 떴다. 아 이렇게 재밌는 활동에 빠질 수 없지. 클로드 헤비유저로서, AI와 인간의 상호작용에 대해 큰 관심을 가진 사람으로서, 10여분 동안 앤트로픽 인터뷰어와 즐겁게 대화를 나눴다. 며칠 전에 내년에 앤트로픽이 상장 계획을 가지고 있다는 기사를 봤는데, 상장하면 진짜 제일 먼저 앤트로픽 담는다.