누군가가 이를 사용하기 쉬운 인터페이스로 포장하고, 회사를 세우며, 업계 전체가 곧 혼란에 빠질 것이라고 선언한다.
한동안은 그렇게 보일 수도 있다. 하지만 동일한 기능이 널리 사용 가능해지면, 그 이점은 사라지기 시작한다. 혁신처럼 보였던 것이 결국 또 하나의 기능에 불과할 수도 있다.
AI는 실행 속도를 더 빠르고, 저렴하게, 더 쉽게 만들 수 있다. 하지만 동일한 모델과 기능이 모두에게 제공된다면, 기술에 대한 접근성 자체는 지속 가능한 이점이 되기 어렵다.
진정한 이점은 조직 내에서 사람들이 이를 어떻게 적용하느냐에 달려 있다.
AI는 조직을 이해하지 못한다
모델은 프로그래밍, 금융, 마케팅, 고객 지원을 이해할 수 있다. 하지만 조직이 왜 현재와 같은 방식으로 운영되는지 자동으로 이해하지는 못한다.
현재 시스템을 만든 과거의 결정은 무엇인가?
어떤 고객 요구사항이 진정으로 타협 불가능한가?
과거의 실패 때문에 도입된 프로세스는 무엇인가?
스프레드시트에서는 합리적으로 보이지만 실제로 달성하기는 거의 불가능한 목표는 무엇인가?
해당 도메인에서 중요한 법적, 보안적, 운영적, 비즈니스적 제약 조건은 무엇인가?
이러한 지식이 완전하고 신뢰할 수 있는 하나의 장소에 존재하는 경우는 드물다. 사람, 시스템, 문서, 대화, 과거 결정에 걸쳐 흩어져 있을 수 있다.
우리는 이를 종종 암묵적 지식(tribal knowledge)이라고 부른다. 더 많은 부분을 문서화할 수 있고 또 그래야 하지만, 문서화만으로 문제가 해결되지는 않는다.
RAG(검색 증강 생성)와 파인튜닝은 모델이 조직 지식에 접근하는 데 도움을 줄 수 있다. 하지만 정보가 완전하고, 최신이며, 관련성이 있고, 올바르게 적용된다는 것을 보장하지는 못한다.
누락된 맥락을 인식하고, 예외 사례를 처리하며, 가정에 의문을 제기하고, 결과를 검증하는 데는 여전히 사람이 필요하다.
더 중요한 것은, 사람들은 이러한 시스템이 안정적으로 지원할 수 있는 범위를 넘어서는 판단을 내려야 한다는 점이다.
검토는 단순히 AI 실수를 수정하는 것이 아니다
대규모 언어 모델은 자신이 틀렸다는 것을 인식하지 못한 채 잘못된 정보를 생성할 수 있다.
일반적인 대응은 출력을 확인하는 인간 검토자를 추가하는 것이다. 하지만 AI 출력 검토는 단순히 사실적 오류를 수정하는 것 이상을 포함해야 한다.
도메인과 조직을 이해하는 사람은 다음과 같은 일을 할 수 있다:
- 조직의 논리 적용
- 특수 사례 인식
- 누락된 정보 식별
- 오류의 비용 이해
- 비즈니스, 법률, 보안 위험 평가
- AI가 잘못된 문제에 사용되고 있음을 인식
- 향후 사용을 위한 프롬프트, 워크플로, 시스템 개선
이 과정을 통해 사람들은 단순히 모델을 교정하는 것 이상의 역할을 한다. 그들은 조직을 더 유능하게 만든다.
인간은 AI 시스템의 부속물이 아니다.
그들은 시스템의 일부이다.
모델은 변하지만, 조직은 계속 기능해야 한다
AI 모델은 끊임없이 업데이트된다.
최신 모델은 추론 능력은 더 좋지만, 톤, 형식, 도구 사용 행동이 더 나쁠 수 있다. API가 변경될 수 있다. 기능이 제거될 수 있다. 모델이 단종될 수 있다.
또한 하나의 벤더에 크게 의존할 때 발생하는 위험도 있다.
가격이 인상될 수 있다. 사용 정책이 변경될 수 있다. 기능을 사용할 수 없게 될 수 있다. 오늘 잘 작동하는 모델이 6개월 후에는 더 이상 적합하지 않을 수 있다.
특정 모델 하나에 맞춰 프로세스를 최적화한 조직은 내부 전문성이 부족할 경우 심각한 혼란을 겪을 수 있다.
유능한 팀은 다음과 같은 방법으로 이러한 위험을 줄일 수 있다:
- 시스템 작동 방식 이해
- 새로운 모델 버전 평가
- 프로덕션 배포 전 변경 사항 테스트
- 출력 품질 모니터링
- 프롬프트와 워크플로 조정
- 대체 모델 비교
- 하나의 벤더에 대한 의존도 감소
모델이 너무 비싸지거나, 신뢰할 수 없거나, 부적합해지면 팀은 제한된 혼란으로 마이그레이션할 수 있어야 한다.
그러한 능력이 없다면, 조직은 AI에 의해 강화되는 것이 아니다.
그것은 AI에 의존하는 것이다.
완전 자동화는 새로운 위험을 만들 수 있다
모든 일상적인 단계에 인간이 관여할 필요는 없다.
하지만 자동화할 수 있다는 이유만으로 프로세스에서 사람을 제거하는 것은 더 위험한 시스템을 만들 수 있다.
많은 AI 제품은 외부 모델, 라이브러리, API, 도구, 플러그인, 데이터 소스에 의존한다.
이러한 요소들 중 어느 것이든 다음과 같은 이유로 실패 지점이 될 수 있다:
- 취약하거나 손상된 의존성
- 부정확하거나 오염된 데이터
- 악성 문서
- 프롬프트 인젝션
- 탈옥(jailbreak)
- 과도한 권한
- 부적절한 도구 사용
- 시스템이 안전하게 수행할 수 있는 작업에 대한 오해
책임자와 수행되는 작업 사이에 레이어가 많을수록, 문제가 발생할 가능성은 더 커진다.
전통적인 소프트웨어는 사전 정의된 명령어를 따른다.
AI 시스템은 명령어를 해석한다.
이 차이는 중요하다.
입력 검증, 접근 제어, 로깅, 모니터링, 감사, 승인 워크플로는 여전히 필요하다. 하지만 이제는 신뢰할 수 없는 언어를 해석하고 그 해석에 기반하여 조치를 취할 수 있는 시스템을 고려해야 한다.
해결책은 자동화를 피하는 것이 아니다.
시스템을 소유한 사람, 그 위험을 이해하는 사람, 문제가 발생했을 때 책임을 질 사람을 명확히 정의하는 것이다.
선택은 인간과 AI 사이가 아니다.
진정한 질문은 인간의 책임이 어디에 남아 있어야 하는가이다.
AI 논쟁의 양극단은 모두 오해를 불러일으킨다
한쪽은 AI가 인간 노동을 완전히 대체할 것이라고 주장한다.
다른 쪽은 AI가 의미 있는 영향을 거의 미치지 않을 것이라고 가정한다.
두 관점 모두 너무 단순하다.
AI는 일부 작업을 자동화하고, 일부 역할을 없애고, 새로운 역할을 창출하며, 다른 많은 역할을 상당히 변화시킬 것이다.
이는 더 작은 팀이 이전에는 훨씬 더 큰 팀이 필요했던 작업을 수행할 수 있게 할 것이다.
하지만 그렇다고 해서 사람이 덜 중요해지는 것은 아니다.
남은 사람들에게 더 많은 책임을 부여할 뿐이다.
AI가 실행을 더 빠르고 저렴하게 만듦에 따라, 판단의 가치는 더욱 높아질 것이다.
AI는 의사 결정을 지원하고 의사 결정 과정의 일부를 자동화할 수 있다. 하지만 책임과 설명 책임을 단순히 모델에 이전할 수는 없다.
인적 자본은 현재의 일자리를 유지하는 것에 관한 것이 아니다
사람에 대한 투자는 모든 기존 역할, 프로세스, 작업 방식을 보호하는 것을 의미하지 않는다.
이는 새로운 상황에 적응하고 조직의 장기적인 성공에 기여할 수 있는 사람을 육성하는 것을 의미한다.
가장 가치 있는 사람은 단순히 현재 자신의 직업이 자동화에서 가장 안전해 보이는 사람이 아닐 수 있다.
그들은 다음과 같은 요소를 결합할 수 있는 사람일 수 있다:
- 도메인 지식
- 조직적 맥락
- 고객 이해
- 기술적 능력
- 건전한 판단력
- 위험 인식
- AI를 효과적으로 사용하는 능력
조직은 다음과 같은 질문만 해서는 안 된다:
"AI로 몇 명을 대체할 수 있을까?"
또한 다음 질문을 해야 한다:
- AI가 우리 직원들의 업무 능력을 향상시키는 데 어떻게 도움이 될까?
- 어떤 조직 지식을 유지해야 하는가?
- 시스템 전체를 이해하는 사람은 누구인가?
- 필요할 때 어려운 판단을 내릴 수 있는 사람은 누구인가?
- 사람들은 AI가 생성한 권장 사항을 어떻게 평가할 것인가?
- AI가 조치를 취했을 때 책임은 어떻게 할당될 것인가?
- 기술이 변화할 때 우리 팀이 적응할 수 있도록 어떻게 보장할 것인가?
이러한 질문들은 AI가 단기적인 효율성 도구가 될지, 아니면 장기적인 조직 역량이 될지를 결정한다.
진정한 이점
AI는 일상적인 실행의 가치를 낮추는 동시에 판단의 가치를 높일 수 있다.
이는 일부 역할을 불필요하게 만들 수 있지만, 동시에 적합한 사람을 훨씬 더 유능하게 만들 수도 있다.
AI로부터 가장 큰 혜택을 얻는 조직은 단순히 가능한 한 많이 자동화하지 않을 것이다.
그들은 AI를 사용하여 사람들을 더 효과적으로 만들 것이다.
속도, 일관성, 규모가 중요한 작업은 자동화할 것이다.
맥락, 위험, 판단, 책임이 중요한 부분에서는 명확한 인간의 소유권을 유지할 것이다.
사람들은 AI가 안정적으로 수행할 수 있는 작업에 시간을 낭비해서는 안 된다.
동시에, AI가 인간의 맥락, 책임, 설명 책임을 요구하는 결정을 내리도록 방치해서는 안 된다.
그 경계선이 어디에 있는지 아는 것은 여전히 사람의 문제로 남을 것이다.
모든 사람이 AI에 접근할 수 있을 때, 모델 자체는 이점이 되지 않을 것이다. 그것을 어떻게, 어디서, 언제 사용해야 하는지 아는 사람이 이점이 될 것이다.
