2023년 2월 14일 깃허브는 코파일럿 포 비즈니스의 사용 범위를 확대한다고 발표했다. 개인 개발자가 편집기에서 받아 보던 코드 제안을 조직이 구매·배정하고, 관리자가 이용 정책을 중앙에서 설정할 수 있는 형태였다. 제품 변경 기록에는 Free, Team, Enterprise Cloud 고객이 이용할 수 있다고 적혔다. 이는 해당 고객군이 업무용 상품을 도입할 수 있다는 안내이며 개별 개발자의 이용권이 일괄 제공된다는 뜻은 아니다.[1][2]
발표가 바꾼 핵심은 코드가 화면에 나타나는 속도만이 아니었다. 누가 제안을 받고, 어떤 정책을 적용하며, 팀은 코드를 어떻게 확인하는지까지 별도의 결정으로 드러났다. 편집기가 한 줄을 자동으로 채우는 작업과 변경 사항을 제품에 넣는 판단의 범위를 구별하면 발표의 의미가 보인다.
편집기에서 제안이 만들어지는 자리
코파일럿은 편집기 확장 기능으로 개발자가 작업 중인 코드의 맥락과 입력을 바탕으로 다음 줄이나 함수 등을 제안한다. 개발자는 제안을 검토해 받아들이거나 거절할 수 있다. 작성 과정에서 예제를 찾거나 반복되는 코드를 직접 입력하는 시간을 줄일 수 있지만, 제안이 바라는 동작을 만족하는지는 작성 중인 프로그램의 조건에 따라 달라진다.[1]
가령 날짜 목록을 정렬하는 함수를 작성한다고 하자. 일반적인 날짜는 잘 정렬돼도 빈 값이 섞였을 때 어떻게 처리할지, 서로 다른 표준시의 날짜를 어느 기준으로 비교할지는 해당 제품의 요구사항이다. 제안이 함수 모양을 빠르게 채웠다면 개발자는 빈 입력, 동일한 날짜, 시간대 경계의 예를 실행해 그 요구사항을 확인할 수 있다. 이 상황은 도구의 동작을 설명하는 가상 사례다.
같은 코드를 오래 사용하는 팀이라면 제안이 어디에 끼어들었는지보다 변경의 이유를 기록하는 일이 중요하다. 다음 담당자는 함수가 어떻게 생성됐는지보다 왜 빈 값을 뒤로 보내는지 알아야 한다. 그 판단을 설명할 수 있어야 예외 조건이 나중에 바뀌었을 때 고칠 위치를 찾을 수 있다.
개인 사용과 조직 운영의 차이
개발자에게는 편집기에서 제안을 받는 경험이 중심이다. 관리자에게는 어떤 팀에 좌석을 배정하고 조직의 정책을 적용하는지가 별도 문제다. 한 팀에 도구를 열 때의 이용권 배정과 저장소의 변경을 승인하는 권한은 서로 다른 운영 결정이다. 코드를 제안받을 수 있게 됐다고 기존 승인 절차를 대체할 필요는 없다.[1][2]
발표는 VPN과 자체 서명 인증서를 사용하는 환경에서의 프록시 지원도 소개했다. 회사 네트워크를 통하는 개발자가 편집기 기능을 사용할 수 있는 범위에 관한 기능이다. 그것만으로 조직의 저장소 접근 권한, 비밀 관리 방식, 기록 보관 기준까지 바뀌는 것은 아니다. 조직이 도구를 평가할 때에는 연결 방식과 소프트웨어 접근 정책을 각각 확인해야 한다.[1][2]
‘55% 빠르다’가 가리키는 실험
깃허브는 자바스크립트 HTTP 서버를 만드는 한 과제에서 전문 개발자 95명을 무작위로 두 그룹에 배정했고, 그중 45명이 코파일럿을 사용할 수 있었다고 설명했다. 공개 글은 사용 그룹이 해당 과제를 55% 빠르게 완료했다고 소개했다. 이 수치는 특정 과제와 참가자, 실험 환경에서 과제를 완료하는 데 걸린 시간을 비교한 결과다.[3]
기존 시스템에서 기능 하나를 바꾸는 경우에는 새 서버를 처음 만드는 실험과 일이 다르다. 이미 정해진 규칙을 읽고 연동하는 서비스의 영향을 확인한 뒤 동료가 변경을 검토하는 시간이 포함되기 때문이다. 반대로 작은 반복 작업처럼 완료 기준이 명확한 일에서는 입력 시간을 덜어낸 부분을 상대적으로 쉽게 확인할 수 있다. 어느 쪽이든 한 과제의 결과를 연간 인력 계획에 그대로 곱하기는 어렵다.
취약점 필터가 있는 환경에서의 검토
깃허브는 하드코딩된 인증정보, SQL 삽입, 경로 삽입 등 흔한 불안전 패턴을 대상으로 제안을 필터링한다고 발표했다. 필터는 일부 제안이 표시되기 전에 작동하는 방어 단계다. 서로 다른 두 함수가 연결될 때 접근 권한이 과도해지는 문제나 팀이 정한 업무 규칙을 어기는 문제까지 해결했다는 검증으로 읽을 수는 없다.[1]
가상의 팀이 가져오기 기능에 자동 제안을 활용할 때를 생각해 보자. 파일을 읽는 함수만 보면 정상 동작해도, 그 함수가 허용되지 않은 폴더를 호출부에서 받을 수 있으면 경계가 달라진다. 검토자는 제안 문장 하나뿐 아니라 입력이 들어오는 곳과 파일 경로가 정해지는 곳을 함께 봐야 한다. 도구의 보안 기능과 팀이 맡는 검토가 다른 지점에서 작동한다는 사례다.
발표 당시 비교할 수 있었던 범위
2월 발표에서 확인 가능한 것은 업무용 이용 범위와 관리 기능, 소개된 제안 기능이었다. 도입 뒤 특정 조직의 코드 품질이나 버그 수정 비용이 어떤 방향으로 움직였는지까지는 알 수 없었다. 어떤 팀은 제안 수락 시간을, 다른 팀은 변경 검토에 소요된 시간과 승인 뒤 발생한 결함을 함께 기록할 수 있다. 기준이 같아야 조직에서 느끼는 편의와 배포 과정의 차이를 비교할 수 있다.
당시 발표를 다시 읽을 때에는 편집기 제안, 조직의 정책·이용권, 제품 코드 검토라는 세 단계를 각각 확인할 수 있다. 새로운 기능은 첫 단계의 일부 작업을 줄일 여지를 만들었다. 그 여지가 두 번째와 세 번째 단계에서 실제 시간 절약이나 더 좋은 결과로 이어지는지는 사용 환경과 검토 방식에 달려 있었다.
이용권을 넓힌 조직에서 효과를 살피려면 같은 종류의 변경을 비교하는 편이 낫다. 단순한 형식 정리와 권한 규칙을 다루는 기능 변경을 한데 묶으면 작업 난이도 차이가 도구 효과처럼 보일 수 있다. 제안 채택 건수와 리뷰에서 다시 고친 항목, 최종 승인에 걸린 시간을 나란히 두면 작성 시간이 줄어든 지점과 검토가 더 필요해진 지점을 구별할 수 있다.
연구진이 2월 13일 공개한 초판을 보면, 실험은 정해진 12개 테스트를 처음 모두 통과한 시점까지 걸린 시간을 쟀다. 테스트를 통과한 코드가 이후 다른 기능과 합쳐질 때 수정 비용이 얼마나 들었는지는 이 과제의 완료 시간에 포함되지 않는다. 업무용 상품의 도입 발표와 함께 실험을 읽더라도, 속도를 잰 지점과 실제 팀이 배포하는 지점을 구분할 필요가 있다.[4]
