본문으로 건너뛰기
AN INDEPENDENT ECONOMIC JOURNAL생활에서 시작하는 경제 읽기
가까이 두고 읽는 경제 이야기
CIN · CONNECT · INFORM · NEWS
경제의 흐름을,
생활의 언어로.

CIN ECONOMIC NOTES

2024년 2월 15일 오픈AI의 소라 연구 공개, 영상 1분과 물리 이해는 어떻게 달랐나

오픈AI는 글을 바탕으로 영상을 만드는 소라의 연구 결과를 공개했다. 최대 길이, 여러 장면에서 대상이 이어지는 능력, 실제 물리 현상을 맞히는 능력은 각각 다른 기준이다.

핵심 먼저 읽기

AT A GLANCE
  • 오픈AI는 2월 15일 텍스트로 최대 1분 분량의 영상을 생성할 수 있다고 밝히고 소라의 예시를 공개했다.
  • 기술 보고서는 영상과 이미지를 압축하고 시공간 패치로 나눠 처리하는 확산 모델의 방식을 설명했다.
  • 초기 접근은 위험을 점검하는 전문가와 일부 창작자에게 제공됐다. 회사는 유리 파손 등 기본 물리 현상이나 대상 상태의 변화가 어긋날 수 있다고 밝혔다.
이어지는 영상 프레임과 입체 장면을 그린 색연필 삽화
본문의 이해를 돕기 위한 일러스트레이션
이 글의 순서 · 5개 주제

글을 바탕으로 영상을 만든다는 것

오픈AI는 2024년 2월 15일 텍스트에서 영상을 만드는 모델 소라의 연구를 공개했다. 회사는 최대 1분 분량을 만들 수 있다고 설명하고 여러 생성 사례를 보여 줬다. 여기서 길이는 한 번에 생성할 수 있다고 회사가 밝힌 영상의 시간 범위다. 긴 장면을 만들 수 있다는 사실만으로 프레임 사이의 모든 변화가 정확하다는 뜻은 아니다. [1][2]

가령 글로 인물이 방에 들어와 물건을 선반에 놓는 장면을 요청했다고 하자. 영상에는 방과 인물이 보이는 것 외에 인물이 이동하고, 물건이 손을 떠나 선반에 놓이는 순서도 들어간다. 영상이 길어질수록 이런 상태 변화가 앞뒤로 맞는지 살필 부분이 많아진다. 한 장의 그림에서 분위기를 그리는 것과 시간이 흐르며 대상의 행동을 이어 가는 것은 별도의 과제다. [1][2]

시간과 화면을 함께 다루는 단위

기술 보고서는 영상과 이미지를 압축한 뒤, 영상의 공간과 시간을 함께 담는 작은 패치로 나눠 처리한다고 설명했다. 쉽게 말해 화면의 여러 위치에서 시간이 지나며 바뀌는 정보를 작은 묶음으로 다루는 방식이다. 같은 형식으로 길이나 화면 비율이 다른 영상과 이미지의 정보를 처리할 수 있도록 설계했다. 확산 모델은 잡음이 있는 표현에서 영상에 해당하는 구조를 점차 되찾는 방식으로 생성한다. [2]

공개 자료는 이 방식으로 크기와 화면비가 다른 콘텐츠를 생성할 수 있다고 설명했다. 하지만 어떤 장면을 학습 자료에서 어떻게 만났는지나 특정 프롬프트에서 오류가 날 가능성을 공개 예시만으로 계산할 수는 없다. 기술 설명은 입력을 다루는 구조와 연구에서 관찰한 능력을 알려 주고, 개별 결과의 품질에는 장면과 지시의 종류도 영향을 준다. [1][2]

보기 좋은 영상과 실제로 맞는 동작

회사는 소라가 기본적인 물리 작용을 정확히 그리지 못하는 경우를 공개했다. 기술 보고서는 유리가 깨지는 모습이나 음식을 먹은 뒤 대상의 상태가 바뀌는 과정을 예로 들었다. 영상에서 장면의 분위기와 형태가 그럴듯해도 물체가 어떻게 부서지거나 줄어드는지까지 맞는 것은 별개다. 장시간 영상에서는 앞뒤 내용이 어긋나거나 물체가 갑자기 나타나는 경우도 있다고 설명했다. [1][2]

예를 들어 사람이 쿠키를 한입 먹는 장면에서 입의 움직임을 자연스럽게 보여 주더라도, 다음 화면에서 쿠키에 그 변화가 남지 않을 수 있다. 이 경우 영상 자체는 이어져 보이지만 사건의 결과가 대상에 반영되지 않은 것이다. 모델이 장면을 그릴 수 있는지와 대상의 상태가 현실 법칙을 따라 계속 변하는지는 다른 검토가 필요하다. [1][2]

연구 공개 당일의 접근 범위

당시 자료는 위험을 점검하는 전문가와 일부 시각 예술가, 디자이너 및 영화 제작자에게 접근 권한을 제공해 검토와 의견을 받는다고 밝혔다. 웹에서 예시 영상을 볼 수 있다는 것과 일반 사용자가 그날 모든 기능을 사용할 수 있다는 것은 범위가 달랐다. 2월 15일에 확인된 사건은 연구 결과와 예시가 공개되고 제한된 집단이 초기 검토에 참여하게 된 것이다. [1][2]

회사 설명에 나온 1분은 제작 길이의 상한에 관한 수치다. 영상이 얼마나 매끄러운지, 프롬프트의 지시를 얼마나 따르는지, 물체의 상태가 얼마나 일관되게 이어지는지에는 각각 다른 검사가 필요하다. 공개된 예시와 기술 보고서의 한계를 함께 보면, 연구 공개 때 관찰할 수 있었던 생성 능력과 아직 확인이 필요한 능력이 구분된다. [1][2]

여러 화면에서 같은 대상을 유지하는 과제

보고서는 영상 안에서 같은 인물이나 사물이 가려졌다 다시 보이는 경우에 형태를 유지할 수 있는 사례를 설명했다. 반면 긴 샘플에서 앞뒤가 맞지 않거나 물체가 갑자기 나타나는 오류도 제시했다. 한 영상에서 일관성이 관찰됐다는 사실과 여러 요청에 걸쳐 같은 특성이 유지될 가능성을 수치로 보장하는 것은 다른 문제다. [1][2]

예를 들어 화면 앞으로 다른 사람이 지나가 잠시 물체를 가리는 장면에서는, 처음 물체의 모습이 뒤에 나타날 때에도 이어져야 한다. 장면을 잘 묘사하는 일에는 물체의 색과 모양뿐 아니라 앞서 어디에 있었는지에 관한 정보도 쓰인다. 기술 보고서가 시간과 공간을 함께 다루는 구조를 설명한 것은 이런 연결 문제와 관련된다. [2]

연구 자료에 나온 생성 사례는 어떤 장면을 그릴 수 있었는지 보여 준다. 시연 사례만으로 모델이 모든 상황의 물리 법칙을 같은 수준으로 파악했다고 결론 내리기 어렵다. 당시 문서가 보여 준 결과는 실제로 생성한 예시와 설명한 실패 유형이다. 비교할 때는 영상 길이, 지시 내용, 물체의 상태 변화 등 평가하려는 항목을 구분해야 한다. [1][2]

위험을 점검하는 전문가의 접근과 제작자가 의견을 주기 위한 접근은 역할이 달랐다. 하나는 생성 과정에서 문제가 될 수 있는 동작이나 결과를 찾는 작업이고, 다른 하나는 제작에 필요한 기능을 확인하는 과정이다. 공개 당일 설명은 두 집단의 참여 범위를 밝혔으며, 예시를 보는 일반 독자는 공개된 자료를 통해 당시 연구의 특징을 확인할 수 있었다. [1][2]

영상의 시간 정보는 연속 화면이 있다는 사실만으로 현실의 인과관계를 보장하지 않는다. 장면을 검토할 때는 요청한 사건이 일어나기 전과 뒤의 상태를 각각 확인할 수 있다. 연구 자료가 유리나 음식을 예로 든 것은, 한 프레임의 모습보다 그 뒤에도 변화가 일관되게 남는지가 별도의 검토 대상이었기 때문이다. [1][2]

이 글에서 생긴 질문을 다른 관점으로 이어 읽어보세요.

CONNECTED NOTES

SOURCES & FURTHER READING

참고한 자료, 더 읽을 거리

글의 근거와 더 자세한 배경은 아래 원문에서 이어 읽을 수 있습니다.

01
오픈AI

Sora, Creating Video from Text

↗
02
오픈AI

Video Generation Models as World Simulators

↗
CIN

흩어진 소식을 연결하고,
일상의 질문에서 경제를 이해합니다.

블로그 소개 ↗