1. Python Packaging
The Architecture of Open Source Applications
2012-11-17
아꿈사
김지훈

2. 제품의 인스톨 방법
Standalone Package
윈도우 방식 리눅스 방식
필요한건 스스로 조달 Repository에서 조달
설치가 간편 배포가 간편
실행이 안정적임 유지관리가 용이

3. 제품의 인스톨 방법
Standalone Package
윈도우 방식 리눅스 방식
필요한건 스스로 조달 Repository에서 조달
설치가 간편 배포가 간편
실행이 안정적임 유지관리가 용이
Python 표준

4. 이상적인 패키징 시스템
플랫폼 독립적
다시 패키징 하는 것이 가능한가?
시스템 의존성이 명확해야함

5. 비표준 패키징 시스템의 문제점
알 수 없는 버전 넘버링
Fumanchu가 먼저인가 Phill이 먼저인가?
관례를 깨는 시스템 자원 사용
로컬 디렉토리에 쓰기 권한이 없다면?
관리자도 시스템에 뭐가 있는지 모른다.

6. Python의 패키징 시스템들
Standard Library
Distribute
Distutils Setuptools
Pip

7. Python의 패키징 시스템들
Standard Library
Distribute
Distutils Setuptools
Pip

8. Distutils의 설계오류

9. setup.py
내가 작성한 mycode.py를 배포하고 싶다면
from distutils.core import setup
setup(name='MyProject', version='1.0', py_modules=['mycode.py'])

10. setup.py의 문제점
All In One

12. setup.py의 문제점
setup.py파일은 간단한 문자열 하나를 얻기 위해 많은 작업을 수행
일부 개발자들은 setup.py가 오직 인스톨 용도이거나, 또는 개발하는 동안만 쓸 목적일 수 도 있음.
$ python setup.py --name
Building lxml version 2.2.
NOTE: Trying to build without Cython, pre-generated 'src/lxml/lxml.etree.c'
needs to be available.
Using build configuration of libxslt 1.1.26
Building against libxml2/libxslt in the following directory: /usr/lib/lxml

13. PyPI
The Python Package Index
파이썬 패키지들의 리파지토리

15. PyPI 메타데이터
Name 프로젝트 이름
Version 릴리즈 버전
Summary 한 줄짜리 설명
Description 세부 설명
Home-Page 프로젝트 URL
Author 제작자 이름
Classifiers 프로젝트 구분자
Requires, Provides, Obsoletes 모듈들과의 의존성을 정의

16. 의존성 정의
from distutils.core import setup
setup(name='foo', version='1.0', requires=['ldap'])

17. 의존성 정의
from distutils.core import setup
setup(name='foo', version='1.0', requires=['ldap'])
ldap이라는 모듈이 없다면?
어느 패키지의 ldap인가?

18. 의존성 정의
from distutils.core import setup
setup(name='foo', version='1.0', requires=['win32com'])

19. 의존성 정의
from distutils.core import setup
setup(name='foo', version='1.0', requires=['win32com'])
리눅스에 설치한다면??

20. 의존성 정의
from distutils.core import setup
import sys
if sys.platform == 'win32':
setup(name='foo', version='1.0', requires=['win32com'])
else:
setup(name='foo', version='1.0')

21. 의존성 정의
from distutils.core import setup
import sys
if sys.platform == 'win32':
setup(name='foo', version='1.0', requires=['win32com'])
else:
setup(name='foo', version='1.0')
클라이언트에서 컴파일을 해봐야만 알 수 있다.
윈도우에 의존적임을 PyPI에 알려줄 방법이 없음

22. 언인스톨이 되지 않음
설치한 파일에 대한 히스토리를 남기지 않음
--record 옵션은 기본 값이 아님

23. PyPI의 한계

25. 프로젝트 등록
$ python setup.py register
running register
Registering MPTools to http://pypi.python.org/pypi
Server response (200): OK

26. 프로젝트 업로드
$ python setup.py sdist upload
running sdist
…
running upload
Submitting dist/mopytools-0.1.tar.gz to http://pypi.python.org/pypi
Server response (200): OK

27. The Simple Index Protocol
인스톨러에게 프로젝트의 링크를 제공
http://pypi.python.org/simple/

28. XML RPC Method
프로젝트의 상세한 메타데이터 제공
# python 3.x sample code
import xmlrpc.client
import pprint
pypi = xmlrpc.client.ServerProxy('http://pypi.python.org/pypi')
pypi.package_releases('an_example_pypi_project')
pprint.pprint(pypi.release_urls('an_example_pypi_project', '0.0.5'))
pprint.pprint(pypi.release_data('an_example_pypi_project', '0.0.5'))

29. 문제점
PyPI 서버 부하
Single point of failure
프로젝트 url의 간접적인 참조
분산되어 있는 프로젝트 메타데이터

30. 문제 해결을 위한 노력들

31. Setuptools
프로젝트 수준의 의존성 지원
easy_install 스크립트 지원
PyPI를 참조하여 자동으로 의존성 설정
문제점
더 많은 PyPI 부하
롤백이 지원되지 않음

32. Pip
언인스톨러 제공
새로운 메타파일 제공
다양한 종류의 설치 메타파일이 혼재
Distutils
Setuptools
Pip
그외 다른 패키징시스템

33. 데이터파일 문제
setup(…,
data_files=[('bitmaps', ['bm/b1.gif', 'bm/b2.gif']),
('config', ['cfg/data.cfg']),
('/etc/init.d', ['init-script'])]
)
설치 경로가 setup.py에 하드코딩 되어있음

34. 데이터파일 문제
리패키징하기위해서는 setup.py를 분석해야한다
사용자가 데이터파일의 위치를 결정할 수 없다
데이터파일의 분류가 없다

35. 데이터파일 문제
리패키징하기위해서는 setup.py를 분석해야한다
사용자가 데이터파일의 위치를 결정할 수 없다
데이터파일의 분류가 없다
이러한 문제를 Setuptools와 Pip는 개선하지 않음

36. 새로운 표준

37. 버전
N.N[.N]+[{a|b|c|rc}N[.N]+][.postN][.devN]
PEP 386
N은 정수
a, b, c, rc 는 알파, 베타, 릴리즈 후보
dev 다음엔 숫자가 따라옴
post-release는 post다음에 숫자가 따라옴
이 규칙을 따르지 않는 프로젝트는 PyPI에 업로드 거부

38. 의존성
Requires-Dist
Requires-Dist: pkginfo
Requires-Dist: PasteDeploy
Requires-Dist: zope.interface (>3.5.0)
Provies-Dist
Provides-Dist: transaction
Obsoletes-Dist
Obsoletes-Dist: OldName
여러번 반복하여 선언 가능

39. 실행환경 정의
메타데이터에 플랫폼 의존성 정의
Requires-Dist: pywin32 (>1.0); sys.platform == 'win32'
Obsoletes-Dist: pywin31; sys.platform == 'win32'
Requires-Dist: foo (1,!=1.3); platform.machine == 'i386'
Requires-Dist: bar; python_version == '2.4' or python_version == '2.5'
Requires-External: libxslt; 'linux' in sys.platform

40. 설치 포맷
여러 패키징 툴 간의 호환성을 위한 표준
METADATA 메타데이터 기술
RECORD 설치한 파일 목록
INSTALLER 설치한 툴 이름
REQUESTED 직접 설치한건지 여부
패키징 툴에 독립적으로 프로젝트 관리

41. 데이터 파일 구조
import os
here = os.path.dirname(__file__)
cfg = open(os.path.join(here, 'config', 'mopy.cfg'))

42. 데이터 파일 구조
import os
here = os.path.dirname(__file__)
cfg = open(os.path.join(here, 'config', 'mopy.cfg'))
import os
import pkgutil
# Open the file located in config/mopy.cfg in the MPTools project
cfg = pkgutil.open('MPTools', 'config/mopy.cfg')

43. 데이터 파일 구조
import os
here = os.path.dirname(__file__)
cfg = open(os.path.join(here, 'config', 'mopy.cfg'))
import os
import pkgutil
# Open the file located in config/mopy.cfg in the MPTools project
cfg = pkgutil.open('MPTools', 'config/mopy.cfg')
RESOURCES config/mopy.cfg {confdir}/{distribution.name}

46. Distutils2
Setup.py는 더 이상 사용하지 않음.
setup.cfg에 ini파일 형식으로 메타데이터 기록
Python 3.3에 Packaging이란 이름으로 포함 예정??

47. setup.cfg
[metadata]
name = MPTools
version = 0.1
author = Tarek Ziade
author-email = tarek@mozilla.com
summary = Set of tools to build Mozilla Services apps
description-file = README
home-page = http://bitbucket.org/tarek/pypi2rpm
project-url: Repository, http://hg.mozilla.org/services/server-devtools
classifier = Development Status :: 3 - Alpha
License :: OSI Approved :: Mozilla Public License 1.1 (MPL 1.1)

48. setup.cfg
[files]
packages =
mopytools
mopytools.tests
extra_files =
setup.py
README
build.py
_build.py
resources =
etc/mopytools.cfg {confdir}/mopytools

49. PyPI의 개선

50. 미러링 서버 구성
호스트 이름
X.pypi.python.org
X는 a, b, c, …, aa, ab, …의 시퀀스
last.pypi.python.org : 마지막 미러 서버
>>> import socket
>>> socket.gethostbyname_ex('last.pypi.python.org')[0]
'g.pypi.python.org'
>>>

51. 미러링 서버 구성
동기화
변경된 패키지만 동기화
/simple
/packages
통계 전파
다운로드 횟수
마스터 서버에서 stats디렉토리에 방문하여 수집

53. 보안 위협
중앙 인덱스 서버가 탈취되었을 가능성
미러가 조작되었을 가능성
중간자 공격(Man in the Middle Attack)

54. 패키지 검증
1. /simple 페이지를 다운로드하여 SHA-1 해시를 계산한다.
2. 해당 해시의 DSA 시그니처를 계산한다.
3. /serversig 와 일치하는 것을 다운로드하여 2단계에서 계산된 것
과 바이트 단위로 비교한다.
4. 미러서버에서 다운로드한 모든 파일에 대한 MD5 해시를 계산하
고 검증한다.

55. 교훈

56. 제대로 PEP 프로세스를 밟아야 한다
Setuptools는 별다른 PEP의 수정없이 메타데이터를 확장
문제 해결을 위한 노력이 더 큰 문제를 유발
Setuptools는 좋은 테스트 케이스였음

57. 표준 라이브러리의 패키지는 오래 못간다
표준라이브러리의 수정은 매우 어렵다
한 번 공개된 API는 수 년간 유지 됨
중요한 수정이 필요할땐 새로운 패키지를 만든다

58. 하위 호환성
기존의 프로젝트들이 Distutils2를 사용하게 되기까진 수 년이 걸릴 것임
따라서 하위호환성 유지는 필연적

59. Reference
http://www.aosabook.org/en/packaging.html