Python

s3 upload(stream, smart_open), download (pre-signed url, csv/json, bucket policy, credentials)

Kyle79 2020. 6. 10. 10:45

 

 

https://medium.com/@labcloud/s3-pre-signed-url-%EB%AF%B8%EB%A6%AC-%EC%84%9C%EB%AA%85%EB%90%9C-url-%EB%A7%8C%EB%93%A4%EA%B8%B0-596aff8bdc45

 

S3 pre-signed url (미리 서명된 url) 만들기

S3에 있는 Bucket은 private 또는 public 하게 접근할 수 있도록 제어를 권한을 설정할 수 있습니다. 프로그램을 개발하다 보면 S3에서 제공하는 특정 파일(Object)에 대해 제한된 시간 동안 접근할 수 있�

medium.com

 

 

 

https://planbs.tistory.com/entry/client%EB%82%98-resource%EC%97%90-access-key-id-secret-access-key%EB%A5%BC-%EC%A7%81%EC%A0%91-%EC%A0%84%EB%8B%AC%ED%95%98%EA%B8%B0

 

boto3가 자격 증명 정보를 얻어내는 구조

boto3에서 거의 대부분의 기능은 AWS API를 사용하고, 자원에 대한 자격을 증명하기 위해 AWS IAM에서 얻어낼 수 있는 AWS access key ID 와 AWS secret access key , 또는 임시 자격 증명을 위한 aws_session_tok..

planbs.tistory.com

 

 

 

https://planbs.tistory.com/entry/S3%EC%97%90-%EC%A0%91%EA%B7%BC%ED%95%98%EA%B8%B0

 

S3에 접근하기

서비스별로 boto3의 사용량을 집계한다면, S3가 가장 많지 않을까 싶다. 서비스를 유지하려면 일반적으로 별도의 스토리지 클라우드가 필요할 것이고, 이를 위해 가장 많이 사용하는 것이 S3일테��

planbs.tistory.com

 

 

 

http://hleecaster.com/convert-json-to-csv-using-python/

 

파이썬으로 json, csv 파일 변환 - 아무튼 워라밸

파이썬으로 데이터를 다루다 보면 json, csv 형식의 파일을 많이 만나게 된다. 데이터의 형식만 가볍게 변환하기 위한 파이썬 코드를 소개한다.

hleecaster.com

 

 

https://boto3.amazonaws.com/v1/documentation/api/latest/guide/s3-presigned-urls.html

 

Presigned URLs — Boto3 Docs 1.13.26 documentation

Presigned URLs A user who does not have AWS credentials or permission to access an S3 object can be granted temporary access by using a presigned URL. A presigned URL is generated by an AWS user who has access to the object. The generated URL is then given

boto3.amazonaws.com

 

 

https://github.com/RaRe-Technologies/smart_open

 

RaRe-Technologies/smart_open

Utils for streaming large files (S3, HDFS, gzip, bz2...) - RaRe-Technologies/smart_open

github.com

 

 

 

'Python' 카테고리의 다른 글

SQLAlchemy : flush ()와 commit ()의 차이점은 무엇입니까?  (0) 2020.08.10
python s3fs  (0) 2020.07.22
flask proxy server  (0) 2020.04.20
yaml to json  (0) 2020.04.02
Celery  (0) 2020.01.13