Avro 개요
Avro란? Avro는 데이터 직렬화와 관련된 시스템이다. 한국 개발자들은 /에이브로/라고 발음하곤 하지만, 외국 개발자 커뮤니티에서는 주로 /아브로/라고 발음하고 있다. Avro는 JSON 형태로 기록한다.
luran.me
https://devidea.tistory.com/113
[Kafka] Avro Consumer의 GenericRecord schema
이번 글에서는 KafkaAvroDeserializer를 사용한 컨슈머에 대해서 이야기하려고 한다. KafkaAvroDeserializer를 사용했다는 것은 Schema-Registry(이하 스키마 레지스트리)를 사용했다는 의미이다...
devidea.tistory.com
https://cloud.google.com/bigquery/docs/loading-data-cloud-storage-avro?hl=ko#python
Cloud Storage에서 Avro 데이터 로드 | BigQuery | Google Cloud
의견 보내기 Cloud Storage에서 Avro 데이터 로드 Avro는 직렬화된 데이터를 같은 파일에서 데이터 스키마와 함께 묶는 오픈소스 데이터 형식입니다. Cloud Storage에서 Avro 데이터를 로드할 때 새 테이블
cloud.google.com
https://docs.microsoft.com/ko-kr/azure/databricks/spark/latest/structured-streaming/avro-dataframe
스트리밍 Avro 데이터 읽기 및 쓰기 - Azure Databricks
Azure Databricks에서 Apache Kafka의 Apache Avro 데이터를 원본 및 싱크로 사용하여 데이터를 스트리밍 하는 방법을 알아봅니다.
docs.microsoft.com
https://gist.github.com/developer-sdk/dc6fc9c968fb90e4d3c813afdda1562f
python을 이용한 avro 예제
python을 이용한 avro 예제. GitHub Gist: instantly share code, notes, and snippets.
gist.github.com
'BigData' 카테고리의 다른 글
| Hive Sql (Join 및 최적화) (0) | 2022.04.16 |
|---|---|
| Dash (0) | 2022.04.05 |
| RAWGraphs (0) | 2022.04.05 |
| Knowage (0) | 2022.04.05 |
| image restoration github (0) | 2022.03.21 |