知识卡片
notebook凭证与扩展
数据科学家用 notebook(Jupyter、JupyterLab)探索数据、设计特征、训练模型,首要问题是如何从 notebook 访问数据:用库连接 API、数据库、数仓或数据湖,通常需要凭证和权限。数据工程师常协助数据科学家找到正确数据,并确保其有权访问所需的行和列。典型工作流是在本地 notebook 中把数据加载进 pandas DataFrame——数据集会被放进内存。
凭证处理是重大安全风险:把凭证直接写进代码会随代码泄露到版本控制库,短信和邮件也容易泄露。数据工程师应审核数据科学代码的安全措施并合作改进(数据科学家通常乐于接受),为凭证处理设定标准:凭证不能嵌入代码,使用凭证管理器或 CLI 工具管理访问。
数据集超过本地内存怎么办(逐步扩展): 1. 改用云端 notebook,灵活扩展存储和内存; 2. 分布式执行:Dask、Ray、Spark; 3. 云托管 ML 平台:SageMaker、Vertex AI、Azure ML; 4. 开源端到端 ML 工作流工具:Kubeflow(Kubernetes)、MLflow(Spark)。 目标是让数据科学家不依赖笔记本电脑,利用云的能力和可扩展性。数据工程师和 ML 工程师应带头建立云基础设施、管理环境、培训数据科学家;“数据科学运维”(版本更新、访问控制、维护 SLA)做好了会有显著回报。
notebook 进生产:Netflix 大量部署 notebook,能让数据科学家更快上线,但标准化是问题;另一种做法是由 ML 和数据工程师把 notebook 生产化,工作量大。混用可能是好办法:notebook 用于“小微项目”上线,完整生产流程用于高价值项目。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 为分析、机器学习和反向ETL提供数据服务 · 查看原书依据
凭证不能直接嵌入代码中,数据科学家需要使用凭证管理器或CLI工具来管理访问权限。