机器学习

英语笔记

实践技巧

基础知识

生活随笔

好文转载

读书笔记

大语言模型

大数据

听歌

书架

关于

牢骚

友链

自从入行以来，从来没有重视过内存管理这块的东西，但这次真的是该遭的罪一点没落下的全体验了一遍。试问苍天饶过谁。由于预测时的全量用户为 1.5 亿，数据量实在太大，而且服务器上没有 GPU 资源，所以只能通过开启多进程的方式来进行预测。在 python 中开启多进程无果后，只能想办法曲线救国，最终通过 shell 脚本将数据拆分然后循环调用 python 脚本，这个过程中可以将拆分后的数据的起始行数和数据量通过参数传递给python，最终以这样的方式成功开启了多进程。但随后遇到了另外一个问题：内存溢出导致的部分进程被 kill。

双塔模型

问题记录

记第一次推荐开发实践遇到的问题

crontab 是 Linux 和 Unix 系统中的一个用来设置周期性任务调度的工具，它的全称是 "cron table"。crontab 文件包含了 cron 进程需要执行的任务列表，并指定任务的执行时间。cron 进程会根据 crontab 文件中的配置，在指定的时间自动执行任务。


定时任务

Mac定时任务

SparkSQL 是 Spark 的一个模块，专为处理结构化数据而设计，提供了对 SQL 查询的支持，使得用户可以通过 SQL 或 DataFrame API 进行高效的数据处理和分析。SparkSQL 允许无缝地在结构化数据（如 JSON、Parquet、Hive 表）和 RDD 之间进行转换，集成了 Catalyst 优化器和 Tungsten 执行引擎，从而实现查询优化和高效执行。此外，SparkSQL 还支持与多种数据源的集成，使其在大数据处理和分析领域具有广泛的应用。

Spark

SparkSQL

Spark SQL

方法

【转载】Crony Beliefs

Spark Core 是 Apache Spark 的核心模块，提供了对分布式内存计算和数据处理的基础支持，基于 RDD（Resilient Distributed Dataset）这一基本数据抽象，实现了高效的并行计算和容错机制。通过 SparkContext 与集群交互，DAG Scheduler 和 Task Scheduler 调度任务执行，Block Manager 管理数据块的存储和传输，用户可以通过丰富的 RDD API 构建和执行复杂的数据处理任务。Spark Core 支持批处理、交互式查询、机器学习和图计算等多种应用场景，是 Spark 生态系统的基础。

SparkCore

Spark Core

Anjhon

十大词类

pandas

Holt-Winters

预测模型

指数平滑

英语

python基础

博客搭建

线性回归

逻辑回归

logistic

分类算法

Excel

项目排期

支持向量机

K近邻

贝叶斯

朴素贝叶斯

Bayesian

集成学习

岸见一郎

古贺史健

心理学

成长

斯科特派克

语法

回归算法

损失函数

正则化

优化函数

向量矩阵

bagging

boosting

进程

线程

虚拟环境

决策树

C4.5

CART

树模型

Adaboost

GBDT

XGBoost

ARIMA

时序模型

聚类

optics

GitHub

Notion

插件

GitHub Desktop

代码冲突

Vscode

豆瓣读书

豆瓣电影

戒烟

随便一说

进度条

notion

Alfred

Mac软件

效率提升

幸福感

爬虫

蜘蛛

Selenium

Scrapy

词根词缀

记单词

Blog

办公

自动化

python

python-docx

Word

评分

熵权法

层次分析法

评分算法

对话

教育

社交

阅读

工具

ChatGPT

伦理

简悦

阅读插件

吐槽

AI写作