在数据大小（32G）和服务器 内存 大小（360G）差 10 被的情况下，使用 pandas 来读取数据，但是在读取数据的时候会导致内存被占满最终导致 python 脚本被 kill。原因定位。

pandas

内存溢出

大模型问答——pandas 读取大文件爆内存问题

crontab 是 Linux 和 Unix 系统中的一个用来设置周期性任务调度的工具，它的全称是 "cron table"。crontab 文件包含了 cron 进程需要执行的任务列表，并指定任务的执行时间。cron 进程会根据 crontab 文件中的配置，在指定的时间自动执行任务。


定时任务

Mac定时任务

方法

【转载】Crony Beliefs

SparkSQL 是 Spark 的一个模块，专为处理结构化数据而设计，提供了对 SQL 查询的支持，使得用户可以通过 SQL 或 DataFrame API 进行高效的数据处理和分析。SparkSQL 允许无缝地在结构化数据（如 JSON、Parquet、Hive 表）和 RDD 之间进行转换，集成了 Catalyst 优化器和 Tungsten 执行引擎，从而实现查询优化和高效执行。此外，SparkSQL 还支持与多种数据源的集成，使其在大数据处理和分析领域具有广泛的应用。

大数据

Spark

SparkSQL

Spark SQL

Spark Core 是 Apache Spark 的核心模块，提供了对分布式内存计算和数据处理的基础支持，基于 RDD（Resilient Distributed Dataset）这一基本数据抽象，实现了高效的并行计算和容错机制。通过 SparkContext 与集群交互，DAG Scheduler 和 Task Scheduler 调度任务执行，Block Manager 管理数据块的存储和传输，用户可以通过丰富的 RDD API 构建和执行复杂的数据处理任务。Spark Core 支持批处理、交互式查询、机器学习和图计算等多种应用场景，是 Spark 生态系统的基础。

SparkCore

Spark Core

Spark 借鉴了 MapReduce 思想发展而来，保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提 高了运行速度、并提供丰富的操作数据的API提高了开发速度。Spark可以计算：结构化、半结构化、非结构化等各种类型的数据结构，同时也支持使用Python、Java、Scala、R以及SQL语言去开发应用 程序计算数据。Spark 集成了多种大数据工具和框架，如 Kafka、Cassandra、HBase、HDFS 等，形成了一个强大的大数据处理生态系统。Spark 的统一编程模型和强大的性能使其成为大数据分析、实时流处理和机器学习等领域的重要工具。

Spark部署

Spark 开篇

Apache Hive 是一个用于大数据处理的开源数据仓库工具，最初由Facebook开发并于2010年贡献给Apache软件基金会。它设计的主要目的是使数据分析人员能够通过类SQL语言（即HiveQL）在Hadoop分布式文件系统 (HDFS) 上执行大规模数据查询和分析。Hive 是一个构建在 Hadoop 之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类 SQL 查询功能，用于查询的 SQL 语句会被转化为 MapReduce 作业，然后提交到 Hadoop 上运行。

Hive

MapReduce是Hadoop中的分布式计算组件，它可以以分散->汇总（聚合）模式执行分布式计算任务MapReduce可供Java、Python等语言开发计算程序。YARN（Yet Another Resource Negotiator）是Hadoop 2.x版本引入的资源管理框架，用于集群资源管理和任务调度。它将MapReduce的资源管理和任务调度功能抽象出来，提供一个通用的资源管理平台，可以支持多种分布式计算框架。

MapReduce

Hadoop

YARN

集群部署

Hadoop MapReduce & YARN

Hadoop HDFS (Hadoop Distributed File System) 是一个分布式文件系统，设计用于在大型数据集上进行高吞吐量的数据存储和访问。它是 Hadoop 生态系统的重要组成部分，支持大规模数据处理和分析。
为什么需要分布式存储？
数据量太大，单机存储能力有上限，需要靠数量来解决问题
数量的提升带来的是网络传输、磁盘读写、CPU、内存等各方面的综合提升。 分布式组合在一起可以达到1+1>2的效果

HDFS

Hadoop HDFS

Linux 软件安装实践；记录了 zookeeper、Tomcat、Nginx、Hadoop、SQL、Spark、Flink 等软件的安装和遇到的问题，以供学习和参考；均用 Ubuntu 系统安装。

Linux

hadoop安装

flink安装

zookeeper安装

Linux软件安装实践

Linux 复习笔记；整理了包含常用命令、网络连接认证、用户和权限等等方法的运用，对 Linux 有一个初步的了解。

Linux基础

最近面试了一个大数据异常行为检测的岗位，所以重新温习整理一下 SQL 相关的内容。
数据库主要分为两大类,分别是关系型数据库(SQL)和非关系型数据库(NOSQL);在关系型数据库中Oracle和MySQL是最具有代表性的两个,在非关系型数据库中MongoDB和Redis也是榜上有名。
SQL（结构化查询语言）是一种用于操作和查询数据库的标准化语言。它被大多数现代数据库系统如MySQL，Oracle，SQL Server，PostgreSQL等广泛采用。尽管这些数据库系统都使用SQL，但是他们之间可能会有一些语法上的差异，这些差异主要是由于各个数据库系统提供的特定功能和优化。

SQL基础

1994 年 10 月 27 号这天，我的人生正式开启了。这个时候的我还无法意识到这是一个怎样的世界，又是一场怎样的旅程。直到 30 年后的今天，在我认真回顾了自己前半生的 30 年后，或许才有了一个模糊的答案。曾经看过一个纪录片《人生七年》，这个纪录片由英国导演迈克尔·艾普特（Michael Apted）开始于1964年，每隔七年跟踪拍摄同一组人的生活，从他们七岁开始，展示了他们的成长、梦想、挑战和生活变化。我于是也产生了一个想法，以同样的方式来回顾自己曾经的每一个七年。

人生

人生七年

我的《人生七年》

自从入行以来，从来没有重视过内存管理这块的东西，但这次真的是该遭的罪一点没落下的全体验了一遍。试问苍天饶过谁。由于预测时的全量用户为 1.5 亿，数据量实在太大，而且服务器上没有 GPU 资源，所以只能通过开启多进程的方式来进行预测。在 python 中开启多进程无果后，只能想办法曲线救国，最终通过 shell 脚本将数据拆分然后循环调用 python 脚本，这个过程中可以将拆分后的数据的起始行数和数据量通过参数传递给python，最终以这样的方式成功开启了多进程。但随后遇到了另外一个问题：内存溢出导致的部分进程被 kill。

机器学习

双塔模型

问题记录

记第一次推荐开发实践遇到的问题

在过去十年里，纳瓦尔通过推特、博客和播客等方式分享了他的人生智慧，分享如何不靠运气取得成功、如何利用专长和杠杆获得财富以及他的幸福哲学等内容，他的分享在网络上掀起了讨论热潮，受到大量网友的热爱和追捧。纳瓦尔不仅告诉了我们怎样致富，还告诉了我们怎样看待人生，怎样获得幸福。他对财富、人生的思考将帮助你走上自己独特的人生道路，过上更富有、更幸福的生活。

读书笔记

纳瓦尔宝典

《纳瓦尔宝典》

过去文档检索的基本技术框架，中间每一步都有相当的技术复杂度，过去只有大厂在有巨大需求的场景去实现这样的能力。但是LLM的出现，让文档检索这件事情的门槛骤然降低，用向量数据库就可以轻松构建自己的文档检索系统，结合LLM的对话生成能力，真正实现文档问答的能力。

LLMs

大语言模型

检索增强生成

文档问答

Llama

ChatGLM

Mac本地RAG文档问答——Llama2 & ChatGLM3(量化版) & Ollama

有两种方法可以让文化精神枯萎，一种是奥威尔式的——文化成为一个监狱，另一种是赫胥黎式的——文化成为一场滑稽戏。
——尼尔·波兹曼
《娱乐至死》初版于1985年，是尼尔·波兹曼的代表作之一。

娱乐至死

《娱乐至死》

Transformer 是由谷歌于 2017 年在 Attention Is All You Need 中首次提出。Transformer的提出在很大程度上改变了自然语言处理领域的局面，取代了传统的循环神经网络和卷积神经网络在语言模型、机器翻译等任务中的地位。

深度学习

transformers

Transformer温习整理

之前写过《面向使用者的提示工程》，主要是面向普通用户，在日常使用大语言模型聊天或对话的时候应该如何书写提示词，来改善大模型输出的效果。而本篇主要是面向开发者，介绍在开发 RAG 类基于大模型的应用时应该如何优化和改善提示词，针对特定任务构造能充分发挥大模型能力的 Prompt 的技巧

Prompt

提示词

面向开发者的提示工程

本书是一本阅读指南，介绍了阅读的方法、技巧，阅读所应具备的广阔视野。自1948年问世以来，在西方世界好评甚多，重版多次。是一本指导人们如何阅读的名作。每本书的封面之下都有一套自己的骨架，作为一个分析阅读的读者，你的责任就是要找出这个骨架。《如何阅读一本书》出现在你面前时，肌肉包着骨头，衣服包裹着肌肉，可说是盛装而来。你用不着揭开它的外衣或是撕去它的肌肉，才能得到在柔软表皮下的那套骨架。但是你一定要用一双X光般的透视眼来看《如何阅读一本书》，因为那是你了解一本书、掌握其骨架的基础。

如何阅读一本书

《如何阅读一本书》

自定义一些Notionic博客的参数，内容仅供参考～

notionic

Blog

Notionic博客定制化修改

在这篇综述中，我们关注的是面向大语言模型（Large Language Model）的检索增强生成技术。这项技术通过结合检索机制，增强了大语言模型在处理复杂查询和生成更准确信息方面的能力。大语言模型 (大语言模型，LLMs) 虽展现出强大能力，但在实际应用中，例如在准确性、知识更新速度和答案透明度方面，仍存在挑战。检索增强生成 (Retrieval-Augmented Generation, RAG) 是指在利用大语言模型回答问题之前，先从外部知识库检索相关信息。RAG 被证明能显著提升答案的准确性，并特别是在知识密集型任务上减少模型的错误输出。通过引用信息来源，用户可以核实答案的准确性，从而增强对模型输出的信任。

读《面向大语言模型的检索增强生成技术：综述》笔记整理

ChatGPT出现后惊喜或惊醒了很多人。惊喜是因为没想到大型语言模型（LLM,Large Language Model）效果能好成这样；惊醒是顿悟到我们对LLM的认知及发展理念，距离世界最先进的想法，差得有点远。本文试图回答下面一些问题：ChatGPT是否带来了NLP乃至AI领域的研究范式转换？如果是，那会带来怎样的影响？LLM从海量数据中学到了什么知识？LLM又是如何存取这些知识的？随着LLM规模逐步增大，会带来什么影响？什么是In Context Learning?为什么它是一项很神秘的技术？它和Instruct又是什么关系？LLM具备推理能力吗？思维链CoT又是怎么做的？等等，相信看完，能让您对这些问题有一个答案。

技术精要

张俊林

读《通向AGI之路：大型语言模型（LLM）技术精要》笔记整理

蛤蟆先生一向爱笑爱闹，如今却一反常态地郁郁寡欢，他一个人躲在屋里，连起床梳洗的力气都没有。朋友们非常担心他，建议他去做心理咨询。在10次心理咨询中，蛤蟆在咨询师苍鹭的带领下，勇敢地探索了自己的内心世界，也逐渐找回了信心与希望……

蛤蟆先生去看心理医生

心理学

《蛤蟆先生去看心理医生》

不知道从什么时候开始，每到吃饭时间，如果不用电子屏幕看些什么内容，总觉得这顿饭是没有灵魂的。而我最简单的戒断方式就是卸载。

电子榨菜

感想

电子榨菜和奶头乐

传统虚拟机技术是虚拟出一套硬件后，在其上运行一个完整操作系统，在该系统上再运行所需应用进程；而Docker容器内的应用进程直接运行于宿主的内核，容器内没有自己的内核，而且也没有进行硬件虚拟。

docker

Docker 学习笔记

在网上冲浪的时候，看到了两期关于艾滋病的科普视频，觉得讲得不错并且感觉王教授也算是权威了吧，于是兴趣满满的看完了，并做了一些笔记。作为新时代的网民，应该对艾滋病有一个正确的认知。

艾滋病

2024 年的第一篇是艾滋病科普

20231212 小记

甜甜圈和法师帽

之所以近视

Transformers是一个开源的自然语言处理（NLP）库，由Hugging Face开发和维护。它基于Transformer架构，提供了各种预训练模型和工具，用于解决各种NLP任务，如文本分类、问答、命名实体识别等。

预训练模型

hugging face

Transformers 库速查

20231206 小记

自ChatGPT发布以来，如何有效的与大语言模型沟通是一个随之而来的问题，这方面的研究也是雨后春笋般的出现，本文整理了一些常用的Prompt编写原则和方法，仅供参考学习。

面向使用者的提示工程

在学习的过程中，本站整理记录了一些机器学习相关的内容和文章，但看起来稍显杂乱，故此专门以机器学习的基本流程为主线，制作了本站机器学习相关的内容进行导航跳转。（持续更新）

导航地图

机器学习导航地图

样本不平衡问题是在生产过程中普遍存在的问题，在很多场景中样本的比例极度失衡，如果不进行处理，那么模型最终的效果可能不尽如人意。本篇收集整理了常用的样本平衡手段和方法。

样本不平衡

SMOTE

欠采样

过采样

机器学习样本不平衡问题

数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。所以机器学习的大部分时间都是在处理数据的过程中，掌握好特征工程的思路和方法，有更高的概率能获得高质量数据。

特征工程

数据预处理

机器学习特征工程

异常值可能是在数据采集、数据记录、数据提取等步骤中产生的，异常值的出现会对模型学习进行干扰，所以需要进行特殊处理。而在实际的生产环境中的异常值更是五花八门。

异常值

箱型图

异常检测

四分位

机器学习异常值识别和处理方法（附代码）

根据原数据构建了67个特征，尝试了多种算法和多次参数调优最终得分0.6925，记录过程分享一下。感觉数据指标还可以再优化，调参也还有进步空间，可以进一步优化提升。

实战

lightgbm

分类算法

算法大赛

天猫复购预测-挑战赛——Top 0.5%

数据分析可视化一直是短板，完全是因为不怎么用的缘故。把常用的方法整理一遍，以便用时查询。Seaborn基于 matplotlib 进一步封装。

Python数据处理三板斧

matplotlib

seaborn

可视化

Matplotlib & Seaborn 速查

在选择算法进行建模的时候，每种类型的算法中都有如此多可以用，我们如何选择一个最契合当前数据的模型？模型训练完之后，我们如何知道这个模型的效果？本文整理了机器学习中一些常用的评估方法

模型评估

模型选择

机器学习模型评估方法

今天在使用Chrome登录Quora时老是登不上，选择账号点登陆后，页面刷新后还是停留在登录页面。而且Quora的登录页面默认总是阿拉伯语。。

Quora

Chrome

Chrome登录Quora重定向问题

追了三天也没追上的日落，是我一周的痛~

日落

扫街

摄影

追日落

周末

消失的周末

PyTorch Geometric is a library for deep learning on irregular input data such as graphs, point clouds, and manifolds. skorch. skorch is a high-level library for ...

pytorch

速查

框架

Pytorch速查

这是一篇CSS的学习笔记。一直觉得拥有一个自己亲手写的网页会是一件很酷的事情，但是一直都没有开始去做这件事，最近终于下定决心从基础开始，一步步学习然后写一个自己的网页。

前端

【前端】CSS自学笔记

这是一篇JS的学习笔记。一直觉得拥有一个自己亲手写的网页会是一件很酷的事情，但是一直都没有开始去做这件事，最近终于下定决心从基础开始，一步步学习然后写一个自己的网页。

JavaScript

【前端】JavaScript自学笔记

NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。本篇主要整理了一些numpy中常用的一些方法，仅供学习记录和快速查询，还在持续更新中。

numpy

Numpy速查

GitHub作为全球最大的程序员交友网站，自然有很多优秀的开源项目。本篇主要是整理一些我用过觉得好用的或想用的一些GitHub开源项目，会进行持续更新。

Mac软件

开源

那些GitHub上开源项目

使用 Notion 搭建博客的最大优势就是实时更新博客内容，所以涌现出了很多的 Notion 博客项目， 这里稍作整理，不管是想深入研究并复刻还是自己设计时想借鉴都是个不错的选择。

博客

Notion

Notion博客项目汇总

在此之前，更新仓库是可以选定上游仓库的某个tag来进行更新合并代码的，但是现在无论怎么找都找不到了（网页版和桌面版都找了没有了），这么方便的功能，被取消了就很无语。

GitHub

GitHub Desktop

GitHub更新上游仓库的指定版本

本篇主要记录一些NotionNext博客的定制化参数、特性修改等更新步骤，让博客更具个性化，更符合自己的要求。如果网站有什么奇怪的地方，一定是这里出了问题~ 内容持续更新中

博客搭建

NotionNext博客定制历程

可能是因为许久没写东西了，也可能就是今天没心情上班，想上班摸鱼写点东西。Anyway，随便写点什么吧。感触很多，无从下笔，只能平铺直叙的记录着，也许这很平淡，但却是我真实的生活。

随想

思考

随便一说

六月随想

截止到目前，AI绘画领域比较主流的还是Midjourney和Stable Diffusion，但目前Midjourney已经没有免费的使用额度，而Stable Diffusion则是完全免费开源，并且其可扩展性很强；除了可以部署在各种平台上还能，还能更换模型创作不同风格的化作。

AI绘画

stable-diffusion-weiui

Stable Diffusion

AI绘画Stable Diffusion上手

本篇笔记收集整理了一些sklearn常用方法（不包含算法的调用，算法调用详见上一篇）的调用、参数详解和调用案例，仅供学习记录和快速查询，还在持续更新中。

Sklearn

Sklearn速查

这是一篇算法调用集合整理，搜集了一些常用的机器学习算法的调用方式、参数详解、调参方法和实例。仅供学习、记录和快速查询，内容还在持续更新中。