彻底解决 Stata 无法读取过宽文件的问题&cnstock2 命令获取上市公司基本情况信息

在使用 Stata 爬数据的时候经常会遇到这样一个问题,就是文件中有的行过长(大约超过两万个字符就很难处理了)。这个时候会无法直接读入 Stata 作为一个变量处理。在过去,我常用的折中办法是使用 fileread()函数或者手动断行(当前这里需要用到 Sublime Text3 等编辑器的替换功能)。然而就在昨天晚上,我发现了一个永久解决这个麻烦的办法。

在 Stata 中执行 Python 代码

之前多次试着使用 Stata 的一个外部命令python来实现在 Stata 中运行 Python 命令, 但是一直都不成功,所以就只能放弃了. 想到 Python 是可以直接在终端运行的, 所以我就尝试了下面的方法, 还挺顺利.

graph3d——绘制立体的小心心

本文的代码来自贝林·查韦斯的个人网站:http://www.belenchavez.com/data-blog/happy-valentines-day-stata-style作为学习,我还进行了适当的改造。

Stata+ECharts 绘制中债国债到期收益率曲面

终于绘制出了自己心目中的收益率曲面!以后有时间再把它打包成命令。

2016 年以来人民币贬值的主要成因

这是金融综合上的一道题目,参考答案给出了一些原因,还列举了一些数据,所以自己就想自己收集一些数据看一下是不是那样的。
本文所有代码的 do 文件下载:2016 年以来人民币贬值分析.do

Stata 连接 MySQL 数据库的方案

Stata 可以通过 ODBC 连接数据库的,但是我试了很久也没有成功,然而昨天我想到了一个非常巧妙的方案······

快速绘制国债利率期限结构曲线

昨天发现了这个 shell 命令:cn-treasury-curve,开始以为是个 Python 的包,今天仔细学习才发现是个 shell 命令,可以自动获取并整理好一个国债利率期限结构的数据集。于是突发奇想想写个 Stata 命令。

colorscheme——调色选色命令

该命令返回一组对应于指定主题的 RGB 颜色,可以快速进行绘图的配色。
在下面一篇博客中用到了这个命令。

rcall 命令——Stata 中的 R 接口

在此之前的一篇文章《RStata 包——R 中的 Stata 接口》中讲述了如何在 R 中运行 Stata 命令并实现数据传递。而这篇文章正好相反,rcall命令可以实现在 Stata 中运行 R 代码并完成数据直接的传递。这个命令是 Stata 大佬 Haghish 编写的。

RStata 包——R 中的 Stata 接口

这个包是不久前发现的,可以在 R 中运行 Stata 代码并完成数据传递。

这个包的主要功能如下:

  1. 在 R 中执行 Stata 命令;
  2. 传送一个数据框给 Stata;
  3. 从 Stata 返回一个数据框给 R;

这个包的 Github 仓库地址为:https://github.com/lbraglia/RStata

也跟风一波疫苗事件~

最近长春长生疫苗案件超级火啊,昨天伍老师还分享给我一片微信推文我花了 14 个小时找了一下长春长生们究竟卖到了哪里去,读后感觉很有趣,所以就打算模仿原作者的思路自己也分析一波。为了省事,我就没有自己整理数据,而是直接使用了原作者开源的数据分析的,点击这里即可下载。
感谢伍老师的分享,感谢推文作者提供的开源数据。

暨南大学教务处排课选课表爬取

这段代码是寒假的时候写的,没想到现在还能运行,可以整理好教务处的排课选课列表然后做一些有趣的数据分析。

czxah--处理 iPhone 手机导出的健康数据文件

这是一个用来处理 iphone 手机导出的健康数据的命令,通过对选择项的选择,可以提取不同的数据及绘制不同的图像。

这个命令,我记得是我的第二个命令,最开始的版本非常复杂,后来今年寒假的时候整理了一下。这个命令可以很方便的出来苹果手机导出的数据文件。

cupdatecheck--检查最新版本的 Stata 离线更新包的版本

最开始这个命令分成两个部分,cupdate checkcupdate install,但是由于网络原因,cupdate install总是很难成功,所以现在就只保留更新检查了。不过运行命令也修改为cupdatecheck

pmapi 命令——PM25.in 接口调用

这个网站是昨天发现的,上面介绍了如何调用其提供的接口获取空气质量数据。Pm25.in API

几种编程语言中调用 shell 命令方法汇总

在此之前只是到 Stata 中调用 shell 命令的方法,所以一旦遇到需要 curl 等 shell 命令的地方就不得不使用 Stata 来处理,虽然很喜欢 Stata,但是 Stata 最让人难受的地方就是当字符串过长的时候无法读入内存中,因此对 json 等格式的文件处理效果很糟糕。今天随手搜索来一下其它几种语言中调用 shell 命令的方法,试了好几种搜索姿势。最后发现,这样搜索才能搜索到:C++中调用shell, Python中调用shell···

从暨大体育获取全体同学的身份信息

今天爬到了全校所有同学的基本信息,包括身份证号。然后我在看数据的时候无意中发现的开头为 341225 的一些人,毫无疑问啊,这个就是我们县的!而且应该就是我们学校的!于是心声感概选择了这个海报的图片做封面。
今天爬了暨大体育的网站:网址是这个:https://tzcs.jnu.edu.cn/ 。网站的登录用户名和密码都是学号(不用尝试我的了,我刚刚改了密码)。
这个网站可能最近被我丁文亮请求过于频繁崩溃掉。

微信推文图片的下载

本文分别使用了 Stata 和 Python 写了两个用于爬取微信推文页面中图片的程序。

暨南大学图书馆入馆数据爬取

这个就非常有趣了,突然想到图书馆的数据统计可以爬,然后赶紧研究了下网页结构:

本文产生的 Stata 命令
libdata.ado

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×