Go语言和Python使用Spatialite配置（Linux和Windows）

黑麋鹿收录于类别 CodeOfSpatial

2023-12-19 2023-12-19 约 2766 字预计阅读 6 分钟

Windows

关于Windows的解决方案，仅在Python语言中测试通过 GO语言在Windows下加载Spatialite仍然未通过。

全网唯一的一篇如何在Windows下Python编程配置Spatialite的教程，非常详细，建议大家看一看

核心要点

下载Spatialite的库文件，完整的库文化由多个.dll相互依赖的DLL组成，一个不能少；
将Spatialite的库文件的存放目录添加到环境变量Path中；
下载sqlite3最新版的库文件sqlite3.dll，也放在系统环境变量Path路径中，如C:\Windows\system32等；

为什么要使用最新版：从此文得知，要使用Spatialite扩展，需要sqlite3支持R-tree，是否支持的测试方法，sqlite中执行以下sql语句不报错：CREATE VIRTUAL TABLE testrtree USING rtree(id,minX,maxX,minY,maxY);

Python编程语言在使用sqlite3包及后续加载Spatialite扩展时会自动到Path环境变量中搜索相应DLL，如果没有找到，就会报错；下载方法：

访问：https://www.gaia-gis.it/gaia-sins/ 找到MS Windows binaries -> current stable version 截止到成文时的最新版下载地址

Windows环境下Go语言加载Spatialite（全网唯一）

~~虽然GO语言有现成的加载Spatialite的实现：https://github.com/shaxbee/go-spatialite~~ ~~但是其仅适用于Linux类环境，经测试Windows下加载Spatialite仍然未通过，原因未知。~~

2023年12月25日17时测试发现：将本文Go语言使用Spatialite章节中的代码放在Spatialite库文件目录中，可正常运行了，也就是说，Go语言在Windows下加载Spatialite，编译程序需要直接在当前目录查找mod-spatialite库文件，而不会在Path中搜索mod-spatialite库文件。整体目录结果如下：

1
2
3
4
5
6
7


    main.go
    go.mod
    go.sum
    mod_spatialite.dll
    libcrypto-3-x64.dll
    libcurl-4.dll
    ....

2023年12月25日20时再次测试发现：

直接在SQLiteDriver中指定mod-spatialite库文件路径就能正常运行代码，完整代码如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30


package main

import (
	"database/sql"
	"fmt"
	"log"

	"github.com/mattn/go-sqlite3"
)

func main() {
	sql.Register("sqlite3_with_spatialite",
		&sqlite3.SQLiteDriver{
			Extensions: []string{"C:/spatialite/mod_spatialite.dll"},
		})

	db, err := sql.Open("sqlite3_with_spatialite", ":memory:")
	if err != nil {
		log.Panic(err)
	}
	defer db.Close()
	// 要使用地理数据库，必须执行以下sql来初始化 spatialite，多次执行无害处，也无益处
	q := "SELECT InitSpatialMetaData();"
	db.Query(q)

	var r interface{}
	q = "SELECT spatialite_version();"
	db.QueryRow(q).Scan(&r)
	fmt.Println(r)
}

将文本型地理数据导入到`Spatialite`数据库中

工具实现

使用脚本将所有数据汇集到一个GEOJSON文件中； 2 .使用Spatialite GUI（成文时的官方下载地址）导入GEOJSON文件；
保存到Spatialite数据库。坑使用Spatialite GUI加载https://www.geojson.io生成的GEOJSON文件，结果报错load GeoJSON error:GeoJSON parser: invalid Geometry (fid=1)

官方文档关于Spatialite GUI加载GEOJSON文件的描述也没有解决方法。故，还是只能走编程事先的路。

编程实现

见：https://coloraven.github.io/2023/12/geopandas读取geojson文件并写入Spatialite数据库/

Linux

环境配置

直接使用apt安装，如apt-get install libsqlite3-mod-spatialite（Ubuntu测试通过）
从http://www.gaia-gis.it下载最新的Linux版本的Spatialite库文件，然后自行编译（不推荐）

1
2
3
4
5
6


wget https://www.gaia-gis.it/gaia-sins/libspatialite-sources/libspatialite-xxxxxxx.tar.gz
tar xaf libspatialite-xxxxxxx.tar.gz
cd libspatialite-xxxxxxx
./configure
make
sudo make install

Go语言使用Spatialite

~~方法暂不支持Windows~~ 来源：https://gist.github.com/ptrv/6335248

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30


package main

import (
	"database/sql"
	"fmt"
	"log"

	"github.com/mattn/go-sqlite3"
)

func main() {
	sql.Register("sqlite3_with_spatialite",
		&sqlite3.SQLiteDriver{
			Extensions: []string{"mod_spatialite"}, // Windows必须指定mod_spatialite.dll的绝对路径
		})

	db, err := sql.Open("sqlite3_with_spatialite", ":memory:")
	if err != nil {
		log.Panic(err)
	}
	defer db.Close()
	// 要使用地理数据库，必须执行以下sql来初始化 spatialite，多次执行无害处，也无益处
	q := "SELECT InitSpatialMetaData();"
	db.Query(q)

	var r interface{}
	q = "SELECT spatialite_version();"
	db.QueryRow(q).Scan(&r)
	fmt.Println(r)
}

Docker

Alpine

已编译好的现成容器（基于alpine）：

SpatiaLite: https://github.com/Geocodio/docker-alpine-spatialite
SQLite + SpatiaLite: https://github.com/wakumaku/spatialite
docker hub中使用数最多的容器： https://github.com/Geocodio/docker-alpine-spatialite

Windows下本地容器Linux开发环境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


FROM golang:alpine3.19
RUN sed -i 's/dl-cdn.alpinelinux.org/mirrors.tuna.tsinghua.edu.cn/g' /etc/apk/repositories
COPY --from=geocodio/alpine-spatialite /usr/lib/ /usr/lib
COPY --from=geocodio/alpine-spatialite /usr/bin/ /usr/bin
# 解决以下报错
# # runtime/cgo
# _cgo_export.c:3:10: fatal error: stdlib.h: No such file or directory
#     3 | #include <stdlib.h>
#       |          ^~~~~~~~~~
# compilation terminated.
RUN apk add --no-cache build-base
# 创建存放目录
RUN mkdir -p /app
WORKDIR /app
# 设置 go 国内源
RUN go env -w GOPROXY=https://goproxy.cn,direct
# 开启cgo编译
RUN go env -w CGO_ENABLED=1
# COPY --from=wakumaku/spatialite /usr/local/bin/sqlite3 /usr/local/bin/sqlite3
EXPOSE 3000

Ubuntu下编译Spatialite：https://github.com/Dushistov/libspatialite

其他【关联文章备份】

各个系统下Spatialite的编译：https://github.com/Dushistov/libspatialite
修改此处代码的libspatialite为mod_spatialite即可在Linux中成功运行：https://github.com/pampa0629/gogis/blob/cc934844d334c46a1dc6ef42c8488d4179edd902/src/gogis/study/spatialite-tst.go
sourcegraph.com中搜索mod_spatialite lang:Go来获取Go语言的mod_spatialite加载Spatialite的实现：https://sourcegraph.com/search?q=context:global+++++mod_spatialite+lang:Go&patternType=standard&sm=1&groupBy=repo
一个专注于空间地理的Go项目：https://github.com/go-spatial/geom
关于无法加载Spatialite的讨论：https://groups.google.com/g/Golang-nuts/c/Kj0WKQaLBqY
中文作者用GO实现的GIS功能，其中有Spatialite的加载及测试，项目地址：https://github.com/pampa0629/gogis
GO语言的加载Spatialite的实现:https://github.com/shaxbee/go-spatialite
纯Go实现的地理关系计算：https://github.com/tidwall/geojson/geometry
https://github.com/golang/geo/s2
https://github.com/paulmach/orb
自带地理数据库的web服务，https://github.com/tidwall/tile38
https://mp.weixin.qq.com/s/ZHVBLhd8yNuSynRCgLXQcQ
geopanda 写入spatialite： https://www.giacomodebidda.com/posts/export-a-geodataframe-to-spatialite/

目录