safcm: add ParseLogLevel()

go fmt

Move synchronization loop into new package frontend

This is in preparation for other programs (besides cmd/safcm) using the
safcm library. To reduce code duplication useful functions will be
provided by the frontend package. Its use is optional. All core
functionality is provided by the regular safcm packages.

The logging setup was slightly modified. Log messages are now no longer
filtered by Sync.log() but by the new log function Loop.LogEventFunc (or
its implementation logEvent()). This is also the reason why one test was
removed from sync_sync_test.go which is no longer relevant.

Move implementation of cmd/safcm-remote/ to remote/

This permits users of the safcm library to easily "implement"
`safcm-remote` simply by calling safcm/remote.Main(). They cannot use
the existing cmd/safcm-remote/ because the source tree is not directly
available when importing the library.

Move embedded remote helpers to cmd/safcm/

To permit using safcm as an actual library the helpers must be passed to
rpc.DialSSH() and not directly embedded.

safcm: don't hang on error before a connection is established

rpc: use SSHConfig struct as argument to DialSSH()

In preparation to add more arguments to DialSSH().

config: config.yaml: add global "ssh_user" option

This option is used as default value when the host option "ssh_user" is
empty. Like the host option it defaults to an empty value which tells
`ssh` to use the current user.

ci: build for Windows

Only added to Gitlab-CI because we just want to test if building works
in general.

safcm: add experimental support to sync from Windows hosts

This is _very_ experimental. The testsuite doesn't yet run on Windows
and only a few manual tests were run. Basically this is only present
because it was used to verify our changes to always use slash-separated
paths in the configuration on a real system. It seemed a waste to just
throw it away.

To build the binary for windows use (empty GOFLAGS to disable -race):

    make GOOS=windows GOFLAGS=

safcm: use only slash separated paths for the configuration

This change is in preparation to support running synchronizations from
Windows systems. However, Windows remotes won't be supported in the
foreseeable future.

safcm: simplify Sync.logf to take the log message as string

logf() is not directly called by regular code which makes the format
string less useful.

Also rename it to log().

Consistently use %v when (s)printing errors

Most of the code already used %v.

sync: go fmt

sync: shorten log messages by removing "info/sync remote:" prefix

The prefix provides little value as it already obvious what's happening
on the remote side and in which phase (info/sync). Keeping the log
messages shorter helps the user to focus on the important parts of the
message.

sync: simplify LogFunc to take the log message as string

LogFunc is not directly called by regular code which makes the format
string less useful.

sync: replace log.Logger interface with struct

PrefixLogger is the only implementation of Logger. Simply remove the
interface and rename PrefixLogger to Logger.

Makefile: add lint target to run shellcheck

sync: remove "detected" log message in packages/services

Don't waste one full log message to show the detected system. Instead,
append it to an existing log message.

Reorder log call in syncPackagesDebian() so the log message comes before
calling debianInstalledPackages(). This way errors from this function
show clearly where they originate.

remote: tests: hide testRunner functions in test output

This is not perfect because they are called from files like
cmd/safcm-remote/sync/commands.go which is not very helpful to figure
out which test case failed. However, it's better than showing
cmd/safcm-remote/sync/sync_test.go which was the previous behavior.

tests: improve another comment

changes: add "(hidden)" to commands with no output and quiet mode

This should make it more obvious why these commands are not shown.

safcm: tests: remove empty line

rpc: remove empty line

config: disallow negative permissions

rpc: replace append to sshOpts with assignment in DialSSH()

sshOpts is empty by default and assigned only once. Don't suggest that
this line is supposed to add to an existing value.

safcm: shorten error message on file conflict

It's obvious that the message talks about "files" because the path is
given immediately afterwards.

safcm: use better variable name in hostsToSync()

Having nameMatched and hostMatched is confusing. Follow the comment and
use hostAdded which describes the meaning more clearly.

safcm: don't color output if stderr is redirected

All log messages are printed to stderr. It's confusing to still get
colored output when redirecting stderr to a file; only redirecting
stdout as well fixed this.

changes: change dry-run messages to use "will"

Don't suggest that the change already took place. "dry-run" is still
printed to make it clear why no changes were made.

changes: tests: remove output for dry-run commands

Commands during a dry-run have no output. Don't use incorrect test
input.

config: tests: fix typo in group name

config: return map from TransitivelyDetectedGroups()

This is less clean than the original slice of strings. However, it
removes unnecessary code as the caller requires a map instead of a
slice.

config: use more explicit variable name in ResolveHostGroups()

config: rewrap line in ResolveHostGroups()

config: tests: replace FullPermToFileMode() with fs constants

FullPermToFileMode() is necessary in a few places but the tests should
use the common way in Go to set permissions. This is less confusing for
the reader.

sync: remove duplicate code in triggerPaths()

sync: include size in binary "diff"

sync: tests: use variable to reduce line wrapping

sync: tests: use "..." instead of `...` for regular strings

sync: tests: use strict perm for os.WriteFile() in CreateFile()

This parameter is modified by the umask. The proper permissions are set
by os.Chmod() afterwards. Don't confuse the reader by using a value
which is not relevant.

sync: tests: wrap overlong line

sync: tests: use CreateDirectoryExists()

sync: tests: check return value of setDefaults()

sync: tests: properly scope err variable

sync: tests: go fmt

sync: tests: rename triggers to expTriggers

safcm: tests: test detected groups with leading/trailing space

safcm: go fmt

safcm: strip invalid characters from detected os/arch groups

Handle them like any other detected group because the remote can send
invalid values. The current code can handle arbitrary group names just
fine but it's better to treat all untrusted input the same.

Improve and add comments

ci: suppress shellcheck warnings

$flags can contain multiple flags and we must expand them here.

README: mention root/wheel on BSD systems

README: fix typo

tests: run commands without side effects in end-to-end tests

README: multiple improvements

tests: add end-to-end test with configuration without any changes

sync: run most tests which modify the host only in CI

This is especially important in case the user executes the tests as root
(no recommended but not prevented either). Permissions on paths like /
or /tmp which differ from those expected by the test could otherwise be
modified by the tests.

However, the end-to-end SSH tests which write /tmp/safcm-remote-$uid
(but no other paths) are still run so we get proper coverage of basic
features.

tests: use filetest.CreateFifo() in config tests

sync: remove duplicate "priority" from group priority log message

Now that the configuration option is called "group_priority" we can
remove the second "priority" and spell out "descending" (takes less
space than before).

safcm: group_priority: use increasing priority values internally

It feels more natural that groups with higher priority have a higher
numeric value.

go fmt

config: rename group_order to group_priority

"Priority" describes the actual function better and it was already used
internally in the code anyway.

safcm: group_order: higher priority for listed groups over remaining groups

The priority for all groups listed in `group_order` was properly
respected: Early entries had the highest priority. However, groups which
were not listed in `group_order` had a higher priority and overwrote
files from all groups configured in `group_order`.

The priority is now as expected (from high to low): host itself, groups
in group_order (from high to low), remaining groups.

README: multiple improvements

changes: display "no changes" when nothing was changed

It's confusing to show nothing at all when no changes occur on a host.
To inform the user that the sync was successful but nothing changed
display a short message.

Makefile: move command to test target

The permissions are only relevant when running tests.

go fmt

tests: add very basic end-to-end test with real ssh server

At the moment only the helper upload without any actual configuration is
tested.

rpc: always create remote helper with user's group

If the group does not match the current user's group then the remote
helper will be uploaded again on each run.

Revert "ci: run tests with verbose output"

This reverts commit 444e9874424580361e00547b597d213370045057.

Turns out this is too noisy and less useful than I expected.

ci: use ./* in `rm -rf` to guard against option-like filenames

This won't be an issue in our case but it's good practice anyway.

Found by shellcheck

safcm: print unfinished hosts on Ctrl-C

remote: go fmt

remote: show group/trigger in verbose log for commands

This helps the user to figure out why the command was executed.

safcm: use Command struct instead of string to run commands

README: mention group and remove obvious sentence

README: mention why YAML was chosen

ci: run tests with verbose output

ci: check for untracked and unignored files

ci: build.sr.ht: run all tests also as root

config: only skip "invalid sticky" tests for non-root users

Add basic support for OpenBSD

Installing packages and starting/enabling services is not yet supported.
There are minor limitations when handling symlinks (see README.adoc).

/var/tmp is a symlink on OpenBSD so just remove this test.

Makefile: set -race via GOFLAGS= variable

config: groups: use "member" in "not found" error message

"group" was confusing, especially because "group" occurs at the
beginning of the error marking the group where the error occurred.

ci: also run tests with strict umask

Add basic support for FreeBSD

Installing packages and starting/enabling services is not yet supported.
There are minor limitations when handling symlinks (see README.adoc).

rpc: prepare to support more operating systems

Add build manifest for build.sr.ht

README.adoc: improve list of supported operating systems

rpc: document ConnEventType constants

README.adoc: mention full file content is sent to remote

testutil: show file/line of caller in messages

config: forbid ":remove" groups which conflict with hosts

Defining these groups had no effect but might confuse the user. As they
don't make any sense forbid them.

safcm: forbid syncing groups which depend on "detected" groups

config: add newline between error message and explanation

This makes the result more readable.

changes: shorten output to one line with quiet and only silent commands

changes: hide commands if quiet and dry-run is active

The goal of quiet is to get a quick overview what is happening or what
is going to happen (when combined with dry-run). While quiet worked fine
for non dry-run syncs it was not very helpful for dry-runs. This change
makes the output much more compact and readable with many commands and
hosts.

changes: refactor into separate function and add basic tests

README.adoc: mention quoted strings in limitations