]> ruderich.org/simon Gitweb - blhc/blhc.git/blob - bin/blhc
2e48bbc063c6bc466ee6c6ceaae4eba42929e9b4
[blhc/blhc.git] / bin / blhc
1 #!/usr/bin/perl
2
3 # Build log hardening check, checks build logs for missing hardening flags.
4
5 # Copyright (C) 2012-2024  Simon Ruderich
6 #
7 # This program is free software: you can redistribute it and/or modify
8 # it under the terms of the GNU General Public License as published by
9 # the Free Software Foundation, either version 3 of the License, or
10 # (at your option) any later version.
11 #
12 # This program is distributed in the hope that it will be useful,
13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15 # GNU General Public License for more details.
16 #
17 # You should have received a copy of the GNU General Public License
18 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
19
20
21 use strict;
22 use warnings;
23
24 use Getopt::Long ();
25 use Text::ParseWords ();
26
27 our $VERSION = '0.13';
28
29
30 # CONSTANTS/VARIABLES
31
32 # Regex to catch compiler commands.
33 my $cc_regex = qr/
34     (?<!\s-)               # ignore options, e.g. "-c++" [sic!] (used by swig)
35     (?<!\.)                # ignore file names, e.g. "test.gcc"
36     (?:cc|gcc|g\+\+|c\+\+|gfortran|mpicc|mpicxx|mpifort)
37     (?:-[\d.]+)?           # version suffix, e.g. "gcc-4.6"
38     /x;
39 # Full regex which matches the complete compiler name. Used in a few places to
40 # prevent false negatives.
41 my $cc_regex_full_prefix = qr/
42     [a-z0-9_]+-(?:linux-|kfreebsd-)?gnu(?:eabi|eabihf)?
43     /x;
44 my $cc_regex_full = qr/
45     (?:$cc_regex_full_prefix-)?
46     $cc_regex
47     /x;
48 # Regex to check if a line contains a compiler command.
49 my $cc_regex_normal = qr/
50     \b$cc_regex(?:\s|\\)
51     /x;
52 my $rustc_regex = qr/
53     \brustc\b
54     /x;
55 # Regex to catch (GCC) compiler warnings.
56 my $warning_regex = qr/^(.+?):(\d+):\d+: warning: (.+?) \[(.+?)\]$/;
57 # Regex to catch libtool commands and not lines which show commands executed
58 # by libtool (e.g. libtool: link: ...).
59 my $libtool_regex = qr/\blibtool["']?\s.*--mode=/;
60 my $libtool_link_regex = qr/\blibtool: link: /;
61
62 # List of source file extensions which require preprocessing.
63 my @source_preprocess_compile_cpp = (
64     # C++
65     qw( cc cp cxx cpp CPP c++ C ),
66     # Objective-C++
67     qw( mm M ),
68 );
69 my @source_preprocess_compile_fortran = (
70     # Fortran
71     qw( F FOR fpp FPP FTN F90 F95 F03 F08 ),
72 );
73 my @source_preprocess_compile = (
74     # C
75     qw( c ),
76     # Objective-C
77     qw( m ),
78     # (Objective-)C++
79     @source_preprocess_compile_cpp,
80     # Fortran
81     @source_preprocess_compile_fortran,
82 );
83 my @source_preprocess_no_compile = (
84     # Assembly
85     qw( S sx ),
86 );
87 my @source_preprocess = (
88     @source_preprocess_compile,
89     @source_preprocess_no_compile,
90 );
91 # List of source file extensions which don't require preprocessing.
92 my @source_no_preprocess_compile_cpp = (
93     # C++
94     qw( ii ),
95     # Objective-C++
96     qw( mii ),
97 );
98 my @source_no_preprocess_compile_ada = (
99     # Ada source
100     qw( ada ),
101     # Ada body
102     qw( adb ),
103 );
104 my @source_no_preprocess_compile_fortran = (
105     # Fortran
106     qw( f for ftn f90 f95 f03 f08 ),
107 );
108 my @source_no_preprocess_compile = (
109     # C
110     qw( i ),
111     # (Objective-)C++
112     @source_no_preprocess_compile_cpp,
113     # Objective-C
114     qw( mi ),
115     # Fortran
116     @source_no_preprocess_compile_fortran,
117     # Ada
118     @source_no_preprocess_compile_ada,
119 );
120 my @source_no_preprocess_no_compile_ada = (
121     # Ada specification
122     qw( ads ),
123 );
124 my @source_no_preprocess_no_compile = (
125     # Assembly
126     qw( s ),
127     # Ada
128     @source_no_preprocess_no_compile_ada,
129 );
130 my @source_no_preprocess = (
131     @source_no_preprocess_compile,
132     @source_no_preprocess_no_compile,
133 );
134 # List of header file extensions which require preprocessing.
135 my @header_preprocess = (
136     # C, C++, Objective-C, Objective-C++
137     qw( h ),
138     # C++
139     qw( hh H hp hxx hpp HPP h++ tcc ),
140 );
141 # Object files.
142 my @object = (
143     # Normal object files.
144     qw ( o ),
145     # Libtool object files.
146     qw ( lo la ),
147     # Dynamic libraries. bzip2 uses .sho.
148     qw ( so sho ),
149     # Static libraries.
150     qw ( a ),
151 );
152
153 # Hashes for fast extensions lookup to check if a file falls in one of these
154 # categories.
155 my %extensions_no_preprocess = map { $_ => 1 } (
156     # There's no @header_no_preprocess.
157     @source_no_preprocess,
158 );
159 my %extensions_preprocess = map { $_ => 1 } (
160     @header_preprocess,
161     @source_preprocess,
162 );
163 my %extensions_compile_link = map { $_ => 1 } (
164     @source_preprocess,
165     @source_no_preprocess,
166 );
167 my %extensions_compile = map { $_ => 1 } (
168     @source_preprocess_compile,
169     @source_no_preprocess_compile,
170 );
171 my %extensions_no_compile = map { $_ => 1 } (
172     @source_preprocess_no_compile,
173     @source_no_preprocess_no_compile,
174 );
175 my %extensions_compile_cpp = map { $_ => 1 } (
176     @source_preprocess_compile_cpp,
177     @source_no_preprocess_compile_cpp,
178 );
179 my %extensions_ada = map { $_ => 1 } (
180     @source_no_preprocess_compile_ada,
181     @source_no_preprocess_no_compile_ada,
182 );
183 my %extensions_fortran = map { $_ => 1 } (
184     @source_no_preprocess_compile_fortran,
185     @source_preprocess_compile_fortran,
186 );
187 my %extensions_object = map { $_ => 1 } (
188     @object,
189 );
190 my %extension = map { $_ => 1 } (
191     @source_no_preprocess,
192     @header_preprocess,
193     @source_preprocess,
194     @object,
195 );
196
197 # Regexp to match file extensions.
198 my $file_extension_regex = qr/
199     \s
200     \S+             # Filename without extension.
201     \.
202     ([^\/\\.,;:\s]+)# File extension.
203     (?=\s|\\)       # At end of word. Can't use \b because some files have non
204                     # word characters at the end and because \b matches double
205                     # extensions (like .cpp.o). Works always as all lines are
206                     # terminated with "\n".
207     /x;
208
209 # Expected (hardening) flags. All flags are used as regexps (and compiled to
210 # real regexps below for better execution speed).
211 my @def_cflags = (
212     '-g3?',
213     '-O(?:2|3)', # keep at index 1, search for @def_cflags_debug to change it
214 );
215 my @def_cflags_debug = (
216     # These flags indicate a debug build which disables checks for -O2.
217     '-O0',
218     '-Og',
219 );
220 my @def_cflags_format = (
221     '-Wformat(?:=2)?', # -Wformat=2 implies -Wformat, accept it too
222     '-Werror=format-security', # implies -Wformat-security
223 );
224 my @def_cflags_fortify = (
225     # fortify needs at least -O1, but -O2 is recommended anyway
226 );
227 my @def_cflags_stack = (
228     '-fstack-protector', # keep first, used by cflags_stack_broken()
229     '--param[= ]ssp-buffer-size=4',
230 );
231 my @def_cflags_stack_strong = (
232     '-fstack-protector-strong', # keep first, used by cflags_stack_broken()
233 );
234 my @def_cflags_stack_bad = (
235     # Blacklist all stack protector options for simplicity.
236     '-fno-stack-protector',
237     '-fno-stack-protector-all',
238     '-fno-stack-protector-strong',
239 );
240 my @def_cflags_pie = (
241     '-fPIE',
242 );
243 my @def_cxxflags = (
244     @def_cflags,
245 );
246 # @def_cxxflags_* is the same as @def_cflags_*.
247 my @def_cppflags = ();
248 my @def_cppflags_fortify = (
249     '-D_FORTIFY_SOURCE=[23]', # must be first, see cppflags_fortify_broken()
250     # If you add another flag fix hack below (search for "Hack to fix") and
251     # $def_cppflags_fortify[0].
252 );
253 my @def_cppflags_fortify_bad = (
254     # These flags may overwrite -D_FORTIFY_SOURCE=2.
255     '-U_FORTIFY_SOURCE',
256     '-D_FORTIFY_SOURCE=0',
257     '-D_FORTIFY_SOURCE=1',
258 );
259 my @def_ldflags = ();
260 my @def_ldflags_relro = (
261     '-Wl,(?:-z,)?relro',
262 );
263 my @def_ldflags_bindnow = (
264     '-Wl,(?:-z,)?now',
265 );
266 my @def_ldflags_pie = (
267     '-fPIE',
268     '-pie',
269 );
270 my @def_ldflags_pic = (
271     '-fPIC',
272     '-fpic',
273     '-shared',
274 );
275 # References to all flags checked by the flag checker.
276 my @flag_refs = (
277     \@def_cflags,
278     \@def_cflags_format,
279     \@def_cflags_fortify,
280     \@def_cflags_stack,
281     \@def_cflags_stack_strong,
282     \@def_cflags_stack_bad,
283     \@def_cflags_pie,
284     \@def_cxxflags,
285     \@def_cppflags,
286     \@def_cppflags_fortify,
287     \@def_ldflags,
288     \@def_ldflags_relro,
289     \@def_ldflags_bindnow,
290     \@def_ldflags_pie,
291 );
292 # References to all used flags.
293 my @flag_refs_all = (
294     @flag_refs,
295     \@def_cflags_debug,
296     \@def_cppflags_fortify_bad,
297     \@def_ldflags_pic,
298 );
299 # Renaming rules for the output so the regex parts are not visible. Also
300 # stores string values of flag regexps above, see compile_flag_regexp().
301 my %flag_renames = (
302     '-g3?'                         => '-g',
303     '-O(?:2|3)'                    => '-O2',
304     '-Wformat(?:=2)?'              => '-Wformat',
305     '--param[= ]ssp-buffer-size=4' => '--param=ssp-buffer-size=4',
306     '-D_FORTIFY_SOURCE=[23]'       => '-D_FORTIFY_SOURCE=2',
307     '-Wl,(?:-z,)?relro'            => '-Wl,-z,relro',
308     '-Wl,(?:-z,)?now'              => '-Wl,-z,now',
309 );
310
311 my %exit_code = (
312     no_compiler_commands => 1 << 0,
313     # used by POD::Usage => 1 << 1,
314     non_verbose_build    => 1 << 2,
315     flags_missing        => 1 << 3,
316     hardening_wrapper    => 1 << 4,
317     invalid_cmake        => 1 << 5,
318 );
319
320 my %buildd_tag = (
321     no_compiler_commands => 'I-no-compiler-commands',
322     non_verbose_build    => 'W-compiler-flags-hidden',
323     flags_missing        => 'W-dpkg-buildflags-missing',
324     hardening_wrapper    => 'I-hardening-wrapper-used',
325     invalid_cmake        => 'I-invalid-cmake-used',
326 );
327
328 # Statistics of missing flags and non-verbose build commands. Used for
329 # $option_buildd.
330 my %statistics = (
331     preprocess          => 0,
332     preprocess_missing  => 0,
333     compile             => 0,
334     compile_missing     => 0,
335     compile_cpp         => 0,
336     compile_cpp_missing => 0,
337     link                => 0,
338     link_missing        => 0,
339     commands            => 0,
340     commands_nonverbose => 0,
341 );
342
343 # Use colored (ANSI) output?
344 my $option_color;
345
346
347 # FUNCTIONS
348
349 sub split_line {
350     my ($line) = @_;
351
352     my @work = ($line);
353     foreach my $delim (';', '&&', '||') {
354         my @x;
355         foreach (@work) {
356             push @x, Text::ParseWords::parse_line(qr/\Q$delim\E/, 1, $_);
357         }
358         @work = @x;
359     }
360
361     return map {
362         # Ensure newline at the line end - necessary for
363         # correct parsing later.
364         $_ =~ s/\s+$//;
365         $_ .= "\n";
366     } @work;
367 }
368
369 sub error_flags {
370     my ($message, $missing_flags_ref, $flag_renames_ref, $line, $number) = @_;
371
372     # Get string value of qr//-escaped regexps and if requested rename them.
373     my @missing_flags = map {
374             $flag_renames_ref->{$_}
375         } @{$missing_flags_ref};
376
377     my $flags = join ' ', @missing_flags;
378     printf '%d:', $number if defined $number;
379     printf '%s (%s)%s %s',
380            error_color($message, 'red'), $flags, error_color(':', 'yellow'),
381            $line;
382
383     return;
384 }
385 sub error_non_verbose_build {
386     my ($line, $number) = @_;
387
388     printf '%d:', $number if defined $number;
389     printf '%s%s %s',
390            error_color('NONVERBOSE BUILD', 'red'),
391            error_color(':', 'yellow'),
392            $line;
393
394     return;
395 }
396 sub error_invalid_cmake {
397     my ($version) = @_;
398
399     printf "%s%s %s\n",
400             error_color('INVALID CMAKE', 'red'),
401             error_color(':', 'yellow'),
402             $version;
403
404     return;
405 }
406 sub error_hardening_wrapper {
407     printf "%s%s %s\n",
408             error_color('HARDENING WRAPPER', 'red'),
409             error_color(':', 'yellow'),
410             'no checks possible, aborting';
411
412     return;
413 }
414 sub error_color {
415     my ($message, $color) = @_;
416
417     if ($option_color) {
418         return Term::ANSIColor::colored($message, $color);
419     } else {
420         return $message;
421     }
422 }
423
424 sub any_flags_used {
425     my ($line, @flags) = @_;
426
427     foreach my $flag (@flags) {
428         return 1 if $line =~ /$flag/;
429     }
430
431     return 0;
432 }
433 sub all_flags_used {
434     my ($line, $missing_flags_ref, @flags) = @_;
435
436     my @missing_flags = ();
437     foreach my $flag (@flags) {
438         if (not $line =~ /$flag/) {
439             push @missing_flags, $flag;
440         }
441     }
442
443     return 1 if scalar @missing_flags == 0;
444
445     @{$missing_flags_ref} = @missing_flags;
446     return 0;
447 }
448 # Check if any of \@bad_flags occurs after $good_flag. Doesn't check if
449 # $good_flag is present.
450 sub flag_overwritten {
451     my ($line, $good_flag, $bad_flags) = @_;
452
453     if (not any_flags_used($line, @{$bad_flags})) {
454         return 0;
455     }
456
457     my $bad_pos = 0;
458     foreach my $flag (@{$bad_flags}) {
459         while ($line =~ /$flag/g) {
460             if ($bad_pos < $+[0]) {
461                 $bad_pos = $+[0];
462             }
463         }
464     }
465     my $good_pos = 0;
466     while ($line =~ /$good_flag/g) {
467         $good_pos = $+[0];
468     }
469     if ($good_pos > $bad_pos) {
470         return 0;
471     }
472     return 1;
473 }
474
475 sub cppflags_fortify_broken {
476     my ($line, $missing_flags) = @_;
477
478     # $def_cppflags_fortify[0] must be -D_FORTIFY_SOURCE=2!
479     my $fortify_source = $def_cppflags_fortify[0];
480
481     # Some build systems enable/disable fortify source multiple times, check
482     # the final result.
483     if (not flag_overwritten($line,
484                              $fortify_source,
485                              \@def_cppflags_fortify_bad)) {
486         return 0;
487     }
488     push @{$missing_flags}, $fortify_source;
489     return 1;
490 }
491
492 sub cflags_stack_broken {
493     my ($line, $missing_flags, $strong) = @_;
494
495     my $flag = $strong ? $def_cflags_stack_strong[0]
496                        : $def_cflags_stack[0];
497
498     if (not flag_overwritten($line, $flag, \@def_cflags_stack_bad)) {
499         return 0;
500     }
501     push @{$missing_flags}, $flag;
502     return 1;
503 }
504
505 # Modifies $missing_flags_ref array.
506 sub pic_pie_conflict {
507     my ($line, $pie, $missing_flags_ref, @flags_pie) = @_;
508
509     return 0 if not $pie;
510     return 0 if not any_flags_used($line, @def_ldflags_pic);
511
512     my %flags = map { $_ => 1 } @flags_pie;
513
514     # Remove all PIE flags from @missing_flags as they are not required with
515     # -fPIC.
516     my @result = grep {
517         not exists $flags{$_}
518     } @{$missing_flags_ref};
519     @{$missing_flags_ref} = @result;
520
521     # We got a conflict when no flags are left, thus only PIE flags were
522     # missing. If other flags were missing abort because the conflict is not
523     # the problem.
524     return scalar @result == 0;
525 }
526
527 sub is_non_verbose_build {
528     my ($line, $cargo, $skip_ref, $input_ref, $line_offset, $line_count) = @_;
529
530     if ($line =~ /$libtool_regex/o) {
531         # libtool's --silent hides the real compiler flags.
532         if ($line =~ /\s--silent/) {
533             return 1;
534         # If --silent is not present, skip this line as some compiler flags
535         # might be missing (e.g. -fPIE) which are handled correctly by libtool
536         # internally. libtool displays the real compiler command on the next
537         # line, so the flags are checked as usual.
538         } else {
539             ${$skip_ref} = 1;
540             return 0;
541         }
542     }
543
544     if (not (index($line, 'checking if you want to see long compiling messages... no') == 0
545                 or $line =~ /^\s*\[?(?:CC|CCLD|C\+\+|CXX|CXXLD|LD|LINK)\]?\s+(.+?)$/
546                 or $line =~ /^\s*[][\/0-9 ]*[Cc]ompiling\s+(.+?)(?:\.\.\.)?$/
547                 or $line =~ /^\s*[Bb]uilding (?:program|shared library)\s+(.+?)$/
548                 or $line =~ /^\s*\[[\d ]+%\] Building (?:C|CXX) object (.+?)$/)) {
549         return 0;
550     }
551
552     # False positives.
553     #
554     # C++ compiler setting.
555     return 0 if $line =~ /^\s*C\+\+.+?:\s+(?:yes|no)\s*$/;
556     return 0 if $line =~ /^\s*C\+\+ Library: stdc\+\+$/;
557     # "Compiling" non binary files.
558     return 0 if $line =~ /^\s*Compiling \S+\.(?:py|pyx|el)['"]?\s*(?:\.\.\.|because it changed\.)?$/;
559     return 0 if $line =~ /^\s*[Cc]ompiling catalog \S+\.po\b/;
560     # cargo build
561     return 0 if $cargo and $line =~ m{^\s*Compiling\s+\S+\s+v\S+(?:\s+\(/<<PKGBUILDDIR>>\))?$};
562     # "Compiling" with no file name.
563     if ($line =~ /^\s*[Cc]ompiling\s+(.+?)(?:\.\.\.)?$/) {
564         # $file_extension_regex may need spaces around the filename.
565         return 0 if not " $1 " =~ /$file_extension_regex/o;
566     }
567
568     my $file = $1;
569
570     # On the first pass we only check if this line is verbose or not.
571     return 1 if not defined $input_ref;
572
573     # Second pass, we have access to the next lines.
574     ${$skip_ref} = 0;
575
576     # CMake and other build systems print the non-verbose messages also when
577     # building verbose. If a compiler and the file name occurs in the next
578     # lines, treat it as verbose build.
579     if (defined $file) {
580         # Get filename, we can't use the complete path as only parts of it are
581         # used in the real compiler command.
582         $file =~ m{/([^/\s]+)$};
583         $file = $1;
584
585         for (my $i = 1; $i <= $line_count; $i++) {
586             my $next_line = $input_ref->[$line_offset + $i];
587             last unless defined $next_line;
588
589             if (index($next_line, $file) != -1 and $next_line =~ /$cc_regex/o) {
590                 # Not a non-verbose line, but we still have to skip the
591                 # current line as it doesn't contain any compiler commands.
592                 ${$skip_ref} = 1;
593                 return 0;
594             }
595         }
596     }
597
598     return 1;
599 }
600
601 # Remove @flags from $flag_refs_ref, uses $flag_renames_ref as reference.
602 sub remove_flags {
603     my ($flag_refs_ref, $flag_renames_ref, @flags) = @_;
604
605     my %removes = map { $_ => 1 } @flags;
606     foreach my $flags (@{$flag_refs_ref}) {
607         @{$flags} = grep {
608             # Flag found as string.
609             not exists $removes{$_}
610             # Flag found as string representation of regexp.
611                 and (not defined $flag_renames_ref->{$_}
612                         or not exists $removes{$flag_renames_ref->{$_}})
613         } @{$flags};
614     }
615
616     return;
617 }
618
619 # Modifies $flag_renames_ref hash.
620 sub compile_flag_regexp {
621     my ($flag_renames_ref, @flags) = @_;
622
623     my @result = ();
624     foreach my $flag (@flags) {
625         # Compile flag regexp for faster execution.
626         my $regex = qr/\s(['"]?)$flag\1(?:\s|\\)/;
627
628         # Store flag name in replacement string for correct flags in messages
629         # with qr//ed flag regexps.
630         $flag_renames_ref->{$regex}
631             = (exists $flag_renames_ref->{$flag})
632                 ? $flag_renames_ref->{$flag}
633                 : $flag;
634
635         push @result, $regex;
636     }
637     return @result;
638 }
639
640 # Does any extension in @extensions exist in %{$extensions_ref}?
641 sub extension_found {
642     my ($extensions_ref, @extensions) = @_;
643
644     foreach my $extension (@extensions) {
645         if (exists $extensions_ref->{$extension}) {
646             return 1;
647         }
648     }
649     return 0;
650 }
651
652
653 # MAIN
654
655 # Parse command line arguments.
656 my $option_help             = 0;
657 my $option_version          = 0;
658 my $option_pie              = 0;
659 my $option_bindnow          = 0;
660 my @option_ignore_arch      = ();
661 my @option_ignore_flag      = ();
662 my @option_ignore_arch_flag = ();
663 my @option_ignore_line      = ();
664 my @option_ignore_arch_line = ();
665 my $option_all              = 0;
666 my $option_arch             = undef;
667 my $option_buildd           = 0;
668 my $option_debian           = 0;
669    $option_color            = 0;
670 my $option_line_numbers     = 0;
671 if (not Getopt::Long::GetOptions(
672             'help|h|?'           => \$option_help,
673             'version'            => \$option_version,
674             # Hardening options.
675             'pie'                => \$option_pie,
676             'bindnow'            => \$option_bindnow,
677             'all'                => \$option_all,
678             # Ignore.
679             'ignore-arch=s'      => \@option_ignore_arch,
680             'ignore-flag=s'      => \@option_ignore_flag,
681             'ignore-arch-flag=s' => \@option_ignore_arch_flag,
682             'ignore-line=s'      => \@option_ignore_line,
683             'ignore-arch-line=s' => \@option_ignore_arch_line,
684             # Misc.
685             'color'              => \$option_color,
686             'arch=s'             => \$option_arch,
687             'buildd'             => \$option_buildd,
688             'debian'             => \$option_debian,
689             'line-numbers'       => \$option_line_numbers,
690         )) {
691     require Pod::Usage;
692     Pod::Usage::pod2usage(2);
693 }
694 if ($option_help) {
695     require Pod::Usage;
696     Pod::Usage::pod2usage(1);
697 }
698 if ($option_version) {
699     print <<"EOF";
700 blhc $VERSION  Copyright (C) 2012-2024  Simon Ruderich
701
702 This program is free software: you can redistribute it and/or modify
703 it under the terms of the GNU General Public License as published by
704 the Free Software Foundation, either version 3 of the License, or
705 (at your option) any later version.
706
707 This program is distributed in the hope that it will be useful,
708 but WITHOUT ANY WARRANTY; without even the implied warranty of
709 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
710 GNU General Public License for more details.
711
712 You should have received a copy of the GNU General Public License
713 along with this program.  If not, see <http://www.gnu.org/licenses/>.
714 EOF
715     exit 0;
716 }
717
718 # Arguments missing.
719 if (scalar @ARGV == 0) {
720     require Pod::Usage;
721     Pod::Usage::pod2usage(2);
722 }
723
724 # Don't load Term::ANSIColor in buildd mode because Term::ANSIColor is not
725 # installed on Debian's buildds.
726 if (not $option_buildd) {
727     require Term::ANSIColor;
728 }
729
730 if ($option_all) {
731     $option_pie     = 1;
732     $option_bindnow = 1;
733 }
734
735 # Precompiled ignores for faster lookup.
736 my %option_ignore_arch_flag = ();
737 my %option_ignore_arch_line = ();
738
739 # Strip flags which should be ignored.
740 if (scalar @option_ignore_flag > 0) {
741     remove_flags(\@flag_refs, \%flag_renames, @option_ignore_flag);
742 }
743 # Same for arch specific ignore flags, but only prepare here.
744 if (scalar @option_ignore_arch_flag > 0) {
745     foreach my $ignore (@option_ignore_arch_flag) {
746         my ($ignore_arch, $ignore_flag) = split /:/, $ignore, 2;
747
748         if (not $ignore_arch or not $ignore_flag) {
749             printf STDERR 'Value "%s" invalid for option ignore-arch-flag '
750                         . '("arch:flag" expected)' . "\n", $ignore;
751             require Pod::Usage;
752             Pod::Usage::pod2usage(2);
753         }
754
755         push @{$option_ignore_arch_flag{$ignore_arch}}, $ignore_flag;
756     }
757 }
758
759 # Precompile all flag regexps. any_flags_used(), all_flags_used() get a lot
760 # faster with this.
761 foreach my $flags (@flag_refs_all) {
762     @{$flags} = compile_flag_regexp(\%flag_renames, @{$flags});
763 }
764
765 # Precompile ignore line regexps, also anchor at beginning and end of line.
766 # Additional entries are also extracted from the build log, see below.
767 foreach my $ignore (@option_ignore_line) {
768     $ignore = qr/^$ignore$/;
769 }
770 # Same for arch specific ignore lines.
771 if (scalar @option_ignore_arch_line > 0) {
772     foreach my $ignore (@option_ignore_arch_line) {
773         my ($ignore_arch, $ignore_line) = split /:/, $ignore, 2;
774
775         if (not $ignore_arch or not $ignore_line) {
776             printf STDERR 'Value "%s" invalid for option ignore-arch-line '
777                         . '("arch:line" expected)' . "\n", $ignore;
778             require Pod::Usage;
779             Pod::Usage::pod2usage(2);
780         }
781
782         push @{$option_ignore_arch_line{$ignore_arch}}, qr/^$ignore_line$/;
783     }
784 }
785
786 # Final exit code.
787 my $exit = 0;
788
789 FILE:
790 foreach my $file (@ARGV) {
791     print "checking '$file'...\n" if scalar @ARGV > 1;
792
793     -f $file or die "No such file: $file";
794
795     open my $fh, '<', $file or die $!;
796
797     # Architecture of this file.
798     my $arch = $option_arch;
799
800     # Hardening options. Not all architectures support all hardening options.
801     my $harden_format  = 1;
802     my $harden_fortify = 1;
803     my $harden_stack   = 1;
804     my $harden_stack_strong = 1;
805     my $harden_relro   = 1;
806     my $harden_bindnow = $option_bindnow; # defaults to 0
807     my $harden_pie     = $option_pie;     # defaults to 0
808
809     # Number of parallel jobs to prevent false positives when detecting
810     # non-verbose builds. As not all jobs declare the number of parallel jobs
811     # use a large enough default.
812     my $parallel = 10;
813
814     # Don't check for PIE flags if automatically applied by the compiler. Only
815     # used in buildd and Debian mode.
816     my $disable_harden_pie = 0;
817     if ($option_debian) {
818         $disable_harden_pie = 1;
819     }
820
821     # Ignore additional false positives if cargo/rust is used
822     my $cargo = 0;
823
824     my $number = 0;
825     while (my $line = <$fh>) {
826         $number++;
827
828         # Detect architecture automatically unless overridden. For buildd logs
829         # only, doesn't use the dpkg-buildpackage header. Necessary to ignore
830         # build logs which aren't built (wrong architecture, build error,
831         # etc.).
832         if (not $arch) {
833             if (index($line, 'Build Architecture: ') == 0) {
834                 $arch = substr $line, 20, -1; # -1 to ignore '\n' at the end
835             # For old logs (sbuild << 0.63.0-1).
836             } elsif (index($line, 'Architecture: ') == 0) {
837                 $arch = substr $line, 14, -1; # -1 to ignore '\n' at the end
838             }
839         }
840
841         # dpkg-buildflags only provides hardening flags since 1.16.1, don't
842         # check for hardening flags in buildd mode if an older dpkg-dev is
843         # used. Default flags (-g -O2) are still checked.
844         #
845         # Packages which were built before 1.16.1 but used their own hardening
846         # flags are not checked.
847         #
848         # Strong stack protector is used since dpkg 1.17.11.
849         #
850         # Recent GCC versions automatically use PIE (only on supported
851         # architectures) and dpkg respects this properly since 1.18.15 and
852         # doesn't pass PIE flags manually.
853         if ($option_buildd
854                 and index($line, 'Toolchain package versions: ') == 0) {
855             require Dpkg::Version;
856
857             my $disable = 1;
858             my $disable_strong = 1;
859
860             if ($line =~ /\bdpkg-dev_(\S+)/) {
861                 if (Dpkg::Version::version_compare($1, '1.16.1') >= 0) {
862                     $disable = 0;
863                 }
864                 if (Dpkg::Version::version_compare($1, '1.17.11') >= 0) {
865                     $disable_strong = 0;
866                 }
867                 if (Dpkg::Version::version_compare($1, '1.18.15') >= 0) {
868                     $disable_harden_pie = 1;
869                 }
870             }
871
872             if ($disable) {
873                 $harden_format  = 0;
874                 $harden_fortify = 0;
875                 $harden_stack   = 0;
876                 $harden_relro   = 0;
877                 $harden_bindnow = 0;
878                 $harden_pie     = 0;
879             }
880             if ($disable_strong) {
881                 $harden_stack_strong = 0;
882             }
883         }
884
885         # The following two versions of CMake in Debian obeyed CPPFLAGS, but
886         # this was later dropped because upstream rejected the patch. Thus
887         # build logs with these versions will have fortify hardening flags
888         # enabled, even though they may be not correctly set and are missing
889         # when build with later CMake versions. Thanks to Aron Xu for letting
890         # me know.
891         if (index($line, 'Package versions: ') == 0
892                 and $line =~ /\bcmake_(\S+)/
893                 and ($1 eq '2.8.7-1' or $1 eq '2.8.7-2')) {
894             if (not $option_buildd) {
895                 error_invalid_cmake($1);
896                 $exit |= $exit_code{invalid_cmake};
897             } else {
898                 print "$buildd_tag{invalid_cmake}|$1|\n";
899             }
900         }
901
902         # Debian's build daemons use "Filtered Build-Depends:" (or just
903         # "Build-Depends:" in older versions) for the build dependencies, but
904         # pbuilder uses "Depends:"; support both.
905         if (index($line, 'Filtered Build-Depends: ') == 0
906                 or index($line, 'Build-Depends: ') == 0
907                 or index($line, 'Depends: ') == 0) {
908             # If hardening wrapper is used (wraps calls to gcc and adds
909             # hardening flags automatically) we can't perform any checks,
910             # abort.
911             if ($line =~ /\bhardening-wrapper\b/) {
912                 if (not $option_buildd) {
913                     error_hardening_wrapper();
914                     $exit |= $exit_code{hardening_wrapper};
915                 } else {
916                     print "$buildd_tag{hardening_wrapper}||\n";
917                 }
918                 next FILE;
919             }
920
921             if ($line =~ /\bcargo\b/) {
922                 $cargo = 1;
923             }
924         }
925
926         # This flags is not always available, but if it is use it.
927         if ($line =~ /^DEB_BUILD_OPTIONS=.*\bparallel=(\d+)/) {
928             $parallel = $1 * 2;
929         }
930
931         # We skip over unimportant lines at the beginning of the log to
932         # prevent false positives.
933         last if index($line, 'dpkg-buildpackage: ') == 0;
934     }
935
936     # Input lines, contain only the lines with compiler commands.
937     my @input = ();
938     # Non-verbose lines in the input. Used to reduce calls to
939     # is_non_verbose_build() (which is quite slow) in the second loop when
940     # it's already clear if a line is non-verbose or not.
941     my @input_nonverbose = ();
942     # Input line number.
943     my @input_number = ();
944
945     my $continuation = 0;
946     my $complete_line = undef;
947     my $non_verbose;
948     while (my $line = <$fh>) {
949         $number++;
950
951         # And stop at the end of the build log. Package details (reported by
952         # the buildd logs) are not important for us. This also prevents false
953         # positives.
954         last if index($line, 'Build finished at ') == 0
955                 and $line =~ /^Build finished at \d{8}-\d{4}$/;
956
957         if (not $continuation) {
958             $non_verbose = 0;
959         }
960
961         # Detect architecture automatically unless overridden.
962         if (not $arch
963                 and index($line, 'dpkg-buildpackage: info: host architecture ') == 0) {
964             $arch = substr $line, 43, -1; # -1 to ignore '\n' at the end
965         # Older versions of dpkg-buildpackage
966         } elsif (not $arch
967                 and index($line, 'dpkg-buildpackage: host architecture ') == 0) {
968             $arch = substr $line, 37, -1; # -1 to ignore '\n' at the end
969
970             # Old buildd logs use e.g. "host architecture is alpha", remove
971             # the "is", otherwise debarch_to_debtriplet() will not detect the
972             # architecture.
973             if (index($arch, 'is ') == 0) {
974                 $arch = substr $arch, 3;
975             }
976         }
977
978         # Permit dynamic excludes from within the build log to ignore false
979         # positives. Cannot use a separate config file as we often only have
980         # the build log itself.
981         if (index($line, 'blhc: ignore-line-regexp: ') == 0) {
982             my $ignore = substr $line, 26, -1; # -1 to ignore '\n' at the end
983             push @option_ignore_line, qr/^$ignore$/;
984             next;
985         }
986
987         next if $line =~ /^\s*#/;
988         # Ignore compiler warnings for now.
989         next if $line =~ /$warning_regex/o;
990
991         if (not $option_buildd and index($line, "\033") != -1) { # \033 = esc
992             # Remove all ANSI color sequences which are sometimes used in
993             # non-verbose builds.
994             $line = Term::ANSIColor::colorstrip($line);
995             # Also strip '\0xf' (delete previous character), used by Elinks'
996             # build system.
997             $line =~ s/\x0f//g;
998             # And "ESC(B" which seems to be used on armhf and hurd (not sure
999             # what it does).
1000             $line =~ s/\033\(B//g;
1001         }
1002
1003         # Check if this line indicates a non verbose build.
1004         my $skip = 0;
1005         $non_verbose |= is_non_verbose_build($line, $cargo, \$skip);
1006         next if $skip;
1007
1008         # Treat each command as a single line so we don't ignore valid
1009         # commands when handling false positives. split_line() is slow, only
1010         # use it when necessary.
1011         my @line = ($line !~ /(?:;|&&|\|\|)/)
1012                  ? ($line)
1013                  : split_line($line);
1014         foreach my $line (@line) {
1015             if ($continuation) {
1016                 $continuation = 0;
1017
1018                 # Join lines, but leave the "\" in place so it's clear where
1019                 # the original line break was.
1020                 chomp $complete_line;
1021                 $complete_line .= ' ' . $line;
1022             }
1023             # Line continuation, line ends with "\".
1024             if ($line =~ /\\$/) {
1025                 $continuation = 1;
1026                 # Start line continuation.
1027                 if (not defined $complete_line) {
1028                     $complete_line = $line;
1029                 }
1030                 next;
1031             }
1032
1033             # Use the complete line if a line continuation occurred.
1034             if (defined $complete_line) {
1035                 $line = $complete_line;
1036                 $complete_line = undef;
1037             }
1038
1039             my $noenv = $line;
1040             # Strip (basic) environment variables for compiler detection. This
1041             # prevents false positives when environment variables contain
1042             # compiler binaries. Nested quotes, command substitution, etc. is
1043             # not supported.
1044             $noenv =~ s/^
1045                 \s*
1046                 (?:
1047                     [a-zA-Z_]+          # environment variable name
1048                     =
1049                     (?:
1050                         [^\s"'\$`\\]+   # non-quoted string
1051                         |
1052                         '[^"'\$`\\]*'   # single-quoted string
1053                         |
1054                         "[^"'\$`\\]*"   # double-quoted string
1055                     )
1056                     \s+
1057                 )*
1058             //x;
1059             # Ignore lines with no compiler commands.
1060             next if not $non_verbose
1061                     and not $noenv =~ /$cc_regex_normal/o;
1062             # Ignore lines with no filenames with extensions. May miss some
1063             # non-verbose builds (e.g. "gcc -o test" [sic!]), but shouldn't be
1064             # a problem as the log will most likely contain other non-verbose
1065             # commands which are detected.
1066             next if not $non_verbose
1067                     and not $line =~ /$file_extension_regex/o;
1068
1069             # Ignore false positives.
1070             #
1071             # `./configure` output.
1072             next if not $non_verbose
1073                     and $line =~ /^(?:checking|[Cc]onfigure:) /;
1074             next if $line =~ /^\s*(?:Host\s+)?(?:C(?:\+\+)?\s+)?
1075                                 [Cc]ompiler[\s.]*:?\s+
1076                                 /x;
1077             next if $line =~ m{^\s*(?:-\s)?(?:HOST_)?(?:CC|CXX)
1078                                 \s*=\s*$cc_regex_full
1079                                 # optional compiler options, don't allow
1080                                 # "everything" here to prevent false negatives
1081                                 \s*(?:\s-\S+)*\s*$}xo;
1082             # `echo` is never a compiler command
1083             next if $line =~ /^\s*echo\s/;
1084             # Ignore calls to `make` because they can contain environment
1085             # variables which look like compiler commands, e.g. CC=).
1086             next if $line =~ /^\s*make\s/;
1087             # `moc-qt4`/`moc-qt5` contain '-I.../linux-g++' in their command
1088             # line (or similar for other architectures) which gets recognized
1089             # as a compiler line, but `moc-qt*` is only a preprocessor for Qt
1090             # C++ files. No hardening flags are relevant during this step,
1091             # thus ignore `moc-qt*` lines. The resulting files will be
1092             # compiled in a separate step (and therefore checked).
1093             next if $line =~ m{^\S+(?:/bin/moc(?:-qt[45])?|/lib/qt6/libexec/moc)
1094                                \s.+\s
1095                                -I\S+/mkspecs/[a-z]+-g\++(?:-64)?
1096                                \s}x;
1097             # nvcc is not a regular C compiler
1098             next if $line =~ m{^\S+/bin/nvcc\s};
1099             # Ignore false positives when the line contains only CC=gcc but no
1100             # other gcc command.
1101             if ($line =~ /(.*)CC=$cc_regex_full(.*)/o) {
1102                 my $before = $1;
1103                 my $after  = $2;
1104                 next if     not $before =~ /$cc_regex_normal/o
1105                         and not $after  =~ /$cc_regex_normal/o;
1106             }
1107             # Ignore false positives caused by gcc -v. It outputs a line
1108             # looking like a normal compiler line but which is sometimes
1109             # missing hardening flags, although the normal compiler line
1110             # contains them.
1111             next if $line =~ m{^\s+/usr/lib/gcc/$cc_regex_full_prefix/
1112                                    [0-9.]+/cc1(?:plus)?}xo;
1113             # Ignore false positive with `rm` which may remove files which
1114             # look like a compiler executable thus causing the line to be
1115             # treated as a normal compiler line.
1116             next if $line =~ m{^\s*rm\s+};
1117             next if $line =~ m{^\s*dwz\s+};
1118             # Some build systems emit "gcc > file".
1119             next if $line =~ m{$cc_regex_normal\s*>\s*\S+}o;
1120             # Hex output may contain "cc".
1121             next if $line =~ m#(?:\b[0-9a-fA-F]{2,}\b\s*){5}#;
1122             # Meson build output
1123             next if $line =~ /^C\+\+ linker for the host machine: /;
1124             # Embedded `gcc -print-*` commands
1125             next if $line =~ /`$cc_regex_normal\s*[^`]*-print-\S+`/;
1126             # cmake checking for compiler flags without setting CPPFLAGS
1127             next if $line =~ m{^\s*/usr/(bin|lib)/(ccache/)?c\+\+ -dM -E -c /usr/share/cmake-\S+/Modules/CMakeCXXCompilerABI\.cpp};
1128             # Some rustc lines look like linker commands
1129             next if $cargo and $line =~ /$rustc_regex/o;
1130
1131             # Check if additional hardening options were used. Used to ensure
1132             # they are used for the complete build.
1133             $harden_pie     = 1 if any_flags_used($line, @def_cflags_pie,
1134                                                          @def_ldflags_pie);
1135             $harden_bindnow = 1 if any_flags_used($line, @def_ldflags_bindnow);
1136
1137             push @input, $line;
1138             push @input_nonverbose, $non_verbose;
1139             push @input_number, $number if $option_line_numbers;
1140         }
1141     }
1142
1143     close $fh or die $!;
1144
1145     # Ignore arch if requested.
1146     if (scalar @option_ignore_arch > 0 and $arch) {
1147         foreach my $ignore (@option_ignore_arch) {
1148             if ($arch eq $ignore) {
1149                 print "ignoring architecture '$arch'\n";
1150                 next FILE;
1151             }
1152         }
1153     }
1154
1155     if (scalar @input == 0) {
1156         if (not $option_buildd) {
1157             print "No compiler commands!\n";
1158             $exit |= $exit_code{no_compiler_commands};
1159         } else {
1160             print "$buildd_tag{no_compiler_commands}||\n";
1161         }
1162         next FILE;
1163     }
1164
1165     if ($option_buildd) {
1166         $statistics{commands} += scalar @input;
1167     }
1168
1169     # Option or auto detected.
1170     if ($arch) {
1171         # The following was partially copied from dpkg-dev 1.22.0
1172         # (/usr/share/perl5/Dpkg/Vendor/Debian.pm, set_build_features and
1173         # _add_build_flags()), copyright Raphaël Hertzog <hertzog@debian.org>,
1174         # Guillem Jover <guillem@debian.org>, Kees Cook <kees@debian.org>,
1175         # Canonical, Ltd. licensed under GPL version 2 or later. Keep it in
1176         # sync.
1177
1178         require Dpkg::Arch;
1179         my ($os, $cpu);
1180         # Recent dpkg versions use a quadruplet for arch. Support both.
1181         eval {
1182             (undef, undef, $os, $cpu) = Dpkg::Arch::debarch_to_debtuple($arch);
1183         };
1184         if ($@) {
1185             (undef, $os, $cpu) = Dpkg::Arch::debarch_to_debtriplet($arch);
1186         }
1187
1188         my %builtin_pie_arch = map { $_ => 1 } qw(
1189             amd64
1190             arm64
1191             armel
1192             armhf
1193             hurd-amd64
1194             hurd-i386
1195             i386
1196             kfreebsd-amd64
1197             kfreebsd-i386
1198             mips
1199             mips64
1200             mips64el
1201             mips64r6
1202             mips64r6el
1203             mipsel
1204             mipsn32
1205             mipsn32el
1206             mipsn32r6
1207             mipsn32r6el
1208             mipsr6
1209             mipsr6el
1210             powerpc
1211             ppc64
1212             ppc64el
1213             riscv64
1214             s390x
1215             sparc
1216             sparc64
1217         );
1218
1219         # Disable unsupported hardening options.
1220         if ($os !~ /^(?:linux|kfreebsd|knetbsd|hurd)$/ or $cpu eq 'hppa') {
1221             $harden_pie = 0;
1222         }
1223         if ($cpu =~ /^(?:ia64|alpha|hppa|nios2)$/ or $arch eq 'arm') {
1224             $harden_stack = 0;
1225             $harden_stack_strong = 0;
1226         }
1227         if ($cpu =~ /^(?:ia64|hppa)$/) {
1228             $harden_relro   = 0;
1229             $harden_bindnow = 0;
1230         }
1231
1232         if ($disable_harden_pie and exists $builtin_pie_arch{$arch}) {
1233             $harden_pie = 0;
1234         }
1235     }
1236
1237     # Default values.
1238     my @cflags   = @def_cflags;
1239     my @cxxflags = @def_cxxflags;
1240     my @cppflags = @def_cppflags;
1241     my @ldflags  = @def_ldflags;
1242     # Check the specified hardening options, same order as dpkg-buildflags.
1243     if ($harden_pie) {
1244         @cflags   = (@cflags,   @def_cflags_pie);
1245         @cxxflags = (@cxxflags, @def_cflags_pie);
1246         @ldflags  = (@ldflags,  @def_ldflags_pie);
1247     }
1248     if ($harden_stack_strong) {
1249         @cflags   = (@cflags,   @def_cflags_stack_strong);
1250         @cxxflags = (@cxxflags, @def_cflags_stack_strong);
1251     } elsif ($harden_stack) {
1252         @cflags   = (@cflags,   @def_cflags_stack);
1253         @cxxflags = (@cxxflags, @def_cflags_stack);
1254     }
1255     if ($harden_fortify) {
1256         @cflags   = (@cflags,   @def_cflags_fortify);
1257         @cxxflags = (@cxxflags, @def_cflags_fortify);
1258         @cppflags = (@cppflags, @def_cppflags_fortify);
1259     }
1260     if ($harden_format) {
1261         @cflags   = (@cflags,   @def_cflags_format);
1262         @cxxflags = (@cxxflags, @def_cflags_format);
1263     }
1264     if ($harden_relro) {
1265         @ldflags = (@ldflags, @def_ldflags_relro);
1266     }
1267     if ($harden_bindnow) {
1268         @ldflags = (@ldflags, @def_ldflags_bindnow);
1269     }
1270
1271     # Ada doesn't support format hardening flags, see #680117 for more
1272     # information. Same for fortran.
1273     my @cflags_backup;
1274     my @cflags_noformat = grep {
1275         my $ok = 1;
1276         foreach my $flag (@def_cflags_format) {
1277             $ok = 0 if $_ eq $flag;
1278         }
1279         $ok;
1280     } @cflags;
1281
1282     # Hack to fix cppflags_fortify_broken() if --ignore-flag
1283     # -D_FORTIFY_SOURCE=2 is used to ignore missing fortification. Only works
1284     # as long as @def_cppflags_fortify contains only one variable.
1285     if (scalar @def_cppflags_fortify == 0) {
1286         $harden_fortify = 0;
1287     }
1288
1289     # Ignore flags for this arch if requested.
1290     if ($arch and exists $option_ignore_arch_flag{$arch}) {
1291         my @local_flag_refs = (\@cflags, \@cxxflags, \@cppflags, \@ldflags);
1292
1293         remove_flags(\@local_flag_refs,
1294                      \%flag_renames,
1295                      @{$option_ignore_arch_flag{$arch}});
1296     }
1297
1298     my @ignore_line = @option_ignore_line;
1299     # Ignore lines for this arch if requested.
1300     if ($arch and exists $option_ignore_arch_line{$arch}) {
1301         @ignore_line = (@ignore_line, @{$option_ignore_arch_line{$arch}});
1302     }
1303
1304 LINE:
1305     for (my $i = 0; $i < scalar @input; $i++) {
1306         my $line = $input[$i];
1307
1308         # Ignore line if requested.
1309         foreach my $ignore (@ignore_line) {
1310             next LINE if $line =~ /$ignore/;
1311         }
1312
1313         my $skip = 0;
1314         if ($input_nonverbose[$i]
1315                 and is_non_verbose_build($line, $cargo, \$skip,
1316                                          \@input, $i, $parallel)) {
1317             if (not $option_buildd) {
1318                 error_non_verbose_build($line, $input_number[$i]);
1319                 $exit |= $exit_code{non_verbose_build};
1320             } else {
1321                 $statistics{commands_nonverbose}++;
1322             }
1323             next;
1324         }
1325         # Even if it's a verbose build, we might have to skip this line (see
1326         # is_non_verbose_build()).
1327         next if $skip;
1328
1329         my $orig_line = $line;
1330
1331         # Remove everything until and including the compiler command. Makes
1332         # checks easier and faster.
1333         $line =~ s/^.*?$cc_regex//o;
1334         # "([...] test.c)" is not detected as 'test.c' - fix this by removing
1335         # the brace and similar characters at the line end.
1336         $line =~ s/['")]+$//;
1337
1338         # Skip unnecessary tests when only preprocessing.
1339         my $flag_preprocess = 0;
1340
1341         my $dependency = 0;
1342         my $preprocess = 0;
1343         my $compile    = 0;
1344         my $link       = 0;
1345
1346         # Preprocess, compile, assemble.
1347         if ($line =~ /\s(-E|-S|-c)\b/) {
1348             $preprocess      = 1;
1349             $flag_preprocess = 1 if $1 eq '-E';
1350             $compile         = 1 if $1 eq '-S' or $1 eq '-c';
1351         # Dependency generation for Makefiles. The other flags (-MF -MG -MP
1352         # -MT -MQ) are always used with -M/-MM.
1353         } elsif ($line =~ /\s(?:-M|-MM)\b/) {
1354             $dependency = 1;
1355         # Otherwise assume we are linking.
1356         } else {
1357             $link = 1;
1358         }
1359
1360         # -MD/-MMD also cause dependency generation, but they don't imply -E!
1361         if ($line =~ /\s(?:-MD|-MMD)\b/) {
1362             $dependency      = 0;
1363             $flag_preprocess = 0;
1364         }
1365
1366         # Dependency generation for Makefiles, no preprocessing or other flags
1367         # needed.
1368         next if $dependency;
1369
1370         # Get all file extensions on this line.
1371         my @extensions = $line =~ /$file_extension_regex/go;
1372         # Ignore all unknown extensions to speedup the search below.
1373         @extensions = grep { exists $extension{$_} } @extensions;
1374
1375         # These file types don't require preprocessing.
1376         if (extension_found(\%extensions_no_preprocess, @extensions)) {
1377             $preprocess = 0;
1378         }
1379         # These file types require preprocessing.
1380         if (extension_found(\%extensions_preprocess, @extensions)) {
1381             # Prevent false positives with "libtool: link: g++ -include test.h
1382             # .." compiler lines.
1383             if ($orig_line !~ /$libtool_link_regex/o) {
1384                 $preprocess = 1;
1385             }
1386         }
1387
1388         if (not $flag_preprocess) {
1389             # If there are source files then it's compiling/linking in one
1390             # step and we must check both. We only check for source files
1391             # here, because header files cause too many false positives.
1392             if (extension_found(\%extensions_compile_link, @extensions)) {
1393                 # Assembly files don't need CFLAGS.
1394                 if (not extension_found(\%extensions_compile, @extensions)
1395                         and extension_found(\%extensions_no_compile, @extensions)) {
1396                     $compile = 0;
1397                 # But the rest does.
1398                 } else {
1399                     $compile = 1;
1400                 }
1401             # No compilable extensions found, either linking or compiling
1402             # header flags.
1403             #
1404             # If there are also no object files we are just compiling headers
1405             # (.h -> .h.gch). Don't check for linker flags in this case. Due
1406             # to our liberal checks for compiler lines, this also reduces the
1407             # number of false positives considerably.
1408             } elsif ($link
1409                     and not extension_found(\%extensions_object, @extensions)) {
1410                 $link = 0;
1411             }
1412         }
1413
1414         my $compile_cpp = 0;
1415         my $restore_cflags = 0;
1416         # Assume CXXFLAGS are required when a C++ file is specified in the
1417         # compiler line.
1418         if ($compile
1419                 and extension_found(\%extensions_compile_cpp, @extensions)) {
1420             $compile     = 0;
1421             $compile_cpp = 1;
1422         # Ada needs special CFLAGS
1423         } elsif (extension_found(\%extensions_ada, @extensions)) {
1424             $restore_cflags = 1;
1425             $preprocess = 0; # Ada uses no CPPFLAGS
1426             @cflags_backup = @cflags;
1427             @cflags        = @cflags_noformat;
1428         # Same for fortran
1429         } elsif (extension_found(\%extensions_fortran, @extensions)) {
1430             $restore_cflags = 1;
1431             @cflags_backup = @cflags;
1432             @cflags        = @cflags_noformat;
1433         }
1434
1435         if ($option_buildd) {
1436             $statistics{preprocess}++  if $preprocess;
1437             $statistics{compile}++     if $compile;
1438             $statistics{compile_cpp}++ if $compile_cpp;
1439             $statistics{link}++        if $link;
1440         }
1441
1442         # Check if there are flags indicating a debug build. If that's true,
1443         # skip the check for -O2. This prevents fortification, but that's fine
1444         # for a debug build.
1445         if (any_flags_used($line, @def_cflags_debug)) {
1446             remove_flags([\@cflags], \%flag_renames, $def_cflags[1]);
1447             remove_flags([\@cppflags], \%flag_renames, $def_cppflags_fortify[0]);
1448         }
1449
1450         # Check hardening flags.
1451         my @missing;
1452         if ($compile and (not all_flags_used($line, \@missing, @cflags)
1453                     or (($harden_stack or $harden_stack_strong)
1454                         and cflags_stack_broken($line, \@missing,
1455                                                 $harden_stack_strong)))
1456                 # Libraries linked with -fPIC don't have to (and can't) be
1457                 # linked with -fPIE as well. It's no error if only PIE flags
1458                 # are missing.
1459                 and not pic_pie_conflict($line, $harden_pie, \@missing, @def_cflags_pie)
1460                 # Assume dpkg-buildflags returns the correct flags.
1461                 and index($line, '`dpkg-buildflags --get CFLAGS`') == -1) {
1462             if (not $option_buildd) {
1463                 error_flags('CFLAGS missing', \@missing, \%flag_renames,
1464                             $input[$i], $input_number[$i]);
1465                 $exit |= $exit_code{flags_missing};
1466             } else {
1467                 $statistics{compile_missing}++;
1468             }
1469         } elsif ($compile_cpp and not all_flags_used($line, \@missing, @cflags)
1470                 # Libraries linked with -fPIC don't have to (and can't) be
1471                 # linked with -fPIE as well. It's no error if only PIE flags
1472                 # are missing.
1473                 and not pic_pie_conflict($line, $harden_pie, \@missing, @def_cflags_pie)
1474                 # Assume dpkg-buildflags returns the correct flags.
1475                 and index($line, '`dpkg-buildflags --get CXXFLAGS`') == -1) {
1476             if (not $option_buildd) {
1477                 error_flags('CXXFLAGS missing', \@missing, \%flag_renames,
1478                             $input[$i], $input_number[$i]);
1479                 $exit |= $exit_code{flags_missing};
1480             } else {
1481                 $statistics{compile_cpp_missing}++;
1482             }
1483         }
1484         if ($preprocess
1485                 and (not all_flags_used($line, \@missing, @cppflags)
1486                     # The fortify flag might be overwritten, detect that.
1487                      or ($harden_fortify
1488                          and cppflags_fortify_broken($line, \@missing)))
1489                 # Assume dpkg-buildflags returns the correct flags.
1490                 and index($line, '`dpkg-buildflags --get CPPFLAGS`') == -1) {
1491             if (not $option_buildd) {
1492                 error_flags('CPPFLAGS missing', \@missing, \%flag_renames,
1493                             $input[$i], $input_number[$i]);
1494                 $exit |= $exit_code{flags_missing};
1495             } else {
1496                 $statistics{preprocess_missing}++;
1497             }
1498         }
1499         if ($link and not all_flags_used($line, \@missing, @ldflags)
1500                 # Same here, -fPIC conflicts with -fPIE.
1501                 and not pic_pie_conflict($line, $harden_pie, \@missing, @def_ldflags_pie)
1502                 # Assume dpkg-buildflags returns the correct flags.
1503                 and index($line, '`dpkg-buildflags --get LDFLAGS`') == -1) {
1504             if (not $option_buildd) {
1505                 error_flags('LDFLAGS missing', \@missing, \%flag_renames,
1506                             $input[$i], $input_number[$i]);
1507                 $exit |= $exit_code{flags_missing};
1508             } else {
1509                 $statistics{link_missing}++;
1510             }
1511         }
1512
1513         # Restore normal CFLAGS.
1514         if ($restore_cflags) {
1515             @cflags = @cflags_backup;
1516         }
1517     }
1518 }
1519
1520 # Print statistics for buildd mode, only output in this mode.
1521 if ($option_buildd) {
1522     my @warning;
1523
1524     if ($statistics{preprocess_missing}) {
1525         push @warning, sprintf 'CPPFLAGS %d (of %d)',
1526                                $statistics{preprocess_missing},
1527                                $statistics{preprocess};
1528     }
1529     if ($statistics{compile_missing}) {
1530         push @warning, sprintf 'CFLAGS %d (of %d)',
1531                                $statistics{compile_missing},
1532                                $statistics{compile};
1533     }
1534     if ($statistics{compile_cpp_missing}) {
1535         push @warning, sprintf 'CXXFLAGS %d (of %d)',
1536                                $statistics{compile_cpp_missing},
1537                                $statistics{compile_cpp};
1538     }
1539     if ($statistics{link_missing}) {
1540         push @warning, sprintf 'LDFLAGS %d (of %d)',
1541                                $statistics{link_missing},
1542                                $statistics{link};
1543     }
1544     if (scalar @warning) {
1545         local $" = ', '; # array join string
1546         print "$buildd_tag{flags_missing}|@warning missing|\n";
1547     }
1548
1549     if ($statistics{commands_nonverbose}) {
1550         printf "$buildd_tag{non_verbose_build}|%d (of %d) hidden|\n",
1551                $statistics{commands_nonverbose},
1552                $statistics{commands},
1553     }
1554 }
1555
1556
1557 exit $exit;
1558
1559
1560 __END__
1561
1562 =head1 NAME
1563
1564 blhc - build log hardening check, checks build logs for missing hardening flags
1565
1566 =head1 SYNOPSIS
1567
1568 B<blhc> [I<options>] I<< <dpkg-buildpackage build log file>.. >>
1569
1570 =head1 DESCRIPTION
1571
1572 blhc is a small tool which checks build logs for missing hardening flags. It's
1573 licensed under the GPL 3 or later.
1574
1575 It's designed to check build logs generated by Debian's dpkg-buildpackage (or
1576 tools using dpkg-buildpackage like pbuilder or sbuild (which is used for the
1577 official buildd build logs)) to help maintainers detect missing hardening
1578 flags in their packages.
1579
1580 Only gcc is detected as compiler at the moment. If other compilers support
1581 hardening flags as well, please report them.
1582
1583 If there's no output, no flags are missing and the build log is fine.
1584
1585 See F<README> for details about performed checks, auto-detection and
1586 limitations.
1587
1588 =head1 FALSE POSITIVES
1589
1590 To suppress false positives you can embed the following string in the build
1591 log:
1592
1593     blhc: ignore-line-regexp: REGEXP
1594
1595 All lines fully matching REGEXP (see B<--ignore-line> for details) will be
1596 ignored. The string can be embedded multiple times to ignore different
1597 regexps.
1598
1599 Please use this feature sparingly so that missing flags are not overlooked. If
1600 you find false positives which affect more packages please report a bug.
1601
1602 To generate this string simply use echo in C<debian/rules>; make sure to use @
1603 to suppress the echo command itself as it could also trigger a false positive.
1604 If the build process takes a long time edit the C<.build> file in place and
1605 tweak the ignore string until B<blhc --all --debian package.build> no longer
1606 reports any false positives.
1607
1608 =head1 OPTIONS
1609
1610 =over 8
1611
1612 =item B<--all>
1613
1614 Force check for all +all (+pie, +bindnow) hardening flags. By default it's
1615 auto detected.
1616
1617 =item B<--arch> I<architecture>
1618
1619 Set the specific architecture (e.g. amd64, armel, etc.), automatically
1620 disables hardening flags not available on this architecture. Is detected
1621 automatically if dpkg-buildpackage is used.
1622
1623 =item B<--bindnow>
1624
1625 Force check for all +bindnow hardening flags. By default it's auto detected.
1626
1627 =item B<--buildd>
1628
1629 Special mode for buildds when automatically parsing log files. The following
1630 changes are in effect:
1631
1632 =over 2
1633
1634 =item *
1635
1636 Print tags instead of normal warnings, see L</"BUILDD TAGS"> for a list of
1637 possible tags.
1638
1639 =item *
1640
1641 Don't check hardening flags in old log files (if dpkg-dev << 1.16.1 is
1642 detected).
1643
1644 =item *
1645
1646 Don't require Term::ANSIColor.
1647
1648 =item *
1649
1650 Return exit code 0, unless there was a error (-I, -W messages don't count as
1651 error).
1652
1653 =back
1654
1655 =item B<--debian>
1656
1657 Apply Debian-specific settings. At the moment this only disables checking for
1658 PIE which is automatically applied by Debian's GCC and no longer requires a
1659 compiler command line argument.
1660
1661 =item B<--color>
1662
1663 Use colored (ANSI) output for warning messages.
1664
1665 =item B<--line-numbers>
1666
1667 Display line numbers.
1668
1669 =item B<--ignore-arch> I<arch>
1670
1671 Ignore build logs from architectures matching I<arch>. I<arch> is a string.
1672
1673 Used to prevent false positives. This option can be specified multiple times.
1674
1675 =item B<--ignore-arch-flag> I<arch>:I<flag>
1676
1677 Like B<--ignore-flag>, but only ignore flag on I<arch>.
1678
1679 =item B<--ignore-arch-line> I<arch>:I<line>
1680
1681 Like B<--ignore-line>, but only ignore line on I<arch>.
1682
1683 =item B<--ignore-flag> I<flag>
1684
1685 Don't print an error when the specific flag is missing in a compiler line.
1686 I<flag> is a string.
1687
1688 Used to prevent false positives. This option can be specified multiple times.
1689
1690 =item B<--ignore-line> I<regex>
1691
1692 Ignore lines matching the given Perl regex. I<regex> is automatically anchored
1693 at the beginning and end of the line to prevent false negatives.
1694
1695 B<NOTE>: Not the input lines are checked, but the lines which are displayed in
1696 warnings (which have line continuation resolved).
1697
1698 Used to prevent false positives. This option can be specified multiple times.
1699
1700 =item B<--pie>
1701
1702 Force check for all +pie hardening flags. By default it's auto detected.
1703
1704 =item B<-h -? --help>
1705
1706 Print available options.
1707
1708 =item B<--version>
1709
1710 Print version number and license.
1711
1712 =back
1713
1714 Auto detection for B<--pie> and B<--bindnow> only works if at least one
1715 command uses the required hardening flag (e.g. -fPIE). Then it's required for
1716 all other commands as well.
1717
1718 =head1 EXAMPLES
1719
1720 Normal usage, parse a single log file.
1721
1722     blhc path/to/log/file
1723
1724 If there's no output, no flags are missing and the build log is fine.
1725
1726 Parse multiple log files. The exit code is ORed over all files.
1727
1728     blhc path/to/directory/with/log/files/*
1729
1730 Don't treat missing C<-g> as error:
1731
1732     blhc --ignore-flag -g path/to/log/file
1733
1734 Don't treat missing C<-pie> on kfreebsd-amd64 as error:
1735
1736     blhc --ignore-arch-flag kfreebsd-amd64:-pie path/to/log/file
1737
1738 Ignore lines consisting exactly of C<./script gcc file> which would cause a
1739 false positive.
1740
1741     blhc --ignore-line '\./script gcc file' path/to/log/file
1742
1743 Ignore lines matching C<./script gcc file> somewhere in the line.
1744
1745     blhc --ignore-line '.*\./script gcc file.*' path/to/log/file
1746
1747 Use blhc with pbuilder.
1748
1749     pbuilder path/to/package.dsc | tee path/log/file
1750     blhc path/to/file || echo flags missing
1751
1752 Assume this build log was created on a Debian system and thus don't warn about
1753 missing PIE flags if the current architecture injects them automatically (this
1754 is enabled in buildd mode per default). C<--arch> is necessary if the build
1755 log contains no architecture information as written by dpkg-buildpackage.
1756
1757     blhc --debian --all --arch=amd64 path/to/log/file
1758
1759 =head1 BUILDD TAGS
1760
1761 The following tags are used in I<--buildd> mode. In braces the additional data
1762 which is displayed.
1763
1764 =over 2
1765
1766 =item B<I-hardening-wrapper-used>
1767
1768 The package uses hardening-wrapper which intercepts calls to gcc and adds
1769 hardening flags. The build log doesn't contain any hardening flags and thus
1770 can't be checked by blhc.
1771
1772 =item B<W-compiler-flags-hidden> (summary of hidden lines)
1773
1774 Build log contains lines which hide the real compiler flags. For example:
1775
1776     CC test-a.c
1777     CC test-b.c
1778     CC test-c.c
1779     LD test
1780
1781 Most of the time either C<export V=1> or C<export verbose=1> in
1782 F<debian/rules> fixes builds with hidden compiler flags. Sometimes C<.SILENT>
1783 in a F<Makefile> must be removed. And as last resort the F<Makefile> must be
1784 patched to remove the C<@>s hiding the real compiler commands.
1785
1786 =item B<W-dpkg-buildflags-missing> (summary of missing flags)
1787
1788 CPPFLAGS, CFLAGS, CXXFLAGS, LDFLAGS missing.
1789
1790 =item B<I-invalid-cmake-used> (version)
1791
1792 By default CMake ignores CPPFLAGS thus missing those hardening flags. Debian
1793 patched CMake in versions 2.8.7-1 and 2.8.7-2 to respect CPPFLAGS, but this
1794 patch was rejected by upstream and later reverted in Debian. Thus those two
1795 versions show correct usage of CPPFLAGS even if the package doesn't correctly
1796 handle them (for example by passing them to CFLAGS). To prevent false
1797 negatives just blacklist those two versions.
1798
1799 =item B<I-no-compiler-commands>
1800
1801 No compiler commands were detected. Either the log contains none or they were
1802 not correctly detected by blhc (please report the bug in this case).
1803
1804 =back
1805
1806 =head1 EXIT STATUS
1807
1808 The exit status is a "bit mask", each listed status is ORed when the error
1809 condition occurs to get the result.
1810
1811 =over 4
1812
1813 =item B<0>
1814
1815 Success.
1816
1817 =item B<1>
1818
1819 No compiler commands were found.
1820
1821 =item B<2>
1822
1823 Invalid arguments/options given to blhc.
1824
1825 =item B<4>
1826
1827 Non verbose build.
1828
1829 =item B<8>
1830
1831 Missing hardening flags.
1832
1833 =item B<16>
1834
1835 Hardening wrapper detected, no tests performed.
1836
1837 =item B<32>
1838
1839 Invalid CMake version used. See B<I-invalid-cmake-used> under L</"BUILDD
1840 TAGS"> for a detailed explanation.
1841
1842 =back
1843
1844 =head1 AUTHOR
1845
1846 Simon Ruderich, E<lt>simon@ruderich.orgE<gt>
1847
1848 Thanks to to Bernhard R. Link E<lt>brlink@debian.orgE<gt> and Jaria Alto
1849 E<lt>jari.aalto@cante.netE<gt> for their valuable input and suggestions.
1850
1851 =head1 LICENSE AND COPYRIGHT
1852
1853 Copyright (C) 2012-2024 by Simon Ruderich
1854
1855 This program is free software: you can redistribute it and/or modify
1856 it under the terms of the GNU General Public License as published by
1857 the Free Software Foundation, either version 3 of the License, or
1858 (at your option) any later version.
1859
1860 This program is distributed in the hope that it will be useful,
1861 but WITHOUT ANY WARRANTY; without even the implied warranty of
1862 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
1863 GNU General Public License for more details.
1864
1865 You should have received a copy of the GNU General Public License
1866 along with this program.  If not, see <http://www.gnu.org/licenses/>.
1867
1868 =head1 SEE ALSO
1869
1870 L<hardening-check(1)>, L<dpkg-buildflags(1)>
1871
1872 =cut