Experimento de documentação de privacidade

Projetos open source de IA/ML identificados por busca temática

Esta página reúne a amostra final analisada, os documentos recuperados, as evidências textuais, a metodologia, os resultados estatísticos e as instruções de reprodução. Os valores exibidos são gerados diretamente dos artefatos versionados no repositório.

Visão geral

473

Repositórios na amostra final analisada

27

D1 no período pós-GDPR

0.127

PDE Score médio pós-GDPR

Perguntas e hipóteses

RQ1 — Presença (D1): A proporção de repositórios com documentação de privacidade aumentou no período pós-GDPR?

Hipótese nula (H0₁): não há diferença nessa proporção entre os períodos.
Hipótese alternativa (H1₁): há diferença nessa proporção entre os períodos.

RQ2 — Abrangência (PDE Score): A documentação passou a abordar mais critérios de privacidade no período pós-GDPR?

Hipótese nula (H0₂): não há diferença no PDE Score entre os períodos.
Hipótese alternativa (H1₂): há diferença no PDE Score entre os períodos.

Os testes são bicaudais: consideram tanto aumento quanto redução.

Resultado principal

Na amostra final analisada, 3 de 473 repositórios apresentaram, no período pré-GDPR, evidência documental de privacidade (D1=1). No período pós-GDPR, foram 27 repositórios. O teste exato de McNemar bicaudal resultou em 8,05e-07.

O PDE Score médio passou de 0,011 para 0,127. O teste exato de Wilcoxon pareado resultou em 2,38e-07.

Cobertura do vocabulário

A busca usa 24 tópicos de IA/ML, incluindo subdomínios e áreas recentes. Os mesmos critérios de elegibilidade e análise documental são aplicados a todos os resultados; os tópicos servem como sinais de descoberta, não como prova automática de escopo técnico.

Tópicos presentes na amostra final analisada
Tópico	Repositórios
machine-learning	243
deep-learning	153
image-processing	56
nlp	53
computer-vision	49
natural-language-processing	40
neural-network	40
artificial-intelligence	38
reinforcement-learning	27
object-detection	20
llm	14
convolutional-neural-networks	10
ai-agents	7
transformer	7
image-classification	5
transformers	5
deep-neural-network	2
multimodal	2
large-language-models	1
machine-intelligence	1

Resultados detalhados

Presença documental (D1)

Medida	Resultado
D1 pré-GDPR	3 (0.6%)
D1 pós-GDPR	27 (5.7%)
Pré 1 → pós 0	1
Pré 0 → pós 1	25
p exato de McNemar bicaudal	8,05e-07

PDE Score

Medida	Pré	Pós
Média	0.011	0.127
Mediana	0.000	0.000
IQR	0–0	0–0

Medida pareada	Resultado
Aumentos / reduções / iguais	23 / 0 / 450
W+ / W−	276.0 / 0.0
p exato de Wilcoxon bicaudal	2,38e-07
Correlação bisserial de postos	1.000

Frequência dos critérios

Frequência de C1 a C7
Critério	Pré	Pós
C1	2	14
C2	1	12
C3	0	4
C4	0	4
C5	1	5
C6	1	8
C7	0	13

Transições observadas em D1

Matriz de transição de D1
	Pós = 0	Pós = 1
Pré = 0	445	25
Pré = 1	1	2

Dados coletados

Amostra final analisada

A amostra final analisada contém 473 repositórios com licença identificada por SPDX e aprovada pela OSI. Ela corresponde aos pares históricos completos efetivamente usados na análise estatística. Todos os indicadores, proporções, médias, frequências, tabelas e gráficos de resultados usam este mesmo conjunto.

A amostra final analisada está disponível em analyzed_sample.csv. O vocabulário configurado está em ai_ml_topics_used.csv.

Arquivos para inspeção

Os registros detalhados não são repetidos na página. Os repositórios da amostra final analisada, seus documentos, classificações, evidências e metadados permanecem disponíveis nos arquivos versionados abaixo:

Manifesto das consultas de seleção

Metodologia

Desenho

O estudo compara o mesmo conjunto de repositórios em dois snapshots históricos: o último commit até 2018-05-24T23:59:59Z e o último commit até 2026-06-30T23:59:59Z. A unidade de análise é o repositório público de IA/ML.

%%{init: {"themeVariables": {"fontSize": "18px", "fontFamily": "Montserrat, Arial, sans-serif"}, "flowchart": {"nodeSpacing": 64, "rankSpacing": 88, "diagramPadding": 28, "wrappingWidth": 300, "minNodeWidth": 280}}}%%
flowchart TD
  A[Busca por 24 tópicos IA/ML] --> B[Particionamento temporal até 1000 resultados]
  B --> C[Filtros de seleção preservados]
  C --> D[Amostra congelada]
  D --> E[Snapshot pré-GDPR]
  D --> F[Snapshot pós-GDPR]
  E --> G[Classificação C1-C7 e D1]
  F --> G
  G --> J[Amostra final analisada: pares históricos completos]
  J --> H[McNemar e Wilcoxon]
  H --> I[Dataset, relatórios e site]

Seleção da amostra

Repositórios inicialmente selecionados: 474. Repositórios excluídos por ausência de par histórico completo válido para análise: 1. Repositórios na amostra final analisada: 473. Os critérios de inclusão e os métodos estatísticos permanecem os mesmos.

A seleção inicial, os registros completos e as exclusões são preservados para rastreabilidade:

O seletor consulta 24 tópicos configurados em config/settings.yml, que abrangem áreas como visão computacional, processamento de linguagem natural, detecção de objetos, LLMs, transformers, IA generativa, difusão, multimodalidade, RAG e agentes. Em seguida, aplica os critérios de visibilidade pública, licença SPDX/OSI aprovada, ausência de fork e arquivamento, criação anterior a 2018-05-25T00:00:00Z, pelo menos 500 estrelas, pelo menos 100 issues reais, atividade mínima de 24 meses e atividade antes e depois da data de referência.

As consultas são particionadas por data de criação quando a contagem ultrapassa o limite de 1.000 resultados da Search API. As partições e páginas baixadas ficam registradas no manifesto de seleção.

O manifesto desta execução está disponível nos artefatos.

A primeira etapa é Rscript main.R --select: ela cria uma amostra nova e coleta os snapshots históricos desses repositórios. Depois, Rscript main.R --analyze valida a coleta, refaz a análise offline e gera o site. O comando Rscript main.R --run executa o processo inteiro do início ao fim.

Documentação e critérios

São analisados README de raiz e documentos textuais cujos nomes ou caminhos indicam privacidade, segurança, proteção de dados, termos, consentimento, retenção ou conformidade. D1 indica evidência documental contextualizada. O PDE Score soma sete critérios:

dados pessoais;
finalidade do tratamento;
base legal;
direitos dos titulares;
retenção ou exclusão;
compartilhamento ou transferência;
proteção contra vazamento ou acesso não autorizado.

Menções isoladas, bibliografia, testes, exemplos, dependências e listas de links não são suficientes para marcar um critério.

Estatística

Para D1, o pipeline calcula o teste exato de McNemar bicaudal. Para o PDE Score, calcula o teste exato de Wilcoxon pareado bicaudal, excluindo diferenças zero e usando postos médios em empates. O nível de significância adotado é \(\alpha=0{,}05\).

O p-value é a probabilidade de observar um resultado tão extremo quanto o obtido, ou mais extremo, supondo que a hipótese nula (H0) seja verdadeira. Com \(\alpha=0{,}05\), um p-value menor que α leva à rejeição de H0; um valor maior ou igual a α não permite rejeitá-la. Essa decisão não prova H1 nem transforma H0 em uma verdade automática.

Neste estudo, o p-value exato de McNemar foi 8,05e-07 e o de Wilcoxon foi 2,38e-07. A decisão estatística deve acompanhar os resultados da amostra final analisada em cada execução e deve considerar o tamanho das diferenças e as limitações do desenho observacional.

Os resultados medem evidência documental versionada. Eles não constituem auditoria jurídica nem permitem atribuir causalidade exclusiva à GDPR.

Reprodução

Requisitos

R 4.6 ou superior;
R6, jsonlite e yaml para o pipeline;
knitr, rmarkdown e Quarto para renderizar este site;
executável curl disponível no PATH para novas chamadas à API do GitHub;
token GITHUB_TOKEN somente quando uma nova coleta for necessária.

Pipeline completo

Para executar todo o fluxo do zero — nova seleção, coletas, análise e site:

export GITHUB_TOKEN="seu-token"
Rscript main.R --run

Para gerar uma nova amostra e coletar os dois snapshots históricos:

Rscript main.R --select

Depois de --select terminar, para executar a análise offline e gerar o site:

Rscript main.R --analyze

O main.R mostra o progresso por etapa e grava o estado em outputs/metadata/run_status.json. Durante a seleção, informa tópico, páginas e resultados; na seleção e na coleta, informa a contagem de repositórios aprovados ou processados em relação ao total, a cada 60 segundos e ao concluir. Quando um limite da API interrompe o avanço, informa que está aguardando a renovação.

O modo --analyze exige a coleta completa da amostra atual, produzida por --select ou --run. O pipeline oferece apenas --run, --select, --analyze e --help.

Para consultar a ajuda do pipeline:

Rscript main.R --help

Artefatos

O repositório mantém a amostra final analisada, os registros de rastreabilidade, o checkpoint bruto, o dataset, as evidências positivas, as estatísticas, os gráficos e os relatórios. O arquivo outputs/metadata/manifest.json registra os hashes e versões usados na execução.

Referências metodológicas

Os 24 termos pesquisados servem exclusivamente para descobrir repositórios do GitHub. Doze etiquetas são enumeradas por Openja et al. (2024); natural-language-processing é citado por Gonzalez, Zimmermann e Nagappan (2020); e as onze escolhas restantes do protocolo são nlp mais dez termos adicionais. O CSV distingue a origem histórica da escolha do apoio conceitual. Kumar (2024) apoia o conceito de LLMs; Vaswani et al. (2017), Transformers; Feuerriegel et al. (2024), IA generativa e multimodalidade; Ho et al. (2020), difusão; Lewis et al. (2020), RAG; e Wang et al. (2024), agentes. Essas fontes conceituais não forneceram a lista de busca.

Gonzalez et al. (2020) é o estudo de Danielle Gonzalez, Thomas Zimmermann e Nachiappan Nagappan sobre repositórios do GitHub. É distinto do trabalho de Alexandra González et al. (2024) sobre repositórios do Hugging Face, que está fora do escopo e não fundamenta este protocolo. O artigo 99(2) do Regulamento (UE) 2016/679 estabelece a data de aplicação da GDPR; McNemar (1947), Wilcoxon (1945) e Efron (1979) fundamentam os métodos estatísticos efetivamente usados. Consulte a bibliografia e proveniência metodológica.