How should firms navigate data ethics?
We often see news articles on how the most recent cyber-attack has exposed huge swathes of sensitive data, compromising user accounts, bank details and passwords. However, has anyone ever questioned the way in which companies collect and use this ocean of data as opposed to how they are protecting it?
Data ethics denotes the moral principles and guidelines that govern the collection, handling, and use of data. With data generation expected to reach 180 zettabytes by 2025, up from 64.2 in 2020, it has become more important than ever to consider the ethical implications of how and why data is used. Firms collecting this data need to be aware of how they can avoid falling into unethical practices and inappropriate data usage. [1]
Os principais problemas com o uso moderno de dados
Captura e armazenamento de dados evoluíram em paralelo com a revolução digital. Você pode considerar a tecnologia como a torneira e o encanamento, e os dados são a água que flui através dela. No passado, a coleta de dados exigia um esforço e recursos significativos, restringindo a atividade a quando havia um uso específico para ele, por exemplo, um censo nacional. No entanto, com a proliferação de aplicativos e sites, os dados agora são capturados sem esforço, com quase zero custo e, como resultado, muitas vezes sem consideração. Essa abordagem é contrária ao princípio de minimização de dados: os dados devem ser armazenados apenas se forem necessários para alguma finalidade (conforme definido no Capítulo II do GDPR, Artigo 5 como dados pessoais que são "adequados, relevantes e limitados ao necessário em relação aos propósitos para os quais são processados"). Representa uma atitude fundamentalmente diferente hoje; Possibilidade orientada em vez de conduzida por propósito. [2]
The key problems with modern data usage include:
The practice of recording everything, partly because the data might be useful in the future and also because it’s so cheap to record and store. This approach is contrary to the data minimisation principle: data should only be stored if it’s necessary for some purpose (as defined in GDPR chapter II, article 5 as personal data that is “adequate, relevant, and limited to what is necessary in relation to the purposes for which they are processed”). It represents a fundamentally different attitude today; possibility driven rather than purpose driven. [2]
Ninguém realmente sabe como os dados serão usados no futuro, ou com quais outros dados serão vinculados. Tecnologias novas e crescentes, como a inteligência artificial (IA), são capazes de mesclar, analisar e reformular vários conjuntos de dados que podem obter informações notáveis, mas também podem resultar em resultados prejudiciais e tendenciosos. Isso significa que não podemos caracterizar de maneira útil os conjuntos de dados como sensíveis ou por uso potencial (pois são ilimitados e imprevisíveis). Portanto, não são os dados por si só que levanta problemas éticos, mas o uso ao qual é colocado e a análise a que está sujeita, geralmente em uma data futura. [2]
Por exemplo, a Cambridge Analytica fornece um exemplo bem documentado, pelo qual uma empresa de consultoria política, colheu os dados pessoais de milhões de usuários do Facebook sem seu consentimento e o usou para influenciar o resultado das eleições presidenciais de 2016 nos EUA por meio de anúncios políticos altamente direcionados. Embora a obtenção dos dados pessoais de milhões e utilizasse -os para vantagem política fosse antiética e violações de privacidade, a aplicação dos dados teve uma implicação muito maior do que a ação de ser colhida. [3]
Independentemente das vantagens científicas, financeiras ou políticas percebidas que um conjunto de dados parece oferecer, esses benefícios precisam ser pesados contra suas implicações éticas. A violação dos dados dos consumidores e os usos injustos de dados pode ser facilmente ignorada. Este é um dilema comum para os cientistas de dados que precisam questionar a qualidade e a validade dos dados recebidos antes de analisá -los.
Como a ética dos dados deve evoluir com ai?
Um estudo dos EUA realizado em 2019 destaca um exemplo de um caso ético e discriminatório no sistema de saúde em que um algoritmo amplamente utilizado em hospitais americanos para alocar cuidados de saúde aos pacientes vinham discriminação sistematicamente contra os negros. Verificou -se que o algoritmo era menos provável de indicar pessoas negras do que os brancos que estavam igualmente doentes de programas que visam melhorar os cuidados com pacientes com necessidade médica complexa. Foi usado para ajudar a gerenciar cuidados de cerca de 200 milhões de pessoas nos EUA a cada ano. Os cientistas de dados descobriram que isso se devia ao racismo sistêmico que, sem saber, passou para os resultados no algoritmo. Apenas 17,7% dos pacientes que o algoritmo designou para receber cuidados extras eram negros. A proporção seria de 46,5% se o algoritmo fosse imparcial. [4]
The study found the algorithm assigned risk scores to patients based on their total healthcare costs accrued in one year, which is believed to have disadvantaged black patients who spent less on their healthcare costs to white patients but were substantially sicker. Data scientists figured this was due to systemic racism which was unknowingly passed on to the results in the algorithm. Only 17.7% of patients that the algorithm assigned to receive extra care were black. The proportion would be 46.5% if the algorithm were unbiased. [4]
Este é um exemplo de um algoritmo de caixa preta, onde o usuário e o desenvolvedor não podem decifrar facilmente o trabalho interno do algoritmo e, portanto, são "encaixados" de entender inteiramente como o algoritmo chegou às decisões. Como a IA dentro dos algoritmos aprende com os próprios dados, ela introduz viés não intencional que estão ocultos no trabalho interno do algoritmo e podem resultar em discriminação. Essas questões levantaram preocupações sobre o impacto ético e as conseqüências não intencionais de novas tecnologias para a sociedade em todos os setores, onde está ocorrendo inovação orientada a dados. [5, 6]
Algoritmos de caixa preta devem ser testados de várias maneiras de garantir que eles funcionem corretamente no mundo real. Depois que os modelos são implantados, há um número muito limitado de pessoas que serão capazes de corrigi -las e verificar. Por exemplo, o IEEE, amplamente conhecido por desenvolver padrões tecnológicos, construiu uma iniciativa global sobre ética de sistemas autônomos e inteligentes. Além disso, o escritório da Comissão de Informações (OIC) atualizou as orientações sobre IA e proteção de dados para fornecer mais esclarecimentos sobre a justiça sobre a IA, mediante solicitação da indústria do Reino Unido. Isso descreve a ênfase para desenvolver padrões éticos no uso da IA.
Consequently, ethics of AI has become a big challenge for governments and societies, and many of the world’s leading universities have recently created multidisciplinary centres of research with the focus primarily on responsible AI. For example, the IEEE, widely known for developing technological standards, have constructed a global initiative on Ethics of Autonomous and Intelligent Systems. Furthermore, the Information Commission Office (ICO) has updated the Guidance on AI and Data Protection to provide further clarification on the fairness on AI on request of the UK industry. This outlines the emphasis to develop ethical standards within the use of AI.
Como as empresas devem estar enfrentando a ética dos dados? Os dados devem, portanto, ser considerados de uma perspectiva comercial e ética. Como, então, as empresas devem gerenciar a linha tênue entre o uso lucrativo de dados e o uso antiético de dados? Há uma ênfase crescente para entender esses algoritmos e projetá -los com considerações éticas em mente desde o início. A inteligência artificial explicável (XAI) é um campo que visa tornar os modelos de IA mais explicáveis, intuitivos e compreensíveis para usuários humanos sem sacrificar a previsão ou a precisão do desempenho. Isso é feito adicionando uma camada extra de algoritmos para os usuários entenderem os fatores que afetam positiva/negativamente o resultado do modelo de IA. Há um interesse elevado nisso de muitos grupos de defesa do consumidor, contrapartes e partes interessadas internas das empresas. Algumas empresas já começaram a lançar essa tecnologia, como a plataforma XAI do Google Cloud, Flowcast e Fiddle Labs. As empresas podiam ver mais de seus projetos piloto surgirem, pois a falta de explicação pode ser um grande obstáculo para a implantação de modelos de IA. [7]
Not only are the ethical implications of these data practices of concern to the people involved in them, but they can also affect the brand image, reputation and credibility of the firms that employ them. Data must therefore be considered from a commercial and ethical perspective. How, then, should firms manage the fine line between profitable data use and unethical data use?
We must turn our attention to a growing source of data biases and discrimination, our ML and AI models. There is growing emphasis to understand these algorithms and design them with ethical considerations in mind from the outset. Explainable artificial intelligence (XAI) is a field which aims to make AI models more explainable, intuitive, and understandable to human users without sacrificing prediction or performance accuracy. It does this by adding an extra layer of algorithms for users to understand factors the positively/negatively affect the AI model outcome. There is a heightened interest in this from many consumer advocacy groups, counterparties and internal stakeholders at firms. Some businesses have already started rolling this technology out such as Google Cloud’s XAI platform, Flowcast and Fiddle Labs. Firms could see more of their pilot projects come to light, since a lack of explainability can be a major hurdle for deploying AI models. [7]
No entanto, a causa dos programas de ética de dados ruins nas empresas precisam ser abordados. A falta de cultura em evolução. As empresas precisam incorporar programas de ética de dados em todo o C-suite. Ter uma cultura de adesão a rigorosos princípios de ética de dados impede que ela seja esquecida. Além disso, a definição de expectativas antecipadamente em torno do uso de dados é vital para proteger os dados do cliente contra o uso de dados antiéticos. Isso pode ser realizado com um sistema claro de identidade e gerenciamento de acesso para garantir que apenas aqueles com o treinamento e privilégios certos possam acessar dados confidenciais.
Finalmente, para garantir que esses valores sejam implementados e uma organização realmente se beneficie da aplicação dos princípios de ética de dados que um órgão de governança é necessário. Um quadro de dados-ética. Seria um comitê multifuncional composto por representantes em todo o negócio, legal, TI, análise e o C-suite com o objetivo de definir o padrão de dados e mantê-los em todos os níveis do negócio. Ainda é essencial para os proprietários de dados e os departamentos de negócios cumprirem as políticas adotadas, mas agora as principais partes interessadas de todos os níveis da empresa supervisionam se esses padrões estão sendo observados. As empresas devem saber, no mínimo, quais informações estão sendo coletadas, para quais propósitos têm acesso a ela e que tipos de controles de segurança estão em vigor. A avaliação regular da validade dos modelos também garantirá que os problemas com os algoritmos de caixa preta sejam identificados em um estágio anterior. Quando a ética de dados se alinha às atividades de dados de uma empresa, ele aprimora as capacidades de uma empresa em vez de restringi -las. A estrita adesão aos princípios de justiça e ética na análise de big data apenas fortalecerá a reputação de uma empresa como marca. Eles podem realizar com confiança seus projetos orientados a dados, com inovação de ponta, sabendo que implementaram procedimentos para impedir que os resultados e a ética negativos sejam mantidos.
Summary
Transparency is perhaps the key ingredient to tackling data discrimination, privacy, and security issues. Firms should know, at the very least, what information is being gathered, for what purposes, who has access to it, and what kinds of security controls are in place. Regularly evaluating the validity of models will also ensure issues with black box algorithms are identified at an earlier stage.
The remarkable benefits accruing to firms, organisations and consumers through data-driven capabilities will continue to expand for many years to come. When data ethics align with a firm’s data activities, it enhances a firm’s capabilities as opposed to restricting them. Strict adherence to the principles of fairness and ethics on big data analytics will only strengthen a firm’s reputation as a brand. They can confidently carry out their data-driven projects with cutting-edge innovation knowing they have put procedures in place to prevent negative outcomes and ethics being upheld.
About the author
Subhan is a data science apprentice at Be | Shaping the Future UK and currently studying for a BSc in Digital and Technology Solutions.
Throughout his career to date he has developed a well-rounded understanding of data science principles and how to apply them to work-based projects, having worked on a variety of projects in the financial services sector.
Works Cited
| [1] | P. Taylor, “Volume of data/information created, captured, copied, and consumed worldwide from 2010 to 2020, with forecasts from 2021 to 2025,” Statistica, 8 September 2022. [Online]. Available: https://www.statista.com/statistics/871513/worldwide-data-created/. |
| [2] | D. J. Hand, “Aspects of Data Ethics in a Changing World: Where Are We Now?.,” in Big Data, 2018, pp. 176-190. Disponível: https://www.theguardian.com/news/2018/mar/17/cambridge-analytica-facebook-influence-us-relection.||203 |
| [3] | Carole Cadwalladr, Emma Graham-Harrison, “The Guardian,” The Guardian, 17 March 2018. [Online]. Available: https://www.theguardian.com/news/2018/mar/17/cambridge-analytica-facebook-influence-us-election. |
| [4] | z. Obermeyer, “Ciência”, em Science, 2019, pp. 447-453. |
| [5] | J. Ayling e A. Chapman, “Colocando a ética da IA para funcionar: as ferramentas são adequadas para o propósito?” Ai ética 2, p. 405-429, 2022. |
| [6] | a. Jobin, M. Ienca e E. Vayena, “O cenário global das diretrizes de ética da IA” Inteligência da máquina da natureza, vol. 1, p. 389–399, 2019. |
| [7] | Surkov, Alexey; Gregorle, Jill; Srinlvas, Val, “Liberando o poder dos modelos de aprendizado de máquina no setor bancário por meio de inteligência artificial explicável (XAI)”, 2022. |
