8-November-2024 By Jeffrey Cooper
The Coming Battle of Generative (Dis)Information Bots
Those who know me know that I take an End State Analysis view of system architecture. I like to look forward, in the early stages of the design cycle, at what I term “the eventual outcome,” or “final state.” I like to project far into the future what might be coming given the arrows of technology’s ever-upward, accelerating direction of capability. I like to challenge people to imagine where their product may go, how it might evolve, pivot or branch out. I apply this to a lot of other things, as well. I also apply this view to real-world events.
It has become obvious that the rise of social media networks and “gated communities” in communications apps, that people are connecting virtually in ways never-before-possible in the physical world. The physical world matters less and less and less. These gated communities, unfortunately, frequently serve to reinforce viewpoints and reduce diversification of ideas. It’s something I term a “Similarity Engine.” This grouping has segregated people by serving them things they have already seen before. There is no “elasticity” to it, another term I use for diversification of ideas. And within these communities lies the risk of being exposed to misinformation and disinformation. Although it has been around for a while, this Similarity Engine is at the core of how Facebook and other social media platforms serve up content.
A quick definition of terms:
Misinformation: Information that is simply wrong
Disinformation: Information that is intentionally wrong
We have seen the results of misinformation and disinformation in the last few decades. It started on the fringes, but jaw-droppingly wrong ideas- anti-science, among others, took hold with larger and larger groups of people, initially as misinformation. More recently, much of this has been deliberate- disinformation, and personality-driven. The rise of podcasters, monetized by sponsors responding to the size of their audience, has led to audacious claims becoming mainstream.
Up to this point, the spread of misinformation, and disinformation have been largely intentional, with people at the helm, when initially introduced, subsequently getting spread by the network effect and reposting bots. Constant repeated exposure has led people to mistake them as “facts” while simultaneously they have been fed a diet that traditional sources of facts are biased, quite the opposite of reality. I have seen family and friends blatantly avoid all normal, factual resources, while simultaneously placing full trust in something friends repost, whose origins they do not know and, typically, this content is shoddily produced. That this serves as their main source of information is, to say the least, mind-boggling.
Bad as it is, I see this tilting in an even more dangerous direction.
Nota para los lectores españoles: Estoy escribiendo mis articulos en dos idiomas mientras lo aprendo. Para mas información, lea este artículo.
Los que me conocen, saben que tomo un vista de Análisis del Estado Final de la arquitectura de un sistema. Me gusta ver adelante, en el principio del ciclo de diseño, a lo que término “el resultado final,” o “estado final.” Prefiero proyectar lejos en el futuro lo que pasará, pensando que las flechas de tecnología cuales siempre apuntan hacia arriba, accelerando constantemente. Me gusta desafiar gente para imaginar que vaya su proyecto, cómo debe evolucionar, pivotar o ampliar. Lo que aplico esta a muchas otra cosas, también, y aplico esta vista a los eventos del mundo real.
Se ha convertido obvio que la aumento de las redes sociales y “comunidades cerrados” en apps de comunicaciones han conectado gente virtualmente en formas nunca posible en el pasado en el mundo físico. El mundo físico importa menos y menos. Las comunidades cerradas, desafortunadamente, frecuentemente sirvan a reforzar los puntos de vista y reducir la diversificación de ideas. Es algo que llamo un “Motor de Similitud.” Esta agrupación ha segregado la gente por servirles cosas familiarizadas. No hay “elasticidad,” un otro término utilzo para la diversificación de las ideas. Y dentro de las comunidades existe el riesgo de estar expuesto a misinformación y desinformación. Aunque existe desde hace tiempo, este Motor de Similitud está en el centro de cómo Facebook y otras platformas de redes sociales sirven contenido.
Una definición rapida de términos:
Misinformación: Información que es simplemente erróneo
Desinformación: Información que es intencionadamente erróneo
Hemos vista los resultados de misinformación y desinformación en las últimas décadas. Empezó en los márgenes, pero asombrosamente terrible ideas malas- anticientíficas entre otros, cobraron tracción con más y más gente, inicialmente cómo misinformación. Más recentemente, mucho de esto ha estado deliberado, desinformación y impulsado por la personalidad. El ascenso de los podcasters, quién son monetizado por sponsores que responder al tamaño de sus audiencia, ha dado lugar a afirmaciones audaces que se converten corriente principal.
Hasta este punto, la difusión de misinformación y desinformación ha estado mayormente intencional, con personas al timón, cuando producido inicialmente, posteriormente hay difusar por el efecto de red y bots de repostar. Exposición constante y repitida ha llevado la gente a confundirlos con “hechos” mientras en el mismo tiempo les han alimentado una dieta que fuentes tradicionales de información son parciales. He visto me familia y amigos evitan descaradamente todos los recursos normales y fácticos, mientras en el mismo tiempo depositar la confianza en algo que un amgio posta, cuyos origenes no conocen, y tipicamente, este contenido ha estado producido de mala calidad. Que esto sierve cómo sus mayor fuente de las noticias es, por no decir otra cosa, alucinante.
Por malo que sea, veo que esto se inclina en una dirección más peligrosa.
In the relatively near future- if it hasn’t already started happening, bad actors will be able to release custom-built LLMs, that can create new content- disinformation, on the fly. These will be able to write fake news stories, and in social networks, interact autonomously, generating iterative responses and directly engaging with people- chatbots in disguise, further making “convincing” arguments and varying the content so it is not just reposts.
To the advantage of these malbots, as I will call them, smaller, purpose-built LLM models, similar in size and capability to Llama and Mistral 7-billion parameter models, are sufficient. These won’t have the guardrails those have, and though they are still sizeable, they can run on a moderately-powered machine, spread by malware using traditional malware distribution methods. Most users of newer laptops and desktops won’t notice they are there. The models are 4gb in size and can hide relatively easily. And though smaller models hallucinate more, if it is generating disinformation, hallucinations, within reason, isn’t a problem.
The response to this will need to be more intelligent countermeasures, in the form of agents, that can detect malbot patterns and infections. From an generative text perspective, it is possible they could direct engage with corrective information, even though many will dismiss the corrections. These corrective bots will need to be centrally hosted on larger servers, and will need more robust models to reduce the possibility of hallucinations.
In short, the bad guys don’t care if they infect your machine with malbots, but the good guys won’t do that, and anyways, need more computational power to be a countermeasure. The result will be swarms of malbots and more centralized countermeasures, given that the good guys won’t infect your computers with trubots, for lack of a better term.
Technology has always been a double-edged sword. No one doubts its benefits to society, but the bad always follows the good in short order.
With an increasing number of global leaders- presidents and prime ministers with autocratic leanings, I fear governments and law agencies will not be leading the charge to combat this and will have their hands tied by the self-interested leaders who were elected precisely because they encouraged the spread of disinformation. It may increasingly fall to well-intentioned, well-funded organizations to lead the fight.
Again, for those who know me, know that I am a technological optimist. I do believe in the benefits of technology and champion major advances, and generally, eagerly, await the next breakthrough. But I am also a realist, and know there is always a fight that needs to be waged, so that the good always outweighs the bad.
En el futuro cercano, ya sí no ha empezado a pasar, actores malos podrán liberar LLMs a medida, lo que crear contenido nuevo- desinformación en tiempo real. Estos podrás escribir noticias falsas, y en redes sociales, interactuar de forma autónoma, para generar respuestas iterativas y comprometerse directamente con gente- chabots disfrazados, además haciendo argumentos convincentes y cambiando el contenido así no es sólo reposts.
La ventaja de estos malbots, como los llamaré, modelos de LLM especiales y más pequeño, similar en tamaño a los modelos Llama y Mistral con 7.000 millones parámetros, son suficiente. Estos no tienen los mecanismos de seguridad, y aunque siguen siendo considerables, puedan ejecutar en una computadora moderada, propagadas por malware utilizar métodos de distribución de malware tradicionales. El mayores de usuarios de portátiles y computadoras nuevas no avisarán hayan aquel. Los models son 4gb en tamaño y puedan ocultar fácil relativamente. Y aunque modelos más pequeños alucinan más, si está generando desinformación, alucinaciones, dentro de lo razonable, no es un problema.
La respuesta a eso necesitará contramedidas más inteligente, en la forma de agentes, que pueden detectar patrones de malbots y infecciones. De un perspectivo de texto generativo, es posible que puedan comprometerse directamente con información correctiva, aunque mucha genta desestimar las correcciones. Estos bots correctivos necesitarán estar alojado centralmente en servidores más grande, y necesitarán modelos mas robustos para reducir la posibilidad de alucinaciones.
En pocas palabras, los malos no cuidan si infectan su maqina con malbots, pero los buenos no lo harán, y de todos modos, necesitan más potencia de cálculo para ser un contramedida. El resultado será enjambras de malbtos y contramedidas centralizadas, dado que los buenos no infectarán sus computadoras con trubots, por falta de término mejor.
Tecnología siempre he sido un arma de doble filo. Nadie duda de sus beneficios a sociedad, pero el malo siempre sigue el bueno en breve.
Con un numeró creciente de líderes mundiales- presidentes y primeros ministros con tendencias autocráticos, tengo miedo que gobiernos y agencias de leyes no liderarán la lucha contra estos y tendrán las manos atadas por esos líderes autointeresados quien fueron elegidos precisamente por la difusión de desinformación. Puede que cada vez más recaiga en organizaciones bienintencionadas y bien financiadas para liderar la lucha.
Otra vez, para los que me conocen saben que soy optimista tecnológico. Creo en los beneficios de tecnología y defiendo los grades avances, y generalmente, ansiosamente, espero al próximo avance. Pero, soy realista, también, y yo se hay siempre una lucha que librar, para que lo bueno supere a lo malo.
El contenido de estos artículos son un poco avanzado. Necesito utilizar ayuda de DeepL, per trato utilizar lo menos posible. Todavía lo estoy utilizando alrededor 15-20%, porque necesito un más vocabulario y coloquialismos también. Pere con cada publicación, estoy utilizando DeepL menos y menos. Para esta publicación, lo utilicé menos que nunca.
COMMENTS