lunes, 11 de julio de 2011

Un hombre, un periódico (periodismo 3.0)

"¡Extra, extra! El Titánic se hunde". Lejos quedaron los tiempos en los que los vendedores callejeros cantaban a viva voz los titulares de los periódicos para tratar de captar el centavo de dólar que costaba el diario que informaba de tamaña catástrofe.

Hace apenas unos años, todos los diarios fueron abriendo sus formatos al nuevo paradigma digital. Tras los milenaristas miedos iniciales de que esto era el fin de la prensa en papel, se llegó a un equilibrio en el que cada tipo de persona tiene su tipo de prensa: la inmediatez digital junto a la profundidad impresa, combinables y para nada excluyentes.

Además, existen hoy día multitud de opciones para que cada persona se cree su propio periódico con sus temas de interés y compartirlo con todo el mundo. Es la idea de un hombre un periódico.

Si Twitter permite que cada persona que lo usa pueda jugar a ser periodista y que cada periodista que lo usa pueda tener su propia columna aunque ningún medio le contrate, servicios como hacen que cada persona pueda tener su propio periódico, alimentado por los temas que a cada uno le interese a través de las listas que tengamos creadas en Twitter o incluso Facebook.

Veamos un par de ejemplos de dos de mis contactos: Muntxeta World News y Disord(AR)zine. Como vemos, dos diarios bien estructurados por temas de interés que cada autor ha elegido a través de sus listas de Twitter y que les mantendrá al día en dichos asuntos. Además, se puede compartir con todo el mundo, como de hecho lo hacen.

Pues ya sabes, para ser director de periódico no necesitas tener piscina polémica ni presentarte a diputado general. Basta con unas listas de Twitter y un servicio como o cualquiera similar.

domingo, 3 de julio de 2011

RAW format, the captive photo

(Text formerly published at Ladinamo magazine #22, july 2006) 

The challenges of digital revolution in photography are driving camera and software manufacturers to make decisions that don't always agree with users interests. Maybe the most critical case is the one around the problems with the RAW image file format, whose lack of standarization could make impossible in time the use of millions of digital pictures.

I have talked with two of the people who have more to say about all this, Dave Coffin, software engineer from the States, creator of the ultra widely used dcraw program, and Juergen Specht, German photographer living in Tokyo and leader of the OpenRAW movement. 

Talking with Dave Coffin 

How did the creation of dcraw come about?
In February 1997, I bought my first digital camera, a 0.5-megapixel Canon PowerShot 600. It could shoot either JPEG or CRW (raw) photos, but the software Canon provided to decode CRW was Windows-only. So I wrote a crude program -crw.c-, which eventually became dcraw.c. 

Who are the target people for your software?
(1) Photographers. Dcraw allows them to decode raw photos on any computer running any operating system.
(2) Programmers. Dcraw handles _all_ raw photos in one compact codebase (< 7000 lines). This provides a clean, simple interface compared to linking together a dozen or so buggy, poorly documented, binary-only SDKs.
(3) Historians. Many photos of important current events get archived in various raw formats. If the archive media survive the ravages of time, dcraw.c will be the Rosetta Stone that allows future generations to decipher them. 

Some could say: hey, why to present this software when you could become rich with it?
Getting rich off a piece of software means keeping the source code to yourself, away from potential competitors. Yet the source code is what makes dcraw so useful in the first place. 

What do you think about the initiative?
Their requests are not reasonable. They want camera manufacturers to dedicate scarce engineering resources to writing detailed specifications of their raw formats, and of all algorithms used to process those formats. 

What can the photographers of the world do in order to put pressure on manufacturers to build their RAW's open and documented?
Instead of barking at the moon, they should work with me and Phil Harvey (the author of ExifTool) to reverse-engineer whatever they want to know about their raw photos. 

What is the reason for the manufacturers to be so closed with its raw specifications, structure and documentation?
As I said above, you don't get rich by sharing all your trade secrets with your competitors.

Is the Adobe DNG format the pragmatic solution for raw problems or maybe the same old song?
Neither -- it's another raw format that Photoshop and dcraw can read. It's good for small camera makers who don't want to design and support their own raw formats. And it provides good color matrices for many cameras, something dcraw didn't have before. 

How would you explain in few words to our readers beginning in photography the advantages of the RAW format vs. the more popular JPEG?
JPEG is a display format. To save storage space, it removes all details not perceptible to the human eye. If any mistake is made while converting to JPEG (too dark, wrong color balance, etc.), it's impossible to correct. Raw photos preserve everything: The full color gamut of your camera, not your monitor. Up to fourteen bits of color depth, not eight. And the compression, if any, is lossless, at least in the shadows. 

Which language do you feel more at ease with? English, C or Esperanto
Well, it would be pretty hard to have a conversation in C or write dcraw in English. With my wife, it's been all Esperanto since we met. I can understand Spanish-language TV and radio, but I can't converse in Spanish. 

Talking with Juergen Specht 

How did the foundation of come about?
Since 1999 I maintain a mailing list for Nikon digital SLR cameras mostly populated by professional photographers, RAW converter software developers and even Nikon stuff called D1scussion. Quite a while ago we noticed the problem with proprietary andundocumented RAW files, but it totally escalated into a public outcry as Nikon released the D2x and introduced the encryption into their white balance setting. To keep the discussion more focused and as we realized that Nikon is not alone with concealing information in RAW files, we started a new mailing list called OpenRAW and short after the public web site the problem to the public. 

Which is the main target of the OpenRAW movement?
Our main goal is to educate the public and camera makers alike about the problem with undocumented RAW formats and the danger about photo collections not surviving into the future.
At last count, more than 211 (!) different RAW formats exist today and since OpenRAW was started, Contax went out of business, Kodak stopped producing professional cameras, Konica-Minolta went out of the camera business (to be fair, it will probably live on as Sony) and Mamiya was sold with an uncertain future. Rumor is that in the next few months another camera maker leaves the market, so the RAW problem is not a problem we will have in some years, but right here and now.
But in some years it will be much much more problematic, because without a RAW documentation, programmers have little motivation to reverse engineer the RAW files from old, obsolete or unpopular cameras.
A documentation of past, present, and future RAW formats enables it for every programmer with some imaging background to write converter software and bring old and obsolete image back to live.
Here is a fantastic example of somebody who used old Russian RAW data of the widely unknown Russian Venus exploration and converted them with todays technology: 

How do you think the site could help in this matter?
Yes, before OpenRAW most photographers were not even able to understand that there might be a problem with their images in some years from now when camera makers go out of business, merge or decide to invent a newer, better RAW format and stop supporting older formats, leaving whole photo collections orphaned. Before OpenRAW most photographers expected that their photos last forever, just as analog photos (properly stored) do.
We also reached the attention of camera makers who thought its ok to abandon support of older cameras and older RAW formats in their newer software and added this support later back, however sofar no camera maker uses a truly open documented RAW format. 

Why did the site conduct the 2006 survey? Which were the motivations and which are the conclusions after done?
Before the RAW survey there were not more than rumors and anecdotes about the real problems people already have or expect with RAW images out there, so it was hard to argue with camera makers, they simply ignored our claims because they thought we are just a handful of loud people.
The survey was designed to find out the experiences, requirements, preferences, and concerns of digital photographers and other interested parties regarding RAW imaging technology and create a public available report showing what 19,207 respondents with in average:
* 19.4 years experience with film photography
* 4.5 years experience with digital photography
* 3.7 years experience using a professional-level digital camera, and
* 2.3 years experience shooting primarily RAW images
told us. So far this was the first time somebody conducted such a survey about this topic and on this scale, so we hope that this report starts a thinking process for camera makers to rethink their RAW formats.
The report results surprised ourselves, first we never thought that more than a optimistic maximum of 10,000 people will respond in the 2 month time frame we wanted to conduct the survey, but in the end we stopped it after 6 weeks and had already double this number. This just shows how many people are actually concerned about their photo collection.
The second surprise was that actually more people use a third party RAW converter (based on reverse engineering of non-disclosed RAW information) than the software the camera makers provide themselves, plus that most people value workflow (the speed and usability they can work with their RAW images) over the sometimes better, but more clumsy to use software provided by camera makers.
The report is actually full of surprises, you might want to download and read it yourself:
The conclusions are clear: photographers don't want undocumented RAW formats, because they believe the images they shoot belong 100% to them. 

What is the reason for the manufacturers to be so closed with its raw specifications, structure and documentation?
We can only speculate at this stage, but there might be a couple of reasons for their secrecy:
1) To create a vendor lock-in, so that you are required to buy the camera makers software for the camera makers hardware, adding more revenue from software.
2) Because if they are the only ones who see the specifications, they can change them whenever they want or invent something new.
3) To conceal the extensive post processing (especially in terms of bad pixel count of their sensors) they do before they actually save the raw data as a RAW file.

Is the Adobe DNG format the pragmatic solution or maybe the same old song?
I wish it would be a solution, but Adobe decided for marketing reasons that they allow abackdoor to camera makers to store information in so called private tags, which remain undocumented. So even if some cameras can save DNG formats natively, some of the information a camera decides to conceal can be saved inside the DNG format and it becomes another undocumented RAW format after all. Plus Adobe stopped documenting their PDF and PSD format after it reached a certain market share, so they can at any time release a DNG V2.0 format and decide not to document it. No, DNG is unfortunately not a solution. 

How would you explain in few words to our readers beginning in photography the advantages of the  RAW format vs. the more popular JPEG?
The RAW format is actually one of the best things about digital photography, it contains the (almost) unprocessed data as seen by the sensor at the moment of exposure plus amemo of all settings used.
At this stage it practically can be compared to a undeveloped negative, which can then over and over again developed with RAW converter software.
Now imagine you kept a 5 year old RAW file from your camera and convert it into a TIFF or JPG with todays much improved computers and RAW converter software, you can get much more quality out of this image then at the time the image was shot originally. Software, processing power and algorithms improve a lot over time, while hardware (like a digital camera) become obsolete fast.
Or again, look at these examples and just imagine how software in 20 years can develop your RAW images, if they were documented:
JPG files practically origin from camera internal RAW data, but get -processed- and converted with fixed algorithms and camera included processing power into a lossy format, JPG. Even the quality of JPGs as generated by todays cameras is quite good, RAW files give you a higher advantage to change settings (for example the whitebalance) after you shot the image, while its already applied to JPG files.
So in short: Through the conversion from the currently usual native 12bit sensor data to 8bit plus the applied JPG compression, JPG already lost a lot of data before it gets saved. RAW files can always be converted to JPG, but contain the raw data as the sensor saw it as the image was shot. 

What can the photographers of the world do in order to put pressure on manufacturers to build their RAW's open and documented?
Photographers should go ahead and tell camera makers at every occasion that they want that their RAW formats should be documented, because this would create a win-win-win situation for
* photographers - they can be certain that their RAW images survive into the future
* software developers - they can spend their time writing better innovative software than spending it reverse engineering new RAW files while being unsure if reverse engineering is lawful or not
* camera makers - open documentation of RAW files would create trust among photographers and allow new imaging technology and usages created, camera makers would not even think of, thus increasing their market share.
Definition of RAW
Official site of OpenRAW initiative
Personal homepage of Juergen Specht
Personal page of Dave Coffin

sábado, 2 de julio de 2011

El formato RAW, la foto cautiva

(Texto originalmente publicado en el número 22 de la revista Ladinamo de julio de 2006) 

Los retos de la revolución digital en fotografía están llevando a los fabricantes de cámaras y software a tomar decisiones que no siempre coinciden con los intereses de los usuarios. Tal vez el caso más grave sea el de los problemas que rodean el formato de imagen RAW, cuya falta de estandarización puede imposibilitar en el futuro el uso de millones de fotografías digitales.

“RAW es un formato de archivo digital de imágenes que, a diferencia del formato más popular, JPG, no emplea métodos de compresión de datos con pérdidas de calidad. Por asociación con la fotografía analógica, también suele conocerse el formato RAW como negativo digital. El formato RAW se usa en aquellos casos en los que interesa archivar una fotografía tal como ha sido captada, sin ningún tipo de manipulación por parte de la cámara, para poder procesarla posteriormente en el ordenador mediante un programa de tratamiento de imágenes”. Más o menos así define la Wikipedia el formato de imágenes RAW, un gran desconocido para la mayoría de la gente y una gran preocupación para los fotógrafos.
El gran inconveniente de los formatos RAW es la falta de estandarización: cada fabricante tiene su propio formato cuyo código mantiene en secreto. Es como si todos los negativos de las cámaras tradicionales se guardaran en una caja fuerte cuya clave sólo conociera el fabricante del carrete. Esto no sólo produce incompatibilidades entre marcas, sino que abre la posibilidad de que el formato no se pueda usar en el futuro. Si dentro de un año Canon decide que la especulación inmobiliaria es más rentable que la fotografía digital y deja de fabricar cámaras, millones de fotografías digitales creadas con su software podrían quedar inutilizadas.
Esta situación ha propiciado un importante movimiento de presión en contra de los formatos RAW cerrados. Hemos hablado con dos de sus más conocidos representantes: Juergen Specht y Dave Coffin. El primero es fundador de, un sitio web dedicado a combatir los formatos RAW propietarios. Tras una miríada de empleos diferentes, Specht trabaja actualmente en Tokio como fotógrafo profesional. Por su parte Dave Coffin, un ingeniero de software estadounidense que vive cerca de Boston y habla en esperanto con su mujer, es experto en ingeniería inversa. Coffin, un viejo conocido en el mundo del software libre, es el creador de Dcraw, un asombroso programa informático que permite descodificar las fotos RAW en cualquier ordenador con cualquier sistema operativo y que se ha convertido en un estándar de facto. Prácticamente todas las utilidades hechas en Linux para procesar raws se basan en Dcraw, así como muchos programas en Windows y Mac. 
RAW frente a JPG
Juergen Specht: El formato RAW es una de las mejores cosas de la fotografía digital. Contiene (casi) todos los datos sin procesar que el sensor de la cámara captó en el momento de la exposición, además de un memorando de toda la configuración utilizada en el disparo. En este sentido, prácticamente puede compararse con un carrete negativo sin revelar, que puede positivarse una y otra vez con software de conversión RAW.
Imagina que haces una foto y guardas el RAW durante cinco años, y pasado ese tiempo lo conviertes en un TIFF o un JPG con un ordenador y un software actuales (mucho mejores que los de cinco años antes). De este modo podrías conseguir una imagen de mucha mayor calidad que cuando hiciste la foto.
Las imágenes JPG de nuestras cámaras provienen de los datos RAW originales, pero procesados y convertidos con determinados algoritmos internos de la máquina y transformados a un formato con pérdidas, como es el JPG. Aunque la calidad de los JPG generados por las cámaras actuales es bastante buena, los ficheros RAW dan una enorme ventaja a la hora de cambiar configuraciones (como el balance de blancos) una vez hecha la foto, mientras que en los JPG esos cambios ya los ha hecho la cámara siguiendo criterios automáticos.
Resumiendo: si tenemos en cuenta la conversión de los datos nativos del sensor –que normalmente tienen doce bits– a los ocho bits del formato JPG (pérdida de un 33% de la información recogida) y la posterior compresión propia de dicho formato (más pérdida de información), la diferencia de calidad es muy notable. Además, los ficheros RAW siempre pueden ser convertidos a JPG (revelados) de tantas formas diferentes como quiera el fotógrafo.
Dave Coffin: JPG es un formato de visualización. Para ahorrar espacio de almacenamiento, elimina todos los detalles no perceptibles por el ojo humano. Si se comete algún error al convertir a JPG (demasiado oscuro, balance de color erróneo, etc.) es imposible corregirlo. Las fotos RAW, en cambio, conservan toda la información, por ejemplo, todo el rango de colores de tu cámara, no el de tu monitor (que es siempre mucho menor). Un RAW puede recoger más de catorce bits de profundidad de color, mientras que en JPG son sólo ocho. Y la compresión, si se produce, no da lugar a pérdidas, al menos en las sombras.

Los problemas de los archivos RAW propietarios
JS: Los formatos RAW no documentados conllevan literalmente el peligro de que las fototecas no sobrevivan en el futuro. El último recuento nos da una cifra de al menos 211 formatos RAW diferentes existentes en la actualidad, y desde que la iniciativa OpenRAW echó a andar, el fabricante Contax ha abandonado el negocio, Kodak ya no produce cámaras profesionales, Konica-Minolta ha dejado el negocio de las cámaras y el futuro de Mamiya es incierto. Además, hay rumores de que en los próximos meses otro fabricante de cámaras abandonará el mercado. Es decir, se trata de un problema real y actual, no de algo de lo que vayamos a lamentarnos en el futuro. Sin duda en unos años el problema será mucho mayor, porque con unos ficheros RAW no documentados, los programadores tendrán poca motivación para hacer ingeniería inversa con ficheros RAW provenientes de cámaras viejas, obsoletas o poco vendidas. 
En hemos realizado una encuesta global, The 2006 survey, sobre los problemas que conciernen a la comunidad de fotógrafos y sus ficheros RAW. En la encuesta participaron más de 19.000 personas, en su mayoría fotógrafos con mucha experiencia. Es una investigación importante, porque hasta ahora sólo había rumores y anécdotas acerca de los problemas que la gente tenía con sus imágenes RAW. Así era muy difícil discutir con los fabricantes que, sencillamente, ignoraban nuestras peticiones porque pensaban que éramos tan sólo unos cuantos pesados. Los resultados del informe nos sorprendieron mucho, porque pudimos comprobar que la gente utiliza más el software de conversión RAW de terceros (basado en ingeniería inversa) que el propio software que suministra el fabricante, porque la mayoría valoran más el flujo de trabajo (la velocidad y versatilidad con que pueden trabajar las imágenes RAW) que el mejor, pero más difícil de usar, software suministrado por los fabricantes. Las conclusiones son claras: los fotógrafos no quieren formatos RAW no documentados porque creen firmemente que “sus fotos les pertenecen”.
JS: surgió a partir de D1scussion –una lista de correo sobre las cámaras réflex digitales de Nikon que administro desde 1999– visitada mayoritariamente por fotógrafos profesionales, desarrolladores de software e incluso empleados de Nikon. Hace ya bastante tiempo que nos percatamos del problema que representaban los ficheros RAW propietarios y no documentados, aunque sólo a partir de que Nikon lanzara su cámara D2x y cifrara los datos sobre balance de blancos, el tema se ha popularizado. Para mantener la discusión centrada, y como nos dimos cuenta de que Nikon no es la única que oculta información de sus ficheros RAW, decidimos crear una nueva lista de correo llamada “OpenRAW”, y poco después el sitio web público para explicar el problema a la gente.
DC: En mi opinión, los objetivos que plantea OpenRAW no son razonables. Pretenden convencer a los fabricantes de cámaras para que dediquen recursos de ingeniería (muchas veces escasos) a documentar los programas, es decir a escribir detalladamente las características de sus formatos RAW y de todos los algoritmos utilizados para procesarlos. Es una idea absurda. Me parece obvio que no es posible hacerse rico compartiendo todos tus secretos comerciales con la competencia. Y el objetivo de los fabricantes es enriquecerse, algo que parecen olvidar en OpenRAW. En lugar de hacer brindis al sol, los fotógrafos preocupados por estos problemas deberían colaborar conmigo y con Phil Harvey, autor de ExifTool (un programa de software libre para la manipulación de los metadatos que acompañan a los ficheros fotográficos digitales), para hacer ingeniería inversa de todo lo que quieran conocer sobre sus fotos RAW.
JS: Creo sinceramente que el sitio OpenRAW está ayudando a mejorar la situación. Antes de OpenRAW la mayoría de los fotógrafos ni siquiera eran capaces de comprender que de aquí a unos años podría haber un problema con sus imágenes cuando determinados fabricantes dejaran el negocio, se fusionaran con otras compañías o decidieran poner en marcha un nuevo y mejor formato RAW y detener el soporte de los antiguos, dejando colecciones enteras de fotos literalmente huérfanas. Antes de OpenRAW la mayoría de los fotógrafos pensaban que sus fotos perdurarían para siempre, como ocurría con las fotos analógicas.

También hemos llamado la atención de los fabricantes que pensaban que no pasaba nada por dejar sin soporte en su nuevo software a cámaras y formatos RAW antiguos, actitud que cambiaron más tarde. Sin embargo, a fecha de hoy ningún fabricante utiliza formatos RAW verdaderamente abiertos y documentados.
La verdad es que no estoy seguro de por qué los fabricantes mantienen en secreto las características, estructura y documentación de sus ficheros RAW. Evidentemente, buscan fomentar la dependencia del cliente con el fabricante de la cámara (fenómeno conocido como vendor lock-in). Pero posiblemente también pretendan ocultar el extensivo posproceso (especialmente en términos de conteo de píxeles defectuosos de sus sensores) que hacen antes de guardar los datos RAW como fichero RAW.

Las alternativas
JS: En 2004 Adobe creó su DNG (Digital Negative, negativo digital) con la intención de que se convirtiera en un estándar mundial, así como el Adobe DNG converter, una herramienta para transformar cualquier fichero RAW a su DNG. Sin embargo, no es una solución. Adobe decidió, por motivos mercantiles, que permitiría a los fabricantes disponer de una puerta trasera para guardar información en las llamadas etiquetas privadas, que desde luego continúan indocumentadas. Por tanto, aunque algunas cámaras pueden ya manejar y guardar formatos DNG de forma nativa, parte de la información permanece oculta en el interior de esos ficheros, lo que no es sino otra forma más de formato RAW no documentado. Además, Adobe dejó de documentar sus formatos PDF y PSD en cuanto alcanzó una cierta cuota de mercado, lo que nos indica que en cualquier momento podrían lanzar una versión 2.0 de su DNG y decidir no documentarlo más.
DC: Mi propuesta para afrontar los problemas de los formatos RAW propietarios es el programa Dcraw. En febrero de 1997 compré mi primera cámara digital, una Canon PowerShot 600 de 0,5 megapíxeles. Con ella podía hacer fotos tanto en JPG como en CRW (Canon RAW), pero el software suministrado por el fabricante era sólo para Windows. Por lo tanto, decidí escribir en lenguaje C un programa simple, llamado crw.c, que me permitiera ver mis fotos RAW en Linux. Más tarde, este programa evolucionaría hasta convertirse en dcraw.c.
Este programa va dirigido básicamente a fotógrafos, programadores e historiadores. En primer lugar, con Dcraw los fotógrafos pueden descodificar sus fotos RAW en cualquier ordenador con cualquier sistema operativo. En segundo lugar, Dcraw puede manejar cualquier formato RAW mediante un código compacto de menos de 7.000 líneas, lo que provee una interfaz simple y limpia, todo lo contrario que las SDK (Software Development Kit, herramientas de desarrollo de programas) proporcionadas por los fabricantes, frecuentemente compuestas por una docena de módulos binarios llenos de fallos y pobremente documentados. Por último, muchas fotos históricas de acontecimientos actuales están siendo archivadas en diversos formatos RAW. Si estas fototecas sobreviven al paso del tiempo, dcraw.c será la piedra roseta que permita a las futuras generaciones descifrarlas.
JS: Los fotógrafos deberían ser persistentes en exigir a los fabricantes que documenten los formatos RAW de sus cámaras. Esto crearía una situación triplemente beneficiosa para fotógrafos –que podrían estar seguros de que sus fotos digitales en formato RAW perdurarán para siempre–, programadores –que podrían dedicarse a desarrollar software innovador en vez de tratar de descifrar nuevos formatos RAW mediante ingeniería inversa– y fabricantes de cámaras: unos ficheros RAW públicamente documentados crearían confianza entre los fotógrafos y permitirían nuevos usos y desarrollos tecnológicos que redundarían en un incremento de sus cuotas de mercado.
definición de RAW en castellano 
definición más extensa de RAW en inglés 
sitio oficial de la iniciativa OpenRAW 
página personal de Juergen Specht 
página personal de Dave Coffin